los archivos en java no se "ejecutan" en linux porque en realidad no son ejecutables por el sistema, necesitan la maquina virtual de java para correr (la razon por la que no te lo abre). en modo grafico, asegurate que tenes el runtime java de sun y no un openjdk o algun otro substituto. el runtime de java de sun configura apropiadamente gnome para ser invocado al darle doble click a un jar. con consola el comando que te han dado es correcto, java nombredelprograma.jar deberia invocar la maquina virtual, ahora juzgando por el comportamiento de tu maquina me atrevo a decir que java no esta propiamente instalado, en este caso tenes que hacer un updatedb luego un locate java y de ahi irte al directorio donde esta instalada la maquina virtual y probar desde ahi, si te funciona, reinstala java que esta mal instalado.
si tenes cocoa o latte o no me acuerdo como se llama, el jdk y el openjdk desinstala todos los que no sean SUN.