allora facciamo una cosa... lascia i driver abilitati, installa mesa-utils (mi pare si chiami così) e lancia da terminale glxinfo. Posta qui il risultato.
Il mio sospetto è che sia disabilitato il 3D e vada di software rendering con mesa.
Quello con cui vogliono rimpiazzare Xorg si chiama Wayland. Comunque non darebbe chissà quale nuova velocità al sistema. Si nota solo in specifici benchmark, ma a occhio non la cogli la differenza.
Comunque, se vuoi uccidere Gnome sarebbe cosa buona e giusta. Installa LXDE oppure E17, sono più adeguati alla tua configurazione hardware :-)