Pues depende, generalmente hay un driver para cada tarjeta, solo en caso de que no se detecte correctamente la tarjeta entonces usa el driver genérico, el framebuffer (consola con gráficos) de linux incluso tiene sus drivers para cada tarjeta... solo en caso de no encontrar un driver apropiado se utiliza el driver genérico.
Si tu tarjeta es ATI o Nvidia y la distro es reciente entonces podes descargar los drivers de las respectivas páginas e instalarlos, esto generalmente es la mejor opcion para estas tarjetas, y pues sip para las ATI por ejemplo es un solo driver para la serie radeon 8000-9000 y dependiendo del hardware activa o desactiva caracteristicas. En windows pasa exactamente lo mismo por si tienen alguna duda, el driver para todas las tarjetas graficas ati radeon es el catalyst.