Dark, yo te aconsejaría que en lugar de activarlo vía Kernel nativo, lo actives vía Kernel pero en carga.

Vamos, no sé que distribución estarás usando, pero lo más rápido y lo que no suele fallar es integrar el driver correspondiente .ko

Con modprobe, insmod , controlando el blacklist, e instalando el driver en las lib correspondientes ...

Y luego añadiendolo a modules, para que cargue, no deberías tener mayor problema.

También puedes hacer un inicio de Linux en depuración para ver que está pasando, y controlarlo luego con el dmesg a ver que coño ha fallado.