Hai determinato dalla documentazione se il modulo db9 faccia al caso tuo? E come hai determinato che devi ricompilare il kernel? Ammesso che vada bene, ce l'hai il modulo db9? Cerca db9.ko in /lib/modules, ad esempio io (in debian) ho:
/lib/modules/2.6.24-1-686/kernel/drivers/input/joystick/db9.ko
/lib/modules/2.6.22-3-k7/kernel/drivers/input/joystick/db9.ko
Se ce l'hai, è inutile ricompilare il kernel ed è dannoso l'atteggiamento del "volerlo ricompilare a tutti i costi"; prova a caricare il modulo (a joystick collegato) con "modprobe db9" (da root o con sudo). Riporta esattamente eventuali messaggi di errore.
db9.dev=port,type non è un comando di shell ma parametri da passare al modulo db9, credo che vada bene anche con modprobe (es. modprobe db9 dev=0,1). Leggiti il man modprobe se hai dubbi su modprobe.
L'aiuto che posso darti è già limitato perché non possiedo l'interfaccia (a proposito, che interfaccia? come sono collegati i pin?), se poi parti in quarta chiedendo cose in maniera vaga come stai facendo l'aiuto che ti si può dare diventa limitatissimo.