Fijate en la hoja de datos cual es la frecuencia máxima que admite para los canales del encoder, puede ser que estés pasado (frecuencia pulsos encoder> frecuencia máxima admitida por los pines de entrada del pic). De ser así, probá cambiando la resolución de decodificación (si lo tenés a 4X bajalo a 2X o a 1X), vas a perder resolución pero en una de esas anda.
Creo que la frecuencia admitida por el dspic estaba en función de su frecuencia de trabajo, podrías probar aumentando la frecuencia de trabajo a ver que pasa.
Saludos
