Hola
Si la referencia son 5V, al dividirlo entre 1024 obtienes saltos de tension de 4,8 mV.
Para obtener saltos de tension mas pequeños puedes bajar la tension de referencia, y en el caso de que tengas que bajar aun mas la resolucion tambien puedes bajar la tension de alimentacion a 3v.