Hay que saber la impedancia del encoder, o la corriente que soportan los transistores y la impedancia de la puerta que vas a poner o la corriente que consume. A partir de ahí calculas el divisor.
Cuanto más baja sea la impedancia del divisor, sin pasarse, tendrás menos ruidos y menos le afectará el consumo de la puerta.
Como orientación para 230V AC yo usaba de 150k y ya daban problemas por ser demasiada impedancia. Si el circuito está dentro de una caja de hierro de 10×10×10cm con una pared de 1cm me parece fantástico poner 5M, si está en una planta industrial y los cables tienen decenas o centenas de metros yo no pasaría de 1k o 2k, y con dudas. Los ruidos en la señal te van a volver loco.
En mi caso con 56k y unos 60m de cable en un entorno no industrial tenía muuuchos problemas.
Siempre que se pueda yo iría a lo sencillo; si con dos resistencias de ½W ≈0,04€ ≈ 1cm³ funciona, no líes el circuito. Si por algún motivo no puede ir ya me liaría con transistores, optoacopladores etc etc...