Resistencia reductora de tensión

Por supuesto que si. Nunca está demás echarle una mirada al datasheet del 78L05.
¿Así que tu timbre consume menos de 100 mA? Serían 2850 mAh/100 mA = 28h30' de uso continuo.

Las soluciones que te dan de usar solo un divisor de voltaje no son las correctas, ya que debes de tomar en cuenta que tu timbre tambien tiene una carga (resistencia), que lo mas probable es que ni siquiera sea solamente resisitiva, sino inductiva o capacitiva(impedancia), de cualquier manera en el mejor de los casos de que sea resistiva, y si pones 2 resistencias de 1K en serie, y las alimentas con 9V, teoricamente vas a tener 4.5V en una de las resistencias, pero al momento de conectar tu timbre, las condiciones van a cambiar a tener una resistencia de 1K en serie con el paralelo de una resistencia de 1K y la impedacia de tu timbre y por lo tanto el voltaje que le estas suministrando a tu timbre es ta dado por V=(9x/x+1), donde la resisitencia de tu timbre es x y se usan resistencias de 1K. Ahora la solucion, no es tan sencilla como aparenta, sino que tendrias que armar una pequeña fuente de alimentacion con circuitos integrados, puedes usar el 7805 es un transistor regulador de voltajes positivos, con el cual puedes obtener 5V a la salida, usando tu pila el 7805 y un capacitor, si quieres 4.5 forzosamente, puedes usar el LM317 que es muy parecido pero puedes regular de 0V a 12V, usando una resistencia un potenciometro, 2 capacitores y el LM317. Pero si no te quieres complicar el asunto y tu timbre no lo vas a mover de tu casa, compra un adaptador.

El L7805 necesita voltage y corriente para poder funcionar,lo que tienes que cambiar es el lugar del interruptor que deve ir entre la bataria y el pin de entrada L7805, no entre el pin de salida del L7805 y el timbre.