Mansa, yo tengo el mismo Router y Respecto a las luces, yo solo tengo encendidas 3.
La NARANJA INTERMITENTE que pone ADSL PPP
La VERDE FIJA, que corresponde al slot donde tengo puesto el cable de teléfono (1)
Y otra VERDE FIJA que es la de Power.
Me imagino que la luz que te da problemas es la referente a la conexión Inhalámbrica, pero si no la utilizas, yo de ti la desactivaria desde la configuración del Router. Pudiera ser que sonase la flauta

Otro supuesto es que yo tengo el Kaspersky y a veces, se perdía la conexión de forma automática. El router se me reiniciaba cada dos por tres, y el motivo era relativo al cache de DNS.
Lo puse en automático y solucionado.
Para mirarlo, ves a Inicio, Ejecutar:
services.msc y busca el servicio Cliente DNS y lo pones en automático.
Ojalá sea algo de eso, sinó, ánimo que alguna solución encontraremos.
Un saludo figura.