Por lo que estuve viendo estos ultimos dias si es problema de que el router se sobrecarga cuando tiene muchas conexiones (ya sabia la cantidad de memoria minima que tiene pero no lo habia relacionado con eso). Lo que hice fue bajar un poco el tiempo que tardan esas conexiones en hacer timeout y por ahora creo que se arreglo, por lo menos en los ultimos 2 dias no le paso nada.