obiamente si el problema esta en todas las maquinas... el drama está en el router.
como dijo XavierK hay q saber que marca y modelo es; para ver cuantas conecciones soporta, y si no hay un problema en la antena.

la solución más rapida... lleva a garantia el Router innalambrico y pedi el cambio por que se pierde la señal en tiempo aleatorio. El problema está ahi, más q seguro.

suerte! igual pasanos más datos para seguir confirmando