Lo primero es ver que no tengas algún programa secundario, que pueda llegar a estar laburando en modo oculto y te esté robando el ancho de banda.
Segundo, si tenes Wi-Fi: Primero que no te va a andar como si lo usaras cableado, segundo, la señal afecta Y MUCHO, tercero... Fijarte que nadie te esté pinchando la red, que suele pasar y más si vivís en un edificio

Lo último que se me ocurre es que hay un problema con muchos proveedores de Internet que lo que hacen (para optimizar el ancho de banda en general) es sacarle prioridad a los juegos en red, generando más latencia en estos y optimizando lo otro (Browser, descargas, etc).
Seguramente si bajas algo te anda a la velocidad adecuada, lo mismo cuando cargas una página o estás en el Skype... Pero si jugas algún juego en red, te anda como el culo.

Eso lo suelen hacer TODOS los proveedores, no en general, pero si con algunos... A mi me pasó en dos oportunidades donde fue una lucha inmensa para que me lo desbloquearan, porque te atienden flacos que no saben lo que es una computadora, y te discuten y te dan ideas absurdas.
Yo estudio informática, y si bien no soy experto en redes por el momento, sé algunas cosas... Y es cuestión de romperle las pelotas en todo momento, llamarlos, quejarte, y de última, amenazar que vas a cortar el servicio...

Y fijate que el problema sean los ms y no los fps, porque ya eso es otra cosa (perdón por la obviedad jaja)

Saludos