Los tests que te mandan las ISP son dentro de su red, siempre van a salir bien, es lo primero que te conviene chequear pero te puede andar todo como el orto y descargar a 10mbps directamente.

Si por QoS no limitaste la conexion para tu PC, no deberia hacerte nada. Lo que tendrias que probar es cuando te anda choto tirar un tracert a alguna IP que sepas que te esta andando mal y ahi ves el punto exacto del camino en donde te esta afectando. Ese dato a los tecnicos de las ISP les suele servir para arreglar los problemas de routeo.

Tambien puede pasarte que si el router esta muy saturado con datos te ande todo lento, pero a menos que estes copiando archivos de un dispositivo a otro, no deberia pasarte.