el monitor solo opera hasta cierta cantidad de hz si se pasa de esa cantidad sucede lo que describis dentro de otras cosas que pueden suceder. Por ahi tu monitor no soporta mas de 60hz fijate en el monitor y despues configura la placa de video.