Ah cierto que no te toma los 4GB si le mandas x32.

Otra que se me ocurre es que busques actualizaciones para tu placa de video, capaz ahí esta el problema.
Por lo general los drivers de video vienen con banda de mejoras de rendimiento en los juegos.

Chequeate la página de Nvidia para bajartelos ---> Drivers - Download NVIDIA Drivers
Ahí en la página te aparece una lista para que especifiques que placa tenés, que windows usas y todo.
Instalalo y testeá, total no perdés nada a esta altura.

Saludos