Estás programando? porque tal vez el .exe ese que querés ejecutar tiene algún error (por ejemplo en algunos lenguajes puede ser que algún array exceda la memoria que tiene reservada).

Estás seguro que no tenés un malware, no?... hay un par de virus dando vuelta que generan este tipo de problemas. Pasate un par de avs online por las dudas.

El XP tiene algunos problemas con los 16 bits... tal vez sea eso. Fijate de marcar la opción que lo ejecute emulando win95.

Te lo muevo a software, porque no es un problema de hardware.