Básicamente, porque los GPU de ATI tienen mas unidades de proceso, pero mas lentas y las Nvidia tienen muchas menos, pero mas rápidas. El tema es que el tipo de cálculos que se hace con los bitcoins, da mejores resultados con mas procesos en paralelo. Ademas, en términos de procesamiento bruto (esto es, procesar instrucciones simples), las ATI ganan.
Encima, el proceso que se usa para procesar los datos, consume 1 ciclo de reloj en las GPU Ati y 3 en las Nvidia:

https://en.bitcoin.it/wiki/Why_a_GPU...n_Nvidia_GPUs?

Saludos!