Saludos:

-Es verdad los sistemas operativos de 32 bits tienen cap en 3 gb de memoria o menos ( dependiendo de tu BIOS).
Por lo que te recomiendo instalar windows 7 de 64 bits, ya son raras las aplicaciones que presentan errores de compatibilidad.

-Segun yo tu Motherboard solo tiene entradas PCI 1 y no PCI express, pero no estoy seguro, la mayoria de las tarjetas compatibles con shaders 3.0 son PCI express 1 y 2, checate bien eso, si tienes PCI express quiza una opcion viable seria una ATI radeon x1300 ( y barata).

-Bajate un programa que se llama Everest, te dice varios specs de tu PC, como si tienes PCI express y eso.