Gracias por sus respuestas, probare con lo de compatibilidad pero ya di con el problema, parece ser que las tarjetas de video Nvidia edición OC de fabrica tienen este problema, las soluciones que pude hacer fue jugar en modo ventana y con el programa MSI afterburner bajar todos los valores a cero quitandole el overclock de fabrica.