Al acabar la campaña, Rommel quedó de nuevo agregado al Estado Mayor de Hitler. Este profesaba mucha simpatía al dinámico general que tan poco se parecía a los oficiales prusianos, de ascendencia noble la mayoría, que tanto abundaban en el Estado Mayor General y a los que despreciaba. Un buen día le preguntó en una conversación casual qué era lo que más le gustaría. Rommel no lo dudó ni un instante: «El mando de una división blindada».
El 15 de febrero de 1940 Rommel tomó el mando de la 7ª División Panzer, en Godesberg, reemplazando al general Georg Stumme. Era la primera vez que ostentaba el mando de una unidad de blindados. Inmediatamente puso manos a la obra y pasó los meses siguientes entrenando intensivamente con su nueva unidad, conociendo a sus oficiales y preparando a todos para el tipo de guerra que tenía intención de ejecutar.
Francia 1940
En 1940, sólo tres meses antes de la invasión, Rommel se puso al frente de la 7ª División Panzer, que se recordaría como la Gespenster-Division (la División Fantasma, debido a la velocidad y sorpresa que constantemente lograba, hasta el punto de que incluso el Alto Mando Alemán perdió la pista de dónde se encontraba), para la invasión de Francia y los Países Bajos. Ésta era la primera vez que Rommel se ponía al frente de una división Panzer. Mostró considerables habilidades en esta operación, repeliendo un contraataque del ejército británico en Arras y provocando el caos en las comunicaciones, suministros y las columnas de refuerzos aliadas al atacar en sitios que los aliados consideraban seguros y a muchos kilómetros del frente. La 7ª División Panzer fue una de las primeras unidades alemanas en alcanzar el Canal de la Mancha (el 10 de junio) y ocupó el vital puerto de Cherburgo. Como recompensa, Rommel fue promovido y nombrado comandante de la 5ª División Ligera (más tarde reorganizada y renombrada como 21ª División Panzer) y de la 15ª División Panzer, que fue enviada a Libia a principios de 1941 para ayudar a las derrotadas y desmoralizadas tropas italianas, formando el Deutsches Afrikakorps, al frente del cual Rommel logró su mayor fama.
A lo largo de la campaña de Francia, Rommel llevó al extremo la nueva táctica de la Blitzkrieg y se distinguió por dirigir a sus hombres desde la primera línea para hacerse una idea en tiempo real de la situación, asumiendo numerosos riesgos y estando a punto varias veces de morir en combate.
África (1941-1943)
Rommel pasó la mayor parte de 1941 organizando y volviendo a formar a las maltrechas tropas italianas, que habían sufrido una serie de derrotas a manos de la Commonwealth británica, entonces bajo las órdenes de Richard O'Connor.
En la primavera de 1941 lanzó una ofensiva que empujó a los Aliados fuera de Libia, pero no pudo apenas penetrar en Egipto y, sobre todo, dejó tras sus líneas el importante puerto de Tobruk que, aunque cercado por tierra por las tropas del Eje, todavía resistía bajo las órdenes de un general australiano, Leslie Morshead. El comandante en jefe aliado Archibald Wavell lanzó dos ataques para levantar el cerco de Tobruk (Operación Brevity y Operación Battleaxe), pero ambas fracasaron.
Tras el fracaso de Battleaxe, Wavell fue relevado por Claude Auchinleck, quien lanzó una nueva gran ofensiva para liberar Tobruk, la Operación Crusader, que por fin tuvo éxito y permitió a los Aliados reconquistar la Cirenaica. Sin embargo, cuando la ofensiva se quedó sin fuelle, Rommel contraatacó. En una clásica Blitzkrieg (guerra relámpago), Rommel flanqueó a los británicos en Gazala, rodeando y reduciendo al núcleo fuerte en Bir Hakeim y forzó a los británicos a una retirada rápida para evitar ser derrotados por completo. Tobruk, asediada y aislada, era ahora todo lo que había entre el Afrikakorps y Egipto. El 21 de junio de 1942, tras un rápido, coordinado y fiero ataque combinado, la ciudad se rindió junto con sus 33.000 defensores. Sólo en la caída de Singapur, un poco antes en ese mismo año, se capturaron más tropas británicas y de la Commonwealth. Las tropas aliadas habían sido derrotadas. En unas pocas semanas habían sido empujadas de vuelta a Egipto.
La ofensiva de Rommel fue detenida finalmente en El Alamein, a sólo 100 km de Alejandría. Rommel perdió la Primera Batalla de El Alamein debido a una combinación de problemas de suministros, tácticas aliadas mejoradas y el hecho de que los Aliados ya habían descifrado las comunicaciones secretas alemanas cifradas en la máquina Enigma. Los Aliados, con la espalda contra la pared, estaban muy cerca de sus suministros y tenían tropas frescas a mano para reforzar sus posiciones. La táctica de Auchinleck, de atacar continuamente a las debilitadas tropas italianas durante la batalla, forzó a Rommel a usar el Deutsches Afrikakorps en un papel de bomberos, dejando la iniciativa en manos aliadas. Rommel trató de romper las líneas enemigas una vez más en la Batalla de Alam Halfa. Fue detenido por último por el recientemente llegado nuevo comandante, el Teniente General Bernard Montgomery, ayudado por el hecho de que los Aliados contaban con ULTRA para descifrar las comunicaciones alemanas, conociendo todos los datos del plan de Rommel antes de la batalla.