Con las fuerzas británicas de Malta interceptando sus suministros en el mar y las grandes distancias que debía cubrir en el desierto, Rommel no podía mantener indefinidamente la posición de El Alamein. A pesar de ello, hizo falta una gran batalla, la Segunda Batalla de El Alamein, para derrotar a las fuerzas germano-italianas y obligarlas a retirarse. Fue entonces cuando Hitler intervino y desautorizó por primera vez a Rommel en combate: el 'Führer revocó la orden de retirada y ordenó al ejército alemán permanecer en sus posiciones y resistir hasta el último hombre. La orden fue una sorpresa para Rommel, que no obstante la acató y suspendió la retirada. Sin embargo, esto significaba condenar su ejército a la destrucción, por lo que 24 horas más tarde decidió insubordinarse y volvió a ordenar la retirada. No sufrió medidas disciplinarias por ello, pero en el espíritu de Rommel quedó para siempre una mala impresión de su comandante en jefe.
Tras la derrota en El Alamein, las fuerzas de Rommel se limitaron a tender emboscadas al ejército británico que les perseguía y no volvieron a plantear lucha abierta hasta que llegaron a Túnez. Incluso ahí, su primera batalla no fue contra el VIII Ejército Británico, sino contra el II Cuerpo Estadounidense, que había desembarcado en Marruecos y Argelia durante las semanas anteriores (Operación Torch). Rommel infligió un duro revés a las fuerzas americanas en la Batalla del paso de Kasserine. En esta batalla, uno de los oficiales de observación destinados en su Estado Mayor, Claus von Stauffenberg, fue gravemente herido en un bombardeo.
Volviendo una vez más a enfrentarse a la Commonwealth en las antiguas defensas fronterizas francesas de la Línea Mareth, Rommel no pudo retrasar más lo inevitable. Ultra fue un poderoso factor que precipitó la caída de sus fuerzas. El 6 de marzo de 1943, tras librar una última batalla, Rommel fue evacuado. Cinco días después fue condecorado con los brillantes de la Cruz de Caballero. Sus hombres se convertirían en prisioneros de guerra pocos meses después.
Italia 1943
Tras su evacuación de Túnez, Rommel pasó un tiempo encerrado en una villa de Alemania. Su estancia allí era secreto de Estado, ya que la propaganda oficial seguía hablando de él como si estuviese aún al frente de sus tropas en África, para mantener la moral.
Al consumarse la rendición en Túnez (13 de mayo de 1943), Rommel fue transferido temporalmente al cuartel general de Hitler como «consejero militar», sin mando efectivo salvo un paso fugaz por Grecia. El desembarco aliado en Sicilia (10 de julio) y el derrocamiento de Mussolini dos semanas después, convencieron a Hitler de que Italia estaba a punto de rendirse y le impulsaron a intervenir militarmente. El Führer llamó a Rommel para darle el mando del nuevo Grupo de Ejércitos B, formado alrededor de Munich, que empezó a cruzar los Alpes pocos días después.
Desde agosto hasta noviembre, Rommel dirigió lo que de hecho era un ejército de ocupación en el norte de Italia. No se ha acusado a Rommel de ningún crimen de guerra o contra la humanidad en este difícil periodo de preguerra civil, a pesar de las órdenes de Hitler de reprimir brutalmente a los partisanos.
Francia (1943-1944)
Rommel recibió en noviembre de 1943 la orden de trasladar su Grupo de Ejércitos B a Francia y fue nombrado responsable de defender la costa francesa. Consternado por la situación con la que se encontró y el lento ritmo de trabajo, sabiendo que disponía de escasos meses antes de la invasión, Rommel revigorizó todos los esfuerzos de fortificación a lo largo de la costa atlántica. Bajo su mando, el ritmo de trabajo se aceleró significativamente, se colocaron millones de minas y miles de trampas antitanque, así como obstáculos en las playas y los campos.
Tras sus batallas en África, Rommel concluyó que para sostener el frente occidental cualquier movimiento ofensivo resultaría imposible debido a la superioridad aérea Aliada. Argumentó que los tanques habían de estar dispersos en pequeñas unidades y deberían mantenerse en posiciones bien fortificadas, situadas tan cerca del frente como fuese posible, de modo que no tuvieran que moverse demasiado y no se apelotonasen cuando comenzara la invasión. Opinaba que la invasión debía ser detenida en las playas. Sin embargo, su comandante Gerd von Rundstedt decidió que no era posible detener la invasión cerca de las playas a causa de la enorme potencia de fuego de la flota aliada y pensó que los tanques deberían estar formados en grandes escuadrones tierra adentro, cerca de París, donde permitirían a los Aliados adentrarse en Francia y entonces acabar con ellos. Cuando se pidió a Hitler que eligiese un plan, vaciló y situó los tanques en un punto intermedio. Entonces, los tanques quedaron demasiado lejos para lo que Rommel propugnaba, y fuera del alcance de la idea de von Rundstedt. A pesar de todo, el plan de Rommel estuvo a punto de llevarse a cabo.
Durante el Día D, bastantes tanques alemanes, sobre todo de la 12ª SS División Panzer Hitlerjugend, estuvieron cerca de las playas y crearon bastante caos. Pero la superioridad numérica de los Aliados y la negativa de Hitler a liberar a tiempo las reservas Panzer hicieron que cualquier éxito fuese irrelevante y las playas fueron pronto aseguradas por los Aliados.
Rommel y el complot contra Hitler
Contacto con los conspiradores
La verdadera implicación de Rommel en el complot y su opinión sobre el mismo han sido tema de intenso debate a lo largo de los años. Lo que está más allá de toda duda es que los dos hombres clave del complot del 20 de julio, el doctor Carl Friedrich Goerdler y el Generaloberst Ludwig Beck, habían puesto sus ojos en Rommel para que los apoyara. Necesitaban desesperadamente una figura de gran renombre que pudiera contrarrestar ante al pueblo alemán la sombra de cualquiera de los lugartenientes de Hitler que intentara ocupar su lugar, y también les hacía falta un militar de prestigio y alto rango que pudiera unir bajo su mando al ejército, enfrentándose a las SS si fuera necesario. Rommel era ambas cosas. A pesar de sus enemigos en el OKW, era una figura ampliamente respetada en el ejército, e incluso en las Waffen-SS, y además era la figura más popular en Alemania después del propio Hitler.
Los conspiradores tenían dos contactos con Rommel: uno era Karl Strolin, alcalde permanente de Stuttgart y antiguo amigo y camarada de armas de Rommel en la Primera Guerra Mundial; el otro, el Teniente General Hans Speidel, quien siendo ya parte del complot había sido nombrado jefe de Estado Mayor de Rommel en Francia.
Strolin visitó a Rommel en febrero de 1944 para informarle de la conspiración. También le desveló en ese momento la existencia de los campos de exterminio. Strolin declararía después que Rommel desconocía la intención de asesinar al Führer y creía que lo que se haría con Hitler era capturarle y encerrarle para ser juzgado posteriormente.