吴佩孚所部撤防是从一九二零年五月二十日开始。

他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。

直到吴佩孚所部撤防的前夕，北京政.府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。

吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。

途中吴秀才诗兴大发，写下《回防途次》，诗曰：

行行重行行，曰归复曰归。

江南草木长，众鸟亦飞飞。

忆昔赴戎机，长途雨雪霏。

整旅来湘浦，万里振天威。

孰意辇毂下，妖孽乱京畿。

虺蛇思吞象，投鞭欲断淝。

我今定归期，天下一戎衣。

舳舻连千里，旌旗蔽四围。

春满潇湘路，杨柳正依依。

和风送归鸟，绿草映晴晖。

少年惜春华，胜日斗芳菲。

来路作归程，风景仍依稀。

周公徂东山，忧搀亦畏讥。

军中名将老，江上昔人非。

建树须及时，动静宜见几。

何日摧狂虏，发扬见国威。

不问个人瘦，惟期天下肥。

丈夫贵兼济，功德乃巍巍。

江上送归舟，风急不停挥。

得遂击楫志，青史有光辉。

春日雁北向，万里动芳徽。

鸿渐磐石愿，衍衍不啼饥。

止戈以为武，烽烟思郊圻。

同仇复同仇，归愿莫相违。

吴佩孚所部于二十七日由水路经过长沙。

张敬尧怕吴部舍舟登陆“战长沙”，在湘江右翼配置了强大的兵力，但只作防御准备。

而吴部根本无意上岸，虽亦作紧急戒备，不过是怕张军袭击而已。

双方都很克制，均未挑衅生事，吴部随后扬帆而去。

吴佩孚所部于五月二十九日过岳州，三十一日在汉口集中。

吴部北行，一举一动都引来各方关注，其滞留汉口，久而不发，因之而谣言四起。

北京政.府以吴佩孚所部按兵武汉。引起各方猜忌为名，促其尽快离开。并电曹锟，请他下令督促吴部速行。

吴佩孚本打算在武汉稍事休整，但迫于情势不得不迅速开拔。派其参谋长赴汴与赵倜密商后，商定吴部暂驻信阳、许州、郑州等处。

随后于六月七日晚由武汉起程。八日抵郑。