26日，以太平军降军为先锋，清军开始攻城。此时，大部分的太平军降兵还是穿着太平军军服。在外人看来，就好像是太平军在打太平军一样。

清军火炮开路，并以火枪兵压阵，在太平军降兵后面和城墙上的太平军守军对射，分散进攻部队的压力。太平军降兵于是冒着枪林弹雨搭建浮桥，任由防守的太平军射杀。顷刻间，护城河就一片殷红。

几条浮桥刚建不到三四米，由于死伤惨重，太平军降兵便抵挡不住，溃败下来。在这短短的半个时辰里，太平军降兵就死伤了近4千人。

站在后面指挥的各清军首领也是纷纷摇头。在这么猛烈的射击下，谁也抵挡不住，更何况还是本来就怕死的太平军降兵。

鲍超：“暂停吧，没这样打的，这特么的就是白白送死。就算把2万太平军降兵打光，也建不起这几座浮桥。”

保胜：“那怎么办？总不能不打吧。”

丁汝昌：“当然要打，但不能这么打，多少命也不够填啊。我看只能在东、南、西三门外的吊桥两侧，垒高墙和太平军守军对射，然后再趁机抢夺吊桥。”

大家正在一筹莫展的时候，丁汝昌的这个提议是眼前唯一能想到的不是办法的办法。大家于是便一致同意采用这个方法。其实，这个方法在蒙古人打襄阳时使用过。当时蒙古人仗着自己弓弩功夫厉害，就垒墙和城内南宋守军对射，给守军造成巨大的伤亡。

就在5月清军出兵围剿鄂北太平军同时，曾国藩也调集了10万大军，以吉字营为主力，向杨辅清的湘南太平军发起进攻。

杨辅清见湘军势大，只能且战且退，不计较一城一池的得失，希望在运动中寻找战机歼敌一部。可惜他碰到的对手的曾国藩，一个擅长“打呆仗”的军事统帅。他是步步为营、稳扎稳打，愣是没给杨辅清半点机会。

杨辅清只得率领湘南太平军边打边撤，从耒阳退至永兴，再从永兴退至郴州，最后退到了湘粤交接处的宜章。期间，杨辅清几次伏击湘军，都未能成功，反而让湘军把伏击的太平军给吃掉了，损失不少人马。

在湘军逼近宜章时，杨辅清把部队撤入广东乐昌。而此时，杨辅清得到消息，2万广东清军已进驻韶州曲江城，堵住了太平军南撤的道路。现在是前有粤军拦路、后有湘军追击，湘南太平军被夹在乐昌动弹不得。

此时，太平军还剩3万8千人马，面对十多万大军的围追，根本没有取胜的可能。杨辅清权衡利弊后，只能舍弃所有辎重，全军携带粮食弹药和银两，沿小路翻山越岭，从三江口穿过，于6月10日到达桂阳（今汝城）。

由于舍弃辎重，太平军粮草供应困难，很难再同湘军在湖南周旋。于是杨辅清到达桂阳后，筹集粮草便再次启程，向江西杀去，攻打南安府崇义县。

15日占领崇义、18日占领上犹，兵锋直指赣州府治所赣县。

20日，杨辅清在赣州虚晃一枪，率部北上攻取相安（村），25日攻占吉安府龙泉。经过这番连续作战，杨辅清认为已经暂时摆脱了湘军的追击，于是全军在龙泉休整几天。并派斥候四处打探情报。

不过，送回来的信息却让杨辅清感觉形势异常严峻。

南面，湘军主力绕道韶州，经南雄、南安，已经抵达赣州赣县，堵住了南下的通道；西面，湘军偏师进驻桂阳后，又北上抵达桂东，堵住了向西回师湖南的路；北面，湘军水师提督彭玉林部已经抵达吉安府治庐陵，堵住了太平军北上之路。