赤岗岭位于集贤关外，是一处由花岗岩构成的高地，地势险要，易守难攻。“四垒”分四个方向把守赤岗岭。刘玱琳部第一垒处在官道的正面，李四福、朱孔堂、贾仁富则护住左右两翼及后方。刘玱琳部是湘军进攻的主要方向。
攻打赤岗岭的湘军有一万多人，曾国荃、鲍超、成大吉等悍将悉数出动，阵营十分豪华。其中，鲍超麾下的六千多“霆字营”是主力，曾国荃的“吉子营”有部分参与战斗，成大吉部四千兵马也参与行动。由于道路崎岖，部队无法有效展开，进攻部队最多只能容纳2千人。湘军只能采取车轮战术，派部队轮番进攻，结果刘玱琳从容指挥将士堵防营垒缺口，连续十次击退湘军进攻，毙敌近千人。
鲍超，号称是湘军第一猛将，大小战斗500场，身受108处伤，未曾战败。“霆字营”，湘军精锐中的精锐，是胡林翼一手调教出来。野外决战，湘军阵营没有比“霆字营”更强的部队，即便是曾国藩一手培养起来的“吉字营”，都要靠边站。由于得到欧洲列强的支持，湘军从英法手中购买了大量的武器装备，使得湘军洋枪的比例超过50%，还配有一定比例的洋炮。这些武器的使用，使得湘军在攻坚战中有明显的优势。猛烈炮火掩护下，湘军匍匐前进，手持洋枪冲锋，攻势非常凌厉。
可刘玱琳部却极为强悍，不仅人人善于肉搏战，还人手一支步枪，清一色扬威军仿造的恩菲尔德来复枪，枪打得是又快又准。凭借坚固的防御工事，太平军从弹孔中射击。湘军冲锋，太平军未动。湘军进入百米范围后，太平军连续齐射，并投掷火罐，湘军叫苦不迭。
枪林弹雨下，鲍超亲自出击，“霆字营”士气高昂，拼死冲锋，但在刘玱琳部顽强抵抗之下，仍然无法攻破太平军垒墙，还是败下阵来。
就在刘玱琳部和湘军生死相搏的时候，李四福、朱孔堂、贾仁富等三个营垒却毫无动静。三人见湘军势大，己方处境极度不利，开始商量解困办法。大家心里清楚，现在太平军基本没有取胜的希望，继续对抗下去只有死路一条。所以，李四福三人商议，乘着刘玱琳还在和清军作战，湘军又一时无法取胜的时机，向湘军请降。或许可以逃过一劫，说不定还可以升官发财。
三人商定后，便写了一封请降书，由李四福的亲卫带下山，呈交湘军统帅。
湘军曾国藩、胡林翼接到请降书后，随即征求各营主帅意见。结果大家意见分歧很大。胡林翼主张接受李四福等人的投降，这样可以减少损失，并快速击溃太平军。曾国荃、鲍超、成大吉等全部反对。鲍超是因为攻击受阻，部队伤亡惨重，咽不下这口气，所以反对接受投降；曾国荃、成大吉等，则是因为在三河大战中李续宾、曾国华等人全死在这些人手上，所以不愿接受投降放他们一条生路。
曾国藩考虑良久，最后决定暂时搁置这件事。反正他们也跑不了，不如等局势明朗后再做决定。于是，湘军没有理会李四福等人的请降，继续攻击。不过，这次则是集中兵力，全力进攻刘玱琳部。对李四福等人的营垒是置之不理，听之任之。
赤岗岭上屯粮并不多。弹药又得不到补充，在湘军持续攻击下，刘玱琳部压力很大。加上缺少饮水，仅靠石缝中滴出来的那点水，根本无法满足全军的需求。即便面临如此艰难的困境，刘玱琳并未放弃，仍然顽强抵抗。
鲍超凭借火炮的优势，继续率领霆字营猛攻，不给刘玱琳喘息的机会。力求一举摧毁营垒，消灭这支太平军劲旅。如此，赤岗岭上炮声轰轰，硝烟弥漫，战况非常激烈。
炮火持续攻击，终于摧毁了刘玱琳第一垒的外墙。鲍超见状面露喜色，立刻率兵往缺口处冲杀，试图杀入里面。
此时，刘玱琳手持大刀，全军集结在缺口处与“霆字营”展开残酷的肉搏战。刘玱琳部个个以一当十，人挡杀人佛挡杀佛，在白刃战、肉搏战中将“霆字营”击败。激烈的肉搏战，让鲍超见识到了两广老兄弟的凶悍。随着霆字营伤亡增大，鲍超只好下令撤退。
刘玱琳利用湘军撤退这个时间间隙，把被轰塌的营垒外墙缺口又给堵上。接下来，湘军猛烈的炮火又两次打开缺口，冲锋的霆字营还是让刘玱琳打退。就这样，无论湘军如何拼命进攻，刘玱琳的阵地却稳如泰山，弄得湘军是灰头土脸，狼狈不堪。
如此这般，前后攻击了持续二十多天。湘军精锐出击，以十几倍的优势兵力攻打赤岗岭，与一千二百两广“老兄弟”进行厮杀。虽然湘军数次打开营垒外墙，向营垒内发起冲击。然太平军悍将刘玱琳以劣势兵力迎战，丝毫不退缩，让鲍超的“霆字营”损失惨重。
眼看湘军损失越来越大，却始终无法撼动赤岗岭的太平军。曾国藩最后拿起了李四福等人的请降书，同意接受李四福、朱孔堂、贾仁富投降，并许诺保荐官职。李四福、朱孔堂、贾仁富三人获讯大喜，立即放下武器投降。而此时，刘玱琳不知道李四福等人已经投降清廷，任然在和湘军拼死搏杀。
战至6于9日，刘玱琳部已经死伤近半，粮食弹药几乎告罄。刘玱琳不得不乘夜色派人向李四福等人求援。哪知求援人员还未出发，从李四福部逃离出来的20余名太平军来到刘玱琳处。刘玱琳此时才得知，李四福三人已经于上午投降清廷。
事已至此，已经无法再战。刘玱琳立即率剩余的700兵马乘夜色冲下赤岗岭，往桐城方向撤退。曾国荃、鲍超、成大吉获悉刘玱琳突围，立刻派兵追击。刘玱琳部且战且退，两广“老兄弟”毫不畏惧战斗。他们数次被湘军围住，均以强悍的战力强行杀出湘军的包围圈，给予湘军追兵重大杀伤。