为了防止汉军在架起云梯时还会利用那些武器进行攻击，呼衍青看到城外的汉军只有正面的三千人，其他方向都没有汉军，于是便又从其他三个方向各抽调了四百人过来，这样他们在正面的城墙上下也有两千四五百人，城墙下的主要是弓箭手，等汉军利用云梯攻城时，这些弓箭手便躲在城墙下边向上抛射弓箭，这样也可以挡住汉军的进攻。

只是这样一来，其他三面城墙上都只剩下了六百人，呼衍青让几面城墙上领兵的千夫长一定要密切注意城外汉军的动向，一旦有汉军前来增援，便赶紧向他禀报，他好从没有受到攻击的城墙上继续抽调士兵去危险的地方支援，反正只要能挺过今天一天，自己的任务也就算是完成了。

好在今天汉军似乎也没有想大举向单桓城发动攻击，否则只要同时从四面城墙外都用这种战术进行攻击的话，恐怕等汉军真的架起云梯攻城的时候，城墙上的匈奴士兵也剩不下多少了。

此时城外的褚燕与高平二人已经指挥一千名轻骑兵抬着云梯和撞木，逼近了单桓城，由于单桓城在建城的时候，匈奴人也从汉人的筑城方法中学会了许多东西，他们采取了引水绕城，形成了一道天然护城河的方法，因此单桓城的护城河倒是很宽，河水也很深，毕竟他们是把从城北流过的乌伦河水引入了护城河，现在又是雨水正多的时候，因此轻骑兵到了护城河边，便把云梯搭到了护城河上，然后开始从上面过河。

在他们的身后，是高平带领的一千名手持连弩的轻骑兵，他们的任务，便是在渡河攻城的轻骑兵受到城墙内的匈奴士兵用弓箭攻击时，由他们用连弩压制城中的匈奴士兵，好让攻城的轻骑兵顺利度过护城河，然后沿着云梯爬上城墙。

当城墙上的匈奴士兵发现汉军已经开始从云梯上渡过护城河时，他们急忙站起来用弓箭向轻骑兵进行攻击，同时给城墙内的呼衍青报信，汉军已经开始攻城了。

呼衍青急忙指挥两名千夫长带着城下的大批匈奴士兵马上举着皮盾登上城墙，同时也命令城墙内的弓箭手立刻向城外放箭，以阻止汉军渡过护城河。

早就在城外候着的高平一看匈奴士兵开始用弓箭向轻骑兵进行攻击，便马上传令身边的一千名汉军立刻扣动弩机，用连弩不停的向城内放箭的地方进行反击，以便压制住他们的攻势，掩护轻骑兵顺利渡河。

现在已经有一些轻骑兵渡过了护城河，开始将云梯拉到城墙下边，然后贴着城墙竖了起来，轻骑兵也开始沿着云梯向上攀爬，有了他们身后的轻骑兵用连弩为他们做掩护，使得他们开始时的行动非常顺利。

然而城墙上的匈奴士兵此时举着皮盾站起身来，他们有的用长矛推开搭在城墙上的云梯，有的则搬起城墙上的木头和石块砸向云梯上的轻骑兵，如此一来，最先爬上云梯的轻骑兵大都被木头和石块砸中了，而他们竖起的云梯也大都被城墙上的匈奴士兵给推倒了，使得轻骑兵的第一次攻城无功而返，同时还损失了几十名轻骑兵，褚燕看到这样下去轻骑兵的伤亡会更大，便急忙命令号兵吹号收兵。

城内的匈奴士兵虽然也被轻骑兵的弩箭射死了不少，但是毕竟他们打退了汉军的攻击，因此当他们看到汉军退回去之后，城墙上的匈奴士兵居然欢呼了起来。

呼衍青也没想到汉军居然如此轻易的便被他们打退了，全然没有了他们在接近城墙之前的那种气势，因此他心中的自大情绪又上来了，觉得汉军只是仗着手中的兵器和盔甲的精良，才在以前的两次战斗中取得了胜利，如今短兵相接之时，他们便根本不是匈奴士兵的对手了。