当一行人进入大山深处后，逃亡几乎成为不可能的事。剩下的人也都死了心，老老实实地跟着大队前进。
又在山地里走了大约十天，终于看到了下山的路。这十天里，每个人都得靠那一口袋里糇粮充饥，渴了就喝山里小沟里的水。没有炊具，虽然宿营时能升火取暖，却无法加热食物，他们只能就着凉水吃干冷的糇粮。山里的气候变化不定，一会儿暴雨，一会儿天晴，甚至这一段路下雨，下一段路天晴。身上的衣服湿了干，干了湿，已经完全起不到保暖的作用。每个人都得依靠顽强的生命力与大自然抗衡，抗不过去的，就只能倒在山路上。惟一得到的好处就是，在院子里沾满屎尿的衣服，在风雨的侵袭下，已经消失了污秽的痕迹。盖聂这十来天，每天夜里调息吐纳，体力恢复得不错；他还试着在走山路时，配合吐纳功夫，发现效果不错。暗喜之下，他想着如果能在击剑的同时吐纳，是不是会有特别的功效。就在行走时，默念各种剑法，同时配合吐纳，越练越有心得，感觉自己就像要飞起来。
还在山上时，这群人就已经能够看到自己的工作场所了：视线的远处尘土飞扬，显然是大批人员在工作。下山后，又走了二十来里，于半夜进入工地。押解的人员与工地上的人员办完交接，工地清点了人数，太原的押解人员自到附近一处邑里休息、玩乐。留下这不到二千人。
工地上的官吏将这些人集中到一起，第一件事就是处罚逃亡士卒的长官和同伍。凡逃亡一人，他所在的序列中，从千人将到什伍长都要被笞十下，同伍剩下的人则要笞二十。盖聂这才知道，敢情自己是被编入了什伍，还有长官，但在行军过程中完全体会不到他们的存在。现在要挨打了，那些被任命为长官的人多数交出多少不一，贵贱不等的财物赎罪，只有少数挨打。而这些同伍的人则不然，他们几乎是被绑架来的，连餐具都没有，哪里有什么可以赎罪的？只能被拖到空场上，狠狠挨了几十下板子，一时间哀嚎声遍野。盖聂很不巧，说同伍中有两人逃亡（他根本不知道自己的同伍是谁），被打了四十板。好在他们明天还要上工，打人的刑具是比较细的柳枝，受伤不重，只是火辣辣地痛。
挨完打，他们也就知道了自己的归属，被重新按什伍集中起来，分配了营地，各自休息。这一夜哪里睡得着。大腿、后背疼痛如火烧，夜里的寒风成了止痛良药。那些比较狠的人，还相互用凉水浇自己的伤处。
盖聂没有浇凉水。他看不见自己的伤处，怕浇了脏水化脓。他轻轻地将衣服掀起来，让寒风吹着自己的后背，一面呼吸吐纳起来。
如果说第一天是以每人挨一顿板子作为见面礼已经很出格，但来个下马威，还算是情有可原。这第二天的事就更加出格了。他们是绑架来的，没有带餐具，所以吃饭的家伙是必须解决的问题！工地也的确为他们解决了这个问题。几个大箩筐里装满了餐具，这是工地提供的。但并不免费，价格高达二百三十钱一套，包括一只陶碗和一支木匕。这种东西要是在外面卖，也就二三十钱，这里不仅贵得离谱，而且让人无所措手足：钱从哪里来？
解决方案是，每人签一份债券，上写某人借某人二百三十钱。债券分左右两半，每个人只需要在两片竹板借贷者的位置上写上自己的姓名，押上自己的手印，取回右劵，留下左劵，就能领到一套餐具。债主的位置空着。盖聂觉得奇怪，这种债券能有什么用？他见前面的人都按要求做了，自己也照样写上自己的姓名，按下手印，领到一套餐具。很快他就观察到真正的债主是谁了：有人过来，掏出钱，买下了这些债券，债券上就填上了债主的姓名。这些人中，有不少还是来自太原的商人！而且还来了不少商人，在给工地上交一笔钱后，就带着远道跋涉而来服劳役的商人自行离开，包括几乎所有的千人将和五百人将，以及多数百人将。他们都是太原有一定规模的商人，在邯郸这边也有自己的分店，虽然路上不方便背太多的钱，但这边有人接应，用钱赎劳役。真正苦命的是那些小本生意的人，自己的生意耽误了不说，还要在这天寒地冻的时节筑城。
出了山，盖聂虽然挨了打，但已经开始寻机逃离。他一路走来，在与行列中的商人交谈中，已经知道了山路中哪里通往仇犹，哪里通往中山。这些狄人建立的国家，一般都在山的北边。只要进了太原，这条道路并不难寻找；而且几乎一线直穿，并无太多的岔路，盖聂认为，自己再走一遍也不至于迷路。下山后就是元氏，听说赵王要在这里建立上原县，以元氏为县城所在。现在这里各种势力错杂，逃走并不难。困难在于，如何能够顺利地进入邯郸城，与吕不韦联络上，再找到郑安平的下落。
很快，机会就来了。盖聂所在的五百人被派去挖护城河。这片区域，南北各有一条河。盖聂他们的任务就是将南边的水引到城边来。
这天，干了半天，到正午时，全体开始休息。不少人都跑到河边拉屎撒尿，盖聂也跟着过去，蹲在河边假装拉屎。见过来的人陆续回去，瞅个空当，就钻进河边的水草丛中。等到休息时间结束，重新点名开工时，大家才发现盖聂已经不在了。这下大家惊慌了，立即报告看守的士兵。士兵们大惊，也不催他们开工，一层层上报上去。过了一时，负责这片的百人将才过来，查问了情况，谁也说不清盖聂是什么时候消失的。百人将大怒，知道只跑了一个人，就将负责的五百人将、百人将，以及什伍和同伍的人当众捆打了一番，又派十来个人潦草地在周围搜了搜，就喝令继续干活。其实这时盖聂就藏在二三里外的一个水草丛中，如果能进行拉网式的搜索，一定可以搜索出来。但赵军百人将显然认为不值得为了一个人兴师动众，责罚几个人以儆效尤就算了。
等到大队收工回去，盖聂才慢慢出来。先顺着河流向下游一直走到天黑，以免留下足迹、气味等可供追踪的线索，再从河中钻出来。这里是一片平原。在南边十余里外，有一处黑沉沉的大城。既有大城，周围必有聚邑。盖聂脱下自己的绨袍，将面罩扯开，把里面的绨布都掏出来，抛入河中，让它们顺流而下。然后披着这件破烂的衣服，向南而去。