到了阿日斯兰晚年，身为大台吉的呼和巴日已经全面接管整个漠北草原的内政大权，但是另外一个方面，常年跟随阿日斯兰左右的图蒙，则是军权太盛，常年对漠南胡族的征战，更是为图蒙打下了赫赫威名，这就导致了一个非常奇怪的现象，呼和巴日看上去身处权利核心，是整个漠北草原的掌权者，更是铁定的未来可汗继承人，但是他手中的军队却是少的可怜，只有区区两万直属近卫军，而图蒙身在漠北边境，看似远在权利核心之外，但是他手中却是掌握着漠北胡族最为精锐的三十万大军。

对于这一点，许多人曾经婉转的和阿日斯兰提到过其中的担忧。

汉人大臣黄寺更是激烈劝谏，密言呼和巴日，言其图蒙军权太盛，他日必定尾大不掉，威胁呼和巴日的可汗之位，让其早做打算，趁着阿日斯兰在世之时，借助他的力量，剥夺图蒙兵权，将其软禁，甚至杀掉。

呼和巴日与黄寺两人的密谋，被图蒙探知，他当即独自一人返回汗庭，当着父汗阿日斯兰与诸位兄弟的面，跪地磕头，大声痛哭，请求大哥呼和巴日饶命，阿日斯兰当场质问呼和巴日此事是否属实，呼和巴日不敢隐瞒，只得说道，黄寺确实说过这样的话，但被自己所拒绝，把责任全部推到了黄寺的头上。

对此，阿日斯兰勃然大怒，以挑拨兄弟相残之罪，当场就要处死黄寺，是呼和巴日苦苦相求，最终才免于一死，被发配西漠牧马，永世不得回来。

经过此事之后，呼和巴日与图蒙两人之间的兄弟之情，看似越发的亲密，单事实上，两人之间已经有了不可弥补的裂痕，而阿日斯兰晚年，看着漠北草原日渐强盛，消灭漠南胡族，统一整个漠蒙草原，这个大局已经不可逆转，只是时间问题，当然，自己恐怕是看不到了，因此，晚年的阿日斯兰除了对酒和女人之外，对于其他事情，已经不再有任何兴趣，而之前有了黄寺的教训，其他人就算看到了其中问题的不对，也是不敢再有任何进言劝谏。

阿日斯兰死后，呼和巴日顺利继承可汗之位，但是此时的呼和巴日，并没有对自己成为可汗而感到激动或是兴奋，反而是紧张与害怕，其根源便是掌握兵权的图蒙。

当时的情况，呼和巴日手中只有两万汗庭近卫军，以及积极拉拢过来的老四赫德穆图，赫德穆图手中大约有三万直属他自己的部落军队，就算如此，他们两个人加起来也不过才五万军队，不要说图蒙手中有超过三十万大军，老二查干，老三恩赫巴拉，老五葛根全部都是站在他那一边，这三人手中的兵马加起来，超过十万，所以说，当时图蒙可以调用的军队，超过四十万，是呼和巴日近十倍之众，图蒙若是有任何的异心，完全可以轻松推翻呼和巴日，夺取可汗之位。

不过很快，呼和巴日就大大松了一口气，图蒙遵从了父亲阿日斯兰临终遗命，一个主内，一个主外，兄弟两人齐心合力，消灭漠南胡族，统一整个漠蒙草原，以致最后可以大军南下，覆灭大晋，建立一个无比辉煌的强大帝国。