李远其实并没有和柴绍勾结，跟柴绍勾结的人是他的二儿子李世豪。

李世豪今年十八岁，一向礼贤下士，仗义疏财，结交天下英豪，而且能骑善射，气度恢弘，见识高远，十六岁从军以来，屡立战功。

刘文静曾经评价他，天下英雄无出其右者。

从杨玄感叛乱的时候开始，李世豪就看出大虞朝日薄西山，天下将会发生巨变，所以一直都在暗中做着准备。

他通过结交天下豪杰，积累了大量的人脉，手下多有猛将死士，而且一直在陇右和突阙人做买卖，有了一定的财富积累，李神通倒卖的那些马匹很大一部分都是被他买走了，但李神通和李远对此并不知情。

当他得知杨寿抵达江都，并且囚禁了秦虎的时候，他就知道大虞朝铁定完蛋了，最起码长江以北肯定保不住了。

当时他正和李远在马邑郡和突阙人作战，而马邑郡的精锐部队都在进攻辽东的时候战死，所以他们屡战屡败。

李世豪多次劝李远起兵造反，可是李远根本没有那个胆子，还假惺惺的想要大义灭亲，李世豪觉得时机不成熟，也就没再提。

可是自从本年十月份开始，突阙再次大举南下，马邑郡很多座城池都被攻陷，李远和马邑郡太守王仁恭废了九牛二虎之力，也扳补回局面。

跟秦虎一样，他俩也被杨寿给抓进了大牢。

不过也有不一样的地方，秦虎是在东都被抓，而且部队被分别调走了，而李远则是在自己的地盘被抓，关进了自己家的监狱里。

整个太原全都是李远的人，连狱卒都是他家的人，李世豪等人出入监狱如履平地，到了这个时候，李远不造反也不行了，所以当时他是下了决心的。

可是没想到，过了没有本个月，杨寿又下令把他和王仁恭给无罪释放了，出狱后，他立即又反悔了，李世豪白激动一场。