李世民为了壮大自己的实力，不遗余力地的网罗人才。

在李世民广招人才的同时，太子李建成、齐王李元吉也不甘落后，到处搜罗能人异士。

太子府有：太子詹事李纲、窦轨，庶子裴矩、郑善果，贺德仁，太子洗马魏征，中舍人王珪，舍人徐师謩，欧阳询，典膳监任璨，直典书坊唐临，陇西公府祭酒韦挺，记室参军庾抱，左领大都督府长史唐宪。

齐王府有：记室参军事荣九思，户曹武士逸，典签裴宣俨，（袁）朗为文学。可见太子李建成，齐王李元吉也在四处网罗人才。

太子李建成四处招纳，能人异士，通过瓦岗寨军的李世绩的好友，太子洗马魏征，多次找李世绩，但是都被李世绩婉言谢绝了。

武德五年（622年）6月，刘黑闼再次发动叛乱，引领着突厥的军队侵犯山东，到了十一月，全部收复了他原来占有的地盘儿，这时太子洗马魏征便劝说太子李建成说道：“秦王功盖天下，中外归心，太子殿下，只是以年纪长，而位居东宫，没有大的功劳，以镇服海内。现如今，刘黑闼散亡之余，众没有1万人，物资粮草很匮乏，你以大唐军队临之，势如拉朽，太子殿下应该亲自去打败刘黑闼以博取功名，并且团结拉拢山东的豪杰，然后自然可以自己安定了。”

太子李建成接受了太子洗马魏征的建议，向唐高祖李渊请求，出征刘黑闼，唐高祖答应了，并且下诏令：陕东道大行台以及山东道行军元帅，黄河以南、黄河以北诸州，并且接受太子李建成的节制。

太子李建成率领大军前往征讨，用了不到三个月的时间即将刘黑闼叛乱的军队平定下来。太子李建成趁机招揽山东豪杰。

李世绩当时出任齐州总管，而齐州位于黄河以南，他应该接受太子李建成的指挥。这是李世绩一生中唯一一次直接隶属太子李建成的时期，历时不到三个月。

太子李建成既然抱着“结纳山东豪杰”的目的而来，又不可能不在李世绩的身上下功夫，因为李世绩是一个闻名遐迩的山东的大豪杰。太子李建成的谋士太子洗马魏征也不可能不像当年劝说他降唐那样，继续劝他归顺太子李建成。

然而，李世绩并没有成为太子李建成集团中的一员，正像他尽管跟随着李世民两年半时间，却没有成为秦王府集团成员一样。不过他始终是一个可以信赖的忠臣。

所以，李世绩在太子李建成集团与秦王府集团的斗争中，始终保持着不偏不倚的中立态度，使双方都十分敬重他。他的这种对待大唐王朝内部政治斗争的立场和态度，一直贯彻了他的一生。