逃亡路上，没有吃的了，就削木皮以食，没有钱花了，李密就化名刘智远，去带学生以自给。

这段时间是李密一生中最为穷困潦倒的时刻，更是让他写下了一首直抒胸臆的五言诗《淮阳感怀》：

金风荡初节，玉露凋晚林。此夕穷途士，郁陶伤寸心。野平葭苇合，村荒藜藿深。眺听良多感，徙倚独沾襟。沾襟何所为，怅然怀古意。秦俗犹未平，汉道将何冀？樊哙市井徒，萧何刀笔吏。一朝时运会，千古传名谥。寄言世上雄，虚生真可愧！

后来，被人告发，淮阳郡守赵佗往捕之，李密乃遁去，投其妹夫、雍丘令丘君明家，寻找当地大侠王季才家，王大侠敬重李密，以其女妻之。

不久，李密的行踪又被丘君明的从子丘怀义告发，导致丘君明、王大侠、还有李密的妻儿一同被处死，仅李密幸免于难。

这时，离雍丘不远处有一地名叫瓦岗，当时的大当家叫翟让，与单雄信、徐世绩等人都是同乡，靠劫掠通济渠发展。随后，李密便动身去了瓦岗寨，投奔了翟让。

李密不仅为翟让出谋划策，说服了很多小寨主前来投奔，更是设计诱杀了隋军名将、荥阳通守张须陀，使瓦岗军声名大振！

随后，李密兴兵攻破了兴洛仓，散粮募兵，建蒲山公营，获得了自己的嫡系部队。李密治军极严，虽然是在夏天发布的号令，但将士们都感觉负若寒霜。不过，李密每打一次胜仗，就分发战利品给部下，将士们倒也乐意为其效力。

后来，李密屡败“运输大队长”隋将刘长恭，更新了一波部队的装备，又进而攻破大隋第一粮仓——回洛仓，得众百万，选其中八千人，谓内马军，自云“此八千人可当百万。”

同时，地方上，如河南巩县长史柴孝和、侍御史郑颐、河南道招捕大使裴仁基、武阳郡丞元宝藏、淮阳郡守赵佗、黄州总管周法明等纷纷献城投降，致使河南大地除东都一隅外，各地仅荥阳太守杨庆、梁郡郡守杨汪还在坚守城池，其余土地，已全归李密所有。

各地的义军如：外黄王当仁，济阳王伯当，韦城周文举、雍丘李公逸、长白山孟让、黎阳李文相、洹水张升、清河赵君德、平原郝孝德、齐郡徐圆朗、任城县徐师仁、谯郡黑社、白社、济北张青特、上洛周比洮、胡驴贼等纷纷响应，使瓦岗军的势力愈发壮大。

后来就是李密和王世充两个同门师兄弟的拉锯战，双方打得你来我往、有来有回，王世充搞死了李密的柴孝和，李密也斩了王世充的骁将费青奴，双方共计大小战斗上百次，还是不分胜负。直至大业十八年，三月，李密大破王世充于洛水，进驻金镛城，至此，李密的势力达到了巅峰！

在这之前，李密与翟让二人因为彼此之间身份地位、权钱利益等各种各样的原因，开始互相猜忌和怀疑。到最后，李密反客为主，于宴会中邀请瓦岗一系入席，请翟让试弓，并趁机伏兵尽出，将翟让及其亲属、还有亲信王儒信当场斩杀，大将徐世绩被砍成重伤，单雄信与邴元真被迫跪地请降！

房彦藻曾说单雄信与邴元真轻于去就，劝李密杀了二人。但李密爱其才，好生安抚了二人，以单雄信为外马军统领，邴元真为回洛仓城守。