李泌原是长安人，从小就很聪明，读了不少书。当时的宰相张九龄看到他写的诗文，对他十分器重，称赞他是个“神童”。肃宗当太子的时候，曾向玄宗上奏章，想给李泌一个官职。李泌推说自己年轻，不愿做官，玄宗就让他和太子交上了朋友。后来，他看到政局混乱，索性跑到颍阳隐居了起来。

这一回，唐肃宗来请他，他想到朝廷遭到困难，就到了灵武。唐肃宗看见李泌，高兴得像得到宝贝一样。那时候的临时朝廷，不太讲究礼节。唐肃宗跟李泌就像年轻时候一样，进进出出总在一起，大小事情，全都跟他商量。李泌出的主意，唐肃宗全都听从。

唐肃宗想封他当宰相，李泌坚辞不受。后来肃宗只好任命李泌为元帅府行军长史（相当于军师）。

那时候，郭子仪也到了灵武。朝廷要指挥全国的战事，军务十分繁忙。四面八方送来的文书，从早到晚没有一刻的间歇。唐肃宗命令把收到的文书一律要先送给李泌拆看，除非特别紧要的，才直接送给肃宗。宫门的钥匙，由太子李俶和李泌两人掌管。李泌有时忙得连饭也顾不上吃，觉也不能睡安稳。

第二年春天，叛军发生内讧，安禄山的儿子安庆绪杀了安禄山，自己称帝。这本来是个消灭叛军的好机会，但是肃宗急于回长安，不听李泌的计划，让郭子仪的人马从河东回攻长安，结果打了败仗。后来，郭子仪向回纥（我国古代北方民族之一）借精兵，集中了15万人马，才把长安攻了下来。接着又收复了洛阳。叛军头目安庆绪逃到了河北，不久，史思明也被迫投降。

唐军收复了长安和洛阳，唐肃宗便觉得心满意足起来，用骏马把李泌接到了长安。

一天晚上，唐肃宗请李泌喝酒，并且留他在宫里安睡。李泌趁机对肃宗说：“我已经报答了陛下，请让我回家做个闲人吧！”

唐肃宗说：“我和先生几年来患难与共，现在正想和您一起享受安乐，怎么您倒要走了呢？”

无奈李泌一再请求，唐肃宗虽然不愿让李泌离开，最终也只好同意。李泌到了衡山（在今湖南省），在山上造了个屋子，重新过起了隐居生活。

