到了安禄山造反，唐明皇仓皇出走，皇太子李亨在灵武即位，是为肃宗，到处寻找李泌，恰好李泌也到了灵武。肃宗立刻和他商讨当前的局面，他便分析当时天下大势和成败的关键所在。肃宗要他帮忙，封他做官，他恳辞不干，只愿以客位的身份出力。肃宗也只好由他，碰到疑难的问题，常常和他商量，叫他先生而不名。这个时候，李泌已少吃烟火食。肃宗有一天夜里，高兴起来，找来兄弟三王和李泌就地炉吃火锅，因李泌不吃荤，便亲自烧梨二颗请他，三王争取，也不肯赐予。外出的时候，陪着肃宗一起坐车。大家都知道车上坐着那位穿黄袍的，便是皇帝，旁边那位穿白衣的，便是山人李泌。肃宗听到了大家对李泌的称号，觉得不是办法，就特别赐金紫，拜他为广平王（皇太子李豫）的行军司马。并且对他说：先生曾经侍从过上皇（玄宗），中间又作过我的师傅，现在要请你帮助我儿子作行军司马，我父子三代，都要借重你的帮忙了。谁知道他后来帮忙到子孙四代呢！

李泌看到肃宗当时对政略上的人事安排，将来可能影响太子的继位问题，便秘密建议肃宗使太子做元帅，把军政大权付托给他。他与肃宗争论了半天，结果肃宗接受了他的意见。

肃宗对玄宗的故相李林甫非常不满，认为天下大乱，都是这个奸臣所造成，要挖他的坟墓，烧他的尸骨。李泌力谏不可，肃宗气得问李泌，你难道忘了李林甫当时的情形吗？李泌却认为不管怎样，当年用错了人，是上皇（玄宗）的过失。但上皇治天下五十年，难免会有过错。你现在追究李林甫的罪行，加以严厉处分，间接地是给上皇极大的难堪，是揭玄宗的疮疤。你父亲年纪大了，现在又奔波出走，听到你这样作，他一定受不了，老年人感慨伤心，一旦病倒，别人会认为你身为天子，以天下之大，反不能安养老父。这样一来，父子之间就很难办了。肃宗经过他的劝说，不但不意气用事，反而抱着李泌的脖子，痛哭着说：我实在没有细想其中的利害。这就是李泌“冲而用之或不盈”的大手笔。唐明皇后来能够自蜀中还都，全靠他的周旋弥缝。