赵构有点动心了，口谕打算回东京，但经黄潜善、汪伯彦劝说，又改变了主意，毕竟，东京在战场的一线，安全系数难以保障。因此又想去扬州。

八月，李纲进位尚书左仆射兼门下侍郎（首相），黄潜善进尚书右仆射兼中书侍郎（次相）。李纲虽然是首相，但他性格耿直，所提建议都是为国考虑，比如，李纲口口声声要赵构振作精神，率领军民救回“二圣”（赵佶、赵桓），这点，赵构就很不愿意听。

而黄潜善、汪伯彦处处为赵构个人计算得失，比如定都，李纲说一千道一万，就是没有为赵构的个人安全考虑，黄潜善、汪伯彦却直捣赵构心窝，赵构发自内心地觉得，还是黄、汪两人更可靠！因此对李纲后来的建议，赵构基本没有反应。

八月十四日，赵构下诏，撤掉了刚设置的“河东经制司”，傅亮被召回京师。李纲觉得很突然对赵构道：“河北招抚、河东经制，都是臣提议设置的，张所、傅亮也是臣推荐的，如今黄潜善、汪伯彦阻止张所、傅亮，其实就是阻止臣，臣有鉴于靖康年间大臣不和，有事就与黄潜善、汪伯彦商量后再施行，想不到他们还是这样！”

李纲退出后，赵构还是下诏召傅亮回。李纲心中翻江倒海，很不是滋味，上疏道：“圣上一定要召回傅亮，请御笔交黄潜善办理，臣请求辞职！”

赵构真的亲笔手诏让黄潜善召傅亮回，李纲彻底失望，再上疏要求辞职。

赵构对李纲道：“爱卿所争论的都是小事，何必呢？”

李纲道：“如今人才以将帅为第一要务，恐怕不是小事。臣以前争论的定都之事，也和黄潜善、汪伯彦不同，被他们嫉恨。臣是东南人，哪有不想陛下去东南的道理？只是考虑到陛下走了以后，中原后患无穷！但愿陛下以宗社天下生灵为念，不要因为臣走了而改变初心！臣虽然离开陛下，但是不敢一日忘却陛下！”

御史张浚和宋齐愈要好，曾劝过宋齐愈不要议论李纲“军事三策”，宋齐愈未听被杀，此次，张浚可能嗅到了一丝异味，立即上疏弹劾李纲利用职权杀宋齐愈，并说李纲的“募兵、买马等”“军事三策”确有问题，黄潜善、汪伯彦暗中使力。

八月十八日，李纲被罢免宰相，前后在相位仅七十七天。李纲被罢免后，他所规划的军政民政全部废除，赵构往东逃，河北、河东相继失陷，中原盗贼蜂起！

佐料：张所，青州人，进士出身，累官至监察御史。公元1126年，金人围开封时，张所以蜡书传河北，招募河北兵，河北民众得张所蜡书，都高兴地道：“朝廷不要我们了，还有张御史记得我们，信用我们！”应招者达十七万人。因此张所的声震河北。因此李纲推荐张所任河北招抚使。

可张所性格耿直，赵构即位后，重用黄潜善，张所上书赵构，说黄潜善奸邪不可用，张所和黄潜善在赵构面前的权比，黄潜善当然更吃香，张所被贬为兵部郎中。不久再贬为凤州团练副使，安置在江州（江西九江）。

这次李纲打算起用张所，担心黄潜善从中作梗，一天，李纲到黄潜善府邸，从容道：“现今河北无人，唯有一张所可用，公能先国事而后私怨，不是美事吗？”

黄潜善满口答应，张所顺利赴任。但黄潜善阴奉阳违，张所前脚刚走，黄潜善就指使河北转运副使张益谦攻击张所，说招抚司越招，盗贼将越多。在李纲极力维护中，张所提拔了名将王彦，起用了大名垂天下的岳飞。

李纲一罢免宰相，张所也被贬到岭南，最后死于贬所，让人扼腕叹息！