公元1130年三月，兀术率金军北上，赵构总算长吁一口气，在温州的御船上，赵构召身边大臣商议何去何从？堂堂一国之君，总不至于一直流浪、漂泊在海上吧？

吕颐浩道：“将来应该留驻浙西，慢慢想办法进四川。”吕颐浩为什么突然提出进四川？这是因为张浚在川陕，经营了大半年，有些起色，屡次上疏请赵构入川陕。

参知政事范宗尹却道：“如果仓促入蜀，恐怕两头都会丢失。占据江南一段时间后，再来图谋川陕，两不耽误！”两位宰辅大臣意见都是先经营江南，得到赵构的认同。

三月十九日，御舟从温州出发北上，二十九日，抵定海，赵构见定海城被金人焚毁，悲悯地道：“朕为百姓父母，不能保民，以至于此！”

王綯安慰道：“陛下留杜充守建康，周望守平江，怎料两人不争气，才造成这种后果！”

吕颐浩又道：“国家承平日久，朝廷一贯重视文学之士，造成缺少军事炼达可救今日局面的人！”吕颐浩观点一针见血。

赵构道：“以前国家太平，读书人骑马驰骋，言官必然弹劾他们有失体统；如果他们添置良弓利刃，反对者又说他们谋叛！难啦！”赵构这句话，总算说到了关键点上！但他自己又是如何做的呢？

四月十二日，赵构抵达越州，升越州为绍兴府，将府衙作为行宫，留驻绍兴。

再说赵构即位后，国都不定，四处行幸，说得好听是“出巡”，说得难听是“流窜”，为了扈从安全，成立了御营使司，由宰相兼任。这就无形中削弱了枢密使的职权，增加了宰相的军权。而吕颐浩在相位，尤其霸道。御史中丞赵鼎，屡次上奏弹劾吕颐浩专权。

吕颐浩看赵鼎是个刺头，升赵鼎为翰林学士，这是“正三品”，相比御史中丞的“从三品”，升了半个品级。吕颐浩此举，相对有些权臣打击排斥弹劾者来说，格局就上了一个层次！然并卵，赵鼎不买账，他不上任。吕颐浩再升他为吏部尚书，这是“从二品”，赵鼎还是不接受，并且窝在家里不出门，专心致志地整出了一篇几千字的大手笔文章，专挑吕颐浩毛病和缺点，接连上章十几次弹劾。

吕颐浩没辙了，只好主动上疏请求辞职。赵构见了吕颐浩奏章，对近臣道：“吕颐浩是勤王功臣，没有误国大罪，和李纲、黄潜善不同。”看来，在赵构心目中，李纲和黄潜善是一样一样的，都是误国之臣，岂不悲哀？

四月二十九日，吕颐浩罢免宰相，任镇南军节度使、开府仪同三司、醴泉观使。参知政事范宗尹暂时代替宰相职位，五月初三日，范宗尹正式为宰相兼御营使。范宗尹此时才三十一岁，可谓是大宋两百多年最年轻的宰相。

八月，隆佑太后也从江西赶到了绍兴。公元1131年正月，赵构总算在越州过了一个比较安心的新年。

公元1132年正月，赵构又从绍兴转移到临安（杭州），连续呆了两年十个月，公元1134年，刘豫率军入侵，赵构亲征，抵达平江。第二年二月回临安。

公元1135年二月，赵构从平江回临安后不久，下诏在临安建造太庙，此前太庙的神主（先帝牌位）暂时安置在温州，派专人看守祭奠！

侍御史张致远进言道：“在临安建太庙，难道是不想收复东京了吗？”

殿中侍御史张珣也进言道：“去年建明堂，今年建太庙，这是想将临安作为长久之地，不打算回中原了！”