公元1134年四月，吴玠乘着“仙人关之战”的余威，收复了凤州（陕西宝鸡）、秦州（甘肃天水）、陇州（陕西陇县）。正当有些起色时，川陕四大军区之一的西线总司令，即统领洮州（甘肃临潭）、岷州（甘肃岷县）到阶州、成州的关师古，因为粮食耗尽，孤立无援，只身投降了伪齐，吴玠收并了关师古的军队后，又退到秦岭以南。

八月，王似被免除了“川陕宣抚使”职务，吴玠以副使身份主持工作，吴玠一心用兵，花钱很大度，管理后勤的四川转运使赵开跟不上节奏，便上书朝廷，说自己年老多病，请求辞职，这是耍小性子了。朝廷为了让两人和解，任命席益为“川陕置制大使”，位于“宣抚副使”吴玠之上，州府、钱粮事由席益处理，边防军事由副使吴玠处理。

公元1135年正月，金军和伪齐军共犯淮南，吴玠派吴璘、杨政从四川出兵再围秦州，牵制金军兵力，撒离喝闻秦州被围，抽身回援，杨政设伏，取得部分胜利，然后从秦州撤军。由此可见，此时宋军在秦岭以南，进可攻、退可守，获得了部分主动权。

再说席益到了四川，和吴玠、赵开也合不拢，这其实不能责怪他们三人，只能说朝廷多疑，没有任命宣抚正使包揽军政，三人像如今的交通警察，各管一段，互不买账。

公元1136年八月，四川转运使赵开罢免，李迨代任，不久席益丧母丁忧。公元1138年正月，胡世将以枢密直学士出任四川安抚制置使，兼知成都府。等于将席益和赵开的职责结合在一起了，而胡世将善于团结同志，和吴玠相处比较好。

公元1139年正月，吴玠升任四川宣抚使，节制四川、陕西、阶州、成州等地，实际就是原来的“川陕宣抚使”缩小版，因为陕西大部被金军占领了，原来名称不好再用了。

六月，吴玠病逝，七月，胡世将调任宝文阁学士、四川宣抚副使，以副职主持宣抚司事。胡世将到宣抚司上任第一天，对众将道：“我胡世将不熟悉骑射，不熟悉敌情，不熟悉作战。朝廷派我来，只不过承袭国家制度，让文臣领导武将。军事方面，不改吴宣抚（指吴玠）的规章制度，请各位推诚置腹，各忠国事！”

胡世将说的“三个不熟悉”，显得谦虚有礼，然而“文臣管武将”，又透着威严，让部下心悦诚服。什么是水平？这就是！

该年底，宋金初步和议，金国归还了陕西、河南的部分土地。朝廷命四川三大将守陕西，即吴璘守秦凤路；杨政守熙河路；郭浩守鄜延路。当时有人提议将四川路口的兵力全部移至陕西，吴璘不同意，道：“金人反复无信义，恐怕有变故。”后来确实如此。

不久朝廷授胡世将为“四川宣抚使”，设宣抚司在河池（甘肃徽县）。

公元1140年五月，朝廷命吴璘协助胡世将节制陕西各军，也到了河池。月底，金国在兀术的坚持下，撕毁盟约，撒离喝率军再次入侵。六月，引兵渡黄河攻长安，逼凤翔。陕西宋军都在敌后，来不及调动，陕西震动。

胡世将在河池仓促召集众将，诸将请胡世将坚壁清野，避开敌军锋芒。参谋官孙渥说河池不能守，不如退军保仙人关。吴璘厉声喝斥道：“懦弱无能，扰乱军心，罪不可赦！我吴璘以全家老小作保，可以破敌！”