屋漏偏逢连夜雨，今川义元和武田晴信见北条家如此烂泥扶不上墙后，就都中断了对北条家的援助，不再向北条家提供粮草辎重、铠甲武器等战略物资。

而此时的武田家正式发起了对邻国飞驒的侵攻，其首要的目的就是解决割据在北飞驒吉城郡的江马家，从而打通前往越中的通道。

武田晴信此次倒是没有亲自率军出阵，而是派遣了家中重臣饭富虎昌、甘利昌忠、马场信房等人率四千余军势出阵。以邻近飞驒的木曾福岛城城主木曽义康为先导役，一同出阵飞驒。

在武田军出阵飞驒之前，武田晴信下达禁制：‘甲信两州之兵, 于飞州三郡不得乱妨狼藉，若是违背禁制者，将严惩不贷。’

有了熟知飞驒边境的木曽义康引路，武田军很快就越过了飞驒信浓边境的乘鞍岳，兵锋直指江马家的本据高原诹访城。

由于两军的兵力实在是过于悬殊，江马家完全抵挡不住十倍于己的武田军攻势。江马时盛迫于无奈，为了保全家名只能向武田军开城投降。

不仅如此，江马时盛还将正在飞驒円城寺出家的次男还俗，更名为江马右马允，作为人质送至甲斐踯躇崎馆，以此来换取武田军停止对江马领的侵攻。

武田军在迅速压制了北飞驒之后，饭富虎昌、甘利昌忠、马场信房、木曽义康等将就调转枪头南下攻打割据在南飞驒的三木家。

武田军一路上可谓是势如破竹，先后攻落三木家领有的三佛寺城、冬头城、中山城等地，兵锋直指三木家本据松仓城，这势头几乎要一举夺取飞驒三郡。

可就在这个时候，身在越后府中的上杉政虎得知此事后，当即下令越中富山城城主柿崎景家、增山城城主安田景元、宫崎城城主庄田定贤、若栗城城主福王寺孝重等人火速率军进入飞驒，阻遏武田军南下的势头。在上杉政虎看来，若是坐视让武田家夺取了飞驒一国的话，之后不论是出兵越山南下，还是进入北信浓诸郡，接会被其牵制。故而，她必须要将武田家的势力逐出飞驒一国。

有了上杉家的介入后，一直在寺林城蛰伏等待时机的江马辉盛（江马时盛长子）当即联合家中不愿臣服武田家的重臣河上中务丞、河上式部丞等人，在上杉军的支持下趁机夺取了高原诹访城，获得了江马家的控制权，还迫使家督江马时盛隐居。而上杉政虎之后也认可江马辉盛继任江马家家督、高原诹访城城主。

先前还被武田军压着打的三木良赖在得知上杉军出阵飞驒的消息后，当即派人联系江马辉盛，让其相机策应自己。

如此一来，武田军就陷入了腹背受敌的不利境地。

同时，位于北信浓的斋藤朝信、栗林赖忠、平子房政等人也在上杉政虎的命令下，迅速陈兵武田领附近，迫使武田晴信无法派兵支援正在飞驒攻略的饭富虎昌、甘利昌忠、马场信房、木曾义康等人。

随着形势对武田军愈发不利后，武田晴信只好下令饭富虎昌、甘利昌忠、马场信房、木曾义康等将撤回信浓，暂时停止了对飞驒的侵攻，以防上杉军对信浓腹地发起攻势。

然而武田军在撤回信浓的路上并不是一帆风顺的，一路上遭到了江马辉盛、三木良赖等人的袭扰阻击，在放弃了不少粮草辎重、军马、铁炮等物资后，饭富虎昌、甘利昌忠、马场信房、木曾义康等人才得以撤回信浓。

由于上杉家的强势介入飞驒三郡的局势，导致武田晴信夺取飞驒一国的宏图化为了泡影。飞驒三郡的国人领主们也都纷纷倒向上杉家，成为了上杉家的旗下国人领主。