后来在室町中期的享德年间（1452~1455），大胡氏旧领已失十之七八，自此大胡氏开始没落，为了避免大胡氏灭亡，当时的伊势、丹后、志麻的国守一『色』左京大夫义直（大胡家远戚）。将一『色』源五郎义秀由京都赶至上州，协助大胡氏再兴，后筑上泉城，并以地名作为苗字，改称上泉义秀（大胡秀纲曾祖父）。大胡氏支流上州上泉氏至此兴起。

由于上泉氏的崛起，使得上泉氏成为了关东管领山内上杉家的被官，上泉氏更是领有大胡、上泉、山上、花轮、三俣。而上泉义秀本人也与山内上杉氏家宰长尾景信、景春父子交好。所谓富不过三代，本来世代作为上杉氏的马前卒，与北条家死磕的上泉氏，竟然出现了本家的宗家大胡重行不名誉的投诚到了北条家，使得上泉氏三代人建立的大厦顷刻倒塌。上泉义纲（大胡秀纲父）义愤填膺下，悍然夺回大胡城，改名大胡秀继，是为继承之意，和原先那个不要脸的说拜拜了。如今大胡城破，加上年事已高，一口气没上来，就去见列祖列宗了。

说起来大胡秀纲也算是个幸运儿，本次合战中，敌对的北条氏康算是他半个徒弟，北条纲成更是他老丈人，就连他的嫡子秀胤也在北条家仕官，若换成旁人投降，早就被刨腹谢罪了。

看着还在喋喋不休的大胡秀纲，细川聪明丸知道，这个被后世誉为最强剑圣的人，所仰仗的不是他的出身，不是因为他前半生的官职名份，而是因为后半生的流浪漂泊，因为他剑术无双的奥义秘术。

“伊势守大人不要气馁，未来的日子还很长，我们要接受现实，展望未来。”细川聪明丸打断了还在倒苦水的大胡秀纲。

“住口！你不懂！你不懂！”大胡秀纲突然暴虐的站起，心中的烦闷使得他迁怒于细川聪明丸。

细川聪明丸错愕的看着大胡秀纲，他犹如愤怒的雄狮一样，变得瘈狗噬人。

“哎～本是同根生，相煎何太急。”细川聪明丸的这句话犹如重击一般，敲碎了大胡秀纲的心防。

作为一个战国时代小领主的悲哀，大胡秀纲个人的忠贞却无力改变领地内居民的惯『性』作为。家臣为守护个人之财产而逐步与其他国人众的歩调越见相似。

「今日侍上杉、明日侍北条」的大众思想，不难想象为什么这么多人两边倒。事实上，关东的国人众早已在长尾景虎与北条氏康之间不断地摇摆不定。这其中就包括大胡氏宗家的倒戈，更有其长子上泉常陆介秀胤擅自作主的入仕北条家。加上前阵子为了百姓投降，北条家趁机将他的嫡孙也带回了小田原城，可以预见未来的上泉氏将完全臣属于北条家了，让大胡秀纲完全没了奔头。尤其是对那种下克上、子克父、兄弟相残等可耻之极的作法，使大胡秀纲产生了强烈的厌世观点。