明朝刘辰《国初事迹》一书里面记载道：胡大海、李文忠占领建德后，两人意见不合，朱元璋派人前去告诫，话语里流露了他利用外甥李文忠监视、节制胡大海的用心。同一书中又记载道：有女僧引诱华高、胡大海妻敬奉西僧，行“金天教”法，惹恼了朱元璋，结果就为这区区小事把两家妇女连同女僧一起丢在水里了。尽管胡大海死后他给的祀典很高，但那终究已经无事无补了。

胡大海本来有两个儿子，一个因为违犯酒禁被朱元璋所杀，另外一个儿子名叫关住，同时被害于蒋英等人之手，《明史·胡大海传》最后一句不无遗憾的说：“大海遂无后”，这在古代是一件特别让人同情的事。传承胡大海香火的是他的养子，名叫胡德济，一直跟随在胡大海身边打仗，攻打金华时他在梅花门外大展神威，深得朱元璋器重，屡有封赏，大海被害时，他在外，后随李文忠一起夺回金华，最后镇守陕西而死。

《明英烈传》中有义子胡强，称号野人熊，手使一条虎尾三节棍，在战场上所向披靡，其力量在常茂之上，但是头脑简单性格直爽，胡强与常茂等人杀元顺帝，得传国玉玺助朱元璋一统天下。