洪熙初年，胡俨以病请求退休，明仁宗朱高炽赐给敕书，奖励慰劳他，进升他为太子宾客，仍兼祭酒。退休后，朝廷免除他子孙的赋税徭役。明宣宗朱瞻基即位后，以礼部侍郎之衔召胡俨，胡俨推辞归家。

胡俨在家二十年，方岳重臣都以师礼对待他，胡俨与他们交谈，从不曾说到他个人的事。他自处淡泊，岁时的衣食才刚够需要。当初他任湖广考官时，看到杨溥的文章，非常惊异，在其上题写道：“此文作者必能为董子之正言，而不为公孙之阿曲。”世人都认为他知人。

胡俨作洪崖诗三首，为七律诗，系为“洪崖山房图”而题，《颐庵文集》中均未收录，应属集外之作。洪崖山位于江西南昌城西山之中，峰峦秀拔，林壑深窅。胡俨自24岁领乡荐便宦游南北，至明永乐十四年已达30年。“既衰且老，不能不慨然追念畴昔，望洪崖之山，悠然兴其倦归之思。”遂将所作数篇及当时阁僚为洪崖而作者合为一卷，请中书舍人画家陈宗渊绘《洪崖山房图》。此三首即为题画而作，表达了内心对归隐洪崖、耕桑读书、为太平之民的向往之情。第一首末两句“陈郎胸次如摩诘，丘壑能令画里传”是称赞陈宗渊绘画技艺之高妙。此篇书法笔画矫健而苍劲，精神外露，具有俊爽雄放的风度，是胡俨56岁时的翰墨佳构。胡俨又有“三台令”等词作被收录于《明词综》。