林聪刚正不阿，仗义执言，不少佞臣因之下狱、贬官或外调，因声望日隆，也遭到一些人的嫉恨。御史黄溥等弹劾林聪挟持吏部、徇私荐举福建参政许仁达为巡抚，以及泄私怨弹劾兵部主事吴诚等事，林聪因此被判死罪。大学士高谷、礼部尚书胡滢皆为林聪抱不平，极力挽救，代宗遂诏释林聪，将其贬为国子学正。

英宗复位，升林聪为左佥都御史，受命前往山东赈饥，林聪开仓济民，救活145万人，回朝复命后，升右副都御史。林聪鉴于苛刑峻法下冤狱不断，上《乞缓重狱疏》，提出春判秋决的主张，使死刑犯得有时间上诉复审，减少冤狱。英宗纳其言，诏令：“每岁霜降后，三法司会同廷臣审录重囚。”此制谓之朝审，遂成永制。曹钦谋反，官府镇压时累及无辜，林聪急令制止，并为无辜者辩冤。

江淮一带饥荒，朝廷命林聪前往赈灾，林聪奏请“贷江南粮及支运粮数十万给民，且与之种”，赈饥回京后，升任右都御史。林聪巡抚大同，苦心筹划，整饬军务，加强边备，因积劳成病辞官。病愈后应召，掌南京都察院事，升任刑部尚书加太子少保，虽已年过六旬，但仍夙夜匪懈，详核案件，为蒙冤的死囚平反，总数不下600人，由于秉公办事，声望益著。

林聪与宦官汪直、定西侯蒋琬往辽东查办案件，上疏乞归未准，病逝于任上，享年六十八岁，朝廷诰授荣禄大夫、太子少保，谥庄敏。林聪著有《奏议》8卷、《见庵文集》14卷，有抄本流传。