68岁由礼部左侍郎升南京礼部尚书，71岁转南京吏部尚书，74岁转南京兵部尚书，奉敕参赞机务。此时，安南王莫登庸叛乱，嘉靖皇帝欲亲征，若水上《治权沦》疏，反对出兵，因与文武大臣之议不合、遂请求致仕。75岁致仕，从此结束宦途生活、沿东南山水，游览讲学而归，回广州后，在府第附近建“天关书院”讲学。

湛若水关注家乡的教育事业，在广东境内广设书院扶持后学，造就了不少英才，有力地推动了岭南文化的进程。获准退休返回家乡，自此往返广东境内各地讲学，晚年湛若水在广州主要致力于文教方面的活动，兴建书院、推动讲学，分别在罗浮山、西樵山、广州城内的天关及增城甘泉设置居所，修建书院。他春居罗浮，夏居西樵，秋居天关，冬居甘泉，四时讲学，不废弦歌。他还在天关精舍建立一座祝圣台，每当正朔、冬至和孔子诞辰都会率领乡中缙绅对着京师的方向瞻仰叩拜，以表示不忘朝廷之意。

湛若水一生以兴办学校、传播理学为己任，他平日除简单的生活开支外，其余的俸禄都花费于购买馆田、赡养四方学者，这些馆田分布在广东广州、南海、增城、博罗、曲江等地，外地如南京，扬州，安徽池州、徽州，福建武夷，湖南南岳等处也有湛若水所设的馆田。为防止部分学生大手大脚，挥霍浪费，湛若水特意编写《崇俭约言》以示训导。

湛若水病逝于广州禺山精舍，享年95岁，葬天蚕岭，追赠太子少保，谥文简，遗著有《心性图说》与《圣学格物通》。