因与首辅大臣张璁意见相左，便以考察自陈，辞官告老还乡，据后人推断，其在归休4年间，在惠山寺山门右街建造了一座别墅，取名“凤谷行窝”，即“寄畅园”的前身。“凤骨”一词，与秦金之号“凤山”及其父秦霖曾筑有凤山书屋不无关系，而行窝乃是自谦之词，实为山庄、别墅。

因秦金一贯廉正自持，忠勤体国，朝廷大小官员为秦金上奏请留者不止。故嘉靖十年复起用，任南京户部尚书，寻召为工部尚书，在两都任了五个部的尚书，有“五部尚书”之称。

77岁时，死于原籍家中，讣告传来，皇帝震惊哀悼，罢朝一日，降旨司官讨论丧葬事宜。这在古代历史上是不多见的，秦尚书作的诗文内容纯正脱俗，可供诵读。他著有《凤山诗集》、《抚湖政要》、《安楚录》杂著稿，多数雕板印行问世。