句：“旧城多是读书人。”⑤西方寺就在旧城近北门的地方。金农有诗三首，序云：
居扬州旧城西方寺中，每中饭讫繙佛经，语语笔妙。
七十老翁，妄念都绝，我亦如来最小弟子也。
悲凉的心境，只有在佛经中找慰藉。他无可奈何地归结了晚年的情况：
……余自先室捐逝，洁身独处，旧畜一痖妾，又复遣去。今客游广陵，寄食僧厨，积岁清斋，日日以菜羹作供，其中滋味，亦觉不薄。写经之暇，画佛为事，七十衰翁，非求福禔，但愿享此太平，饱看江南诸寺门前山色耳！
山色无多，太平难享，剩下的唯有孤寂的洁身独处而已。
晚年使他快慰的，是收了罗聘、项均等青年人为诗弟子，时时请益，追随杖履，给他不少乐趣。当时罗聘24岁，是最得金农真传的一位。有的说法认为，金农晚年的画大多是罗聘代笔的。弟子为老师代笔不足为奇，项均也为金农代过笔。这只能说明弟子学老师可以乱真，並非是老师人老才退画不好画或竟不能作画。
自己作书作画，弟子代书代画，金农晚年的生活仍是很贫苦的。有一札说：
初到于此，鹾使之往淮上盐荚司月者，必俟其归，方有所贻将得也。此时旅舍青黄不接之时，需用颇繁，暂向尊处借银五金，不出十日便奉还也。……
这样的信札不止一封，其拮据情况可想而知了。
大概在乾隆二十四年（1759年），金农又迁到新城三祝庵居住。三祝庵今已不存，唯此地名及遗址尚可追寻，在今地官第附近。比起西方寺来，三祝庵规模要小得多。有著作说是三生庵的，扬州无此庵，当是三祝庵之误。这地方离盐运使署、小玲珑山馆及弟子罗聘所住朱草诗林，要比西方寺近得多。
这年金农作自画像寄丁敬，题云：“图成远寄乡之旧友丁钝丁隐君，隐君不见余近五载矣，能不思之乎？”表达了对老友的深切怀念之情。题末署“金农记于广陵僧舍之九节菖蒲憩馆”，此处与三祝庵是何关系、有无关系，尚待查考。就像金农自己别号甚多一样，对住处也会有种种别称的。
也是在这一年，罗聘为金农作《蕉荫午睡图》。金跋云：“诗弟子罗聘，近工写真，用宋人白描法，画老夫午睡小影于蕉荫间。因制四言，自为之赞云：先生瞌睡，睡着何妨。长安卿相，不来此乡。绿天如幕，举体清凉。世间同梦，唯有蒙庄。”于悠然自得中略带调侃的意味。
金农年事虽高而创作不辍，留下了不少传世的作品。举凡梅竹、花卉、山水、蔬果、人物、佛像，无不造意新颖，风格卓荦，
古拙奇异。书法更达于精纯的境地。他全身心都沉浸于艺术世界中了。
然而在乾隆二十七年（1762年），76岁的金农却做出一件出乎人意的事情：向南巡的乾隆皇帝呈诗。这时的金农，不可能再有仕途经济之想，为什么还要呈诗？他的《拟进诗表》透露了一些消息：“谨录所业各体诗进呈御览，肃聆圣训，俾在野草茅，沾恩光于万一，荣莫大焉！”金农对自己的诗作自视甚高，不愿以职业画家名世，这一举动很可能是想得到皇帝的首肯而确立诗人的名声，也许还是对考博学鸿词不中的洗刷。为了能够“正名”而暮年呈诗，真是用心良苦了。这说明正统文人身份和职业画家身份，在金农心中的冲突是何等激烈。这一目的並没有能达到。应该承认，金农的诗名为书画名所掩，至今对他的诗的研究和评价还是很不充分的。
随着老友汪士禛、李方膺、厉鹗、全祖望、马曰琯的相继去世和郑板桥、李复堂、黄慎的进入衰朽残年，金农的心和扬州画坛一同冷落了。乾隆二十八年（1763年）秋九月，金农在寂寞中与世长辞，享年77岁。据罗聘所写《冬心先生续集·序》，金农“殁于扬州佛舍”，这佛舍是三祝庵？是西方寺？还是其他寺院？现在很难断定。他生前住在佛舍，最后死在佛舍，就是这位老艺术家的结局。身后萧条，不能下葬，还是老友杭世骏集资，由弟子罗聘等奉榇，归葬于浙江临平黄鹤山中。
说起杭世骏，也可怜得很。他于乾隆元年举博学鸿词，授翰林院编修，比起好友金农、厉鹗来，算是幸运的。但在乾隆八年因殿试言事触犯了满汉之忌，激怒了皇帝，几乎丢掉脑袋。经别人转圜，才赦免其罪，放归故里。回家后无以为生，过卖旧货过活。乾隆三十年南巡到杭州，杭世骏也参与迎驾，乾隆见了问他道：“你靠什么生活？”杭答：“臣世骏开旧货摊。”皇帝不懂，问道：“什么叫开旧货摊？”杭解释道：“把买来的破铜
