幅瘦鬼跟着胖鬼的写道：
饿鬼啾啾啼鬼窟，不及豪家厮养卒；
但能倚势得纸钱，鼻涕何妨长一尺！
张问陶对第八幅两个骷髅讲话的写道：
愈能腐臭愈神奇，两束骷髅委路岐。
面对不知人有骨，到头方信鬼无皮。
筋骸渐朽还为厉，心肺全无却可疑。
黑塞青林生趣苦，莫须争唱鲍家诗。
诗画结合，《鬼趣图》的主题越来越具体而丰富。说《鬼趣图》是中国式的讽刺幽默漫画的开端，不为过份。
《鬼趣图》一出，罗聘在京师的名声大噪，当然也有人为他担心，如程晋芳就劝他：“斯图即奇特，洗手勿轻试。”画鬼遭鬼忌，掩饰得再巧妙，也会弄出麻烦来的。
乾隆三十七年（1772年）秋天，罗聘画了一幅《归帆图》，表示要南归了。翁方纲、钱载、钱大昕等60余人在陶然亭设宴赠诗送别。对一介布衣的罗聘来说，称得上是一次盛会，可见他在京师的交游之广和为人所重。
乾隆三十八年（1773年）春，罗聘到了天津，在这里，整理了金农的诗集。他在后记中说：
冬心先生既编其诗为《冬心先生集》，后复编续集一卷，……此卷亦已泯焉。……于是经年求访，倚席之讲授，好事长者之藏弆，酒亭佛寺之壁，蜡在复瓿之余，于尘藓垢蚀、缣素凋裂间，寻循点画，指定拟似，至于忘食废事，厘为一卷，仍其原序，以终先生之志。……倾诉了他搜集老师遗作的不遗余力，和溢于言表的怀念之情。
回来的路上，途经泰安。他的诗友朱孝纯在这里任太守，挽留他在泰安一住三月，恰好另一位友人朱二亭（朱笉）也来此，他们结伴而游，因风雨的原故，凡三登方造其颠。罗聘作有《登岱诗》和《游岱图》。朱孝纯《登岱诗》小叙中说：“罗君平生材艺，与山川秀美，相为映发；而又能杖履岩壑，不悭所遇，有如此者。”蒋士铨在跋中也说：“予读记与诗，奇峭奥博，不啻偕君曳履天梯石磴间，惊喜危俱，一时并见。是君既能摄有形之泰岱于行墨中，又能摄读者心魄于无形之泰岱中，神妙固如此哉！”在此游中，罗聘留下了好诗好画。乾隆三十九年（1774年）的秋天，罗聘和朱二亭同舟，回到了一别四年的故乡。
三、“花之寺僧”老更贫
罗聘回到家乡，仍干他的旧营生。罗聘画梅是得金农真传的，妻子方婉仪和儿子允绍、允缵都善画梅，“罗家梅派”
传颂一时。
罗聘还抽暇到过湖北、山东、山西、河南等地。乾隆四十三年（1778年）他由山西回来时，正是岁末，除夕夜儿辈画岁朝图，他和妻子对酌联吟，过了一个难得的团聚之夜。乾隆四十四年（1779年），罗聘又去京师了。临行时妻子方婉仪正患肺病缠绵床榻。顾不上妻子生病仍要远离，总有出于不得已的原因吧。罗聘五月初动身，六月中旬住在济南客舍，一天夜里忽然梦见方婉仪手持自己画的梅花卷出现在他面前，说：“我，滇南去矣！”罗聘醒来，百思不解，等他八月到了京城，来自家乡的一个叫万华亭的告诉他，方婉仪已于五月十九日在扬州病逝了。这对罗聘的打击是巨大的。艺术上的同道伴侣，生活上的贫贱夫妻，相守二十七年，没有过过舒心日子，如今离他而去了，罗聘怎能不悲愧交加。此时妻梓待葬，儿子待养，罗聘却两袖空空，欲归不得。他身居古庙，对月难眠，感叹道：
空有千秋业，曾无十日资。
欲归归未得，何以慰儿痴？
情急之下，他甚至把妻子过去写的《忍讥》诗，亲手抄录，呈送显贵，以引起怜悯博一点施舍。这次在京城虽又结识了周筤谷、桂未谷、丁小疋、王秋塍等名流，也出席过翁方纲主办的东坡生日纪念会，诗名画誉不减当年，但伸手援助者却寥寥。罗聘本来受金农佛教思想的影响很深，此时对世事更淡漠了，“人生都作画图看”——这不是新的《鬼趣图》吗？
在京不到一年，他凄凉地回到扬州。
过去画鬼，现在画佛了。据说过去他曾做一梦，梦见自己踏进一座寺庙，庙的名字叫“花之寺”。他认为自己前世就是这座庙的住持，因起号“花之寺僧”，他画佛像，都题这个名字。无论出于什么心理状态，罗聘皈依了佛教——他逃禅了。
在扬州画了一些时画，又到南京去卖画。他住在普惠寺里，常和诗人袁枚、陈古渔、汪阿涛和画家吴先之等来往。他和袁枚的交谊最好，曾到袁枚的随园赏花，后来袁枚还将唯一的幼子寄养在
