羲之既去官，与东土人士尽山水之游，弋钓为娱。又与道士许迈共修服食，采药石不远千里，遍游东中诸郡，穷诸名山，泛沧海，叹曰：“我卒当以乐死。”谢安尝谓羲之曰：“中年以来，伤于哀乐，与亲友别，辄作数日恶。”羲之曰：“年在桑榆，自然至此。顷正赖丝竹陶写，恆恐兒辈觉，损其欢乐之趣。”朝廷以其誓苦，亦不复征之。
时刘惔为丹阳尹，许询尝就惔宿，床帷新丽，饮食丰甘。询曰：“若此保全，殊胜东山。”惔曰：“卿若知吉凶由人，吾安得保此。”羲之在坐，曰：“令巢许遇稷契，当无此言。”二人并有愧色。
初，羲之既优游无事，与吏部郎谢万书曰：
古之辞世者或被发阳狂，或污身秽迹，可谓艰矣。今仆坐而获逸，遂其宿心，其为庆幸，岂非天赐！违天不祥。
顷东游还，修植桑果，今盛敷荣，率诸子，抱弱孙，游观其间，有一味之甘，割而分之，以娱目前。虽植德无殊邈，犹欲教养子孙以敦厚退让。或以轻薄，庶令举策数马，仿佛万石之风。君谓此何如？
比当与安石东游山海，并行田视地利，颐养闲暇。衣食之余，欲与亲知时共欢宴，虽不能兴言高咏，衔杯引满，语田里所行，故以为抚掌之资，其为得意，可胜言邪！常依陆贾、班嗣、杨王孙之处世，甚欲希风数子，老夫志愿尽于此也。
万后为豫州都督，又遗万书诫之曰：“以君迈往不屑之韵，而俯同群辟，诚难为意也。然所谓通识，正自当随事行藏，乃为远耳。愿君每与士之下者同，则尽善矣。食不二味，居不重席，此复何有，而古人以为美谈。济否所由。实在积小以致高大，君其存之。”万不能用，果败。
年五十九卒，赠金紫光禄大夫。诸子遵父先旨，固让不受。
有七子，知名者五人。玄之早卒。次凝之，亦工草隶，仕历江州刺史、左将军、会稽内史。王氏世事张氏五斗米道，凝之弥笃。孙恩之攻会稽，僚佐请为之备。凝之不从，方入靖室请祷，出语诸将佐曰：“吾已请大道，许鬼兵相助，贼自破矣。”既不设备，遂为孙所害。
徽之字子猷。性卓荦不羁，为大司马桓温参军，蓬首散带，不综府事。又为车骑桓冲骑兵参军，冲问：“卿署何曹？”对曰：“似是马曹。”又问：“管几马？”曰：“不知马，何由知数！”又问：“马比死多少？”曰：“未知生，焉知死！”尝从冲行，值暴雨，徽之因下马排入车中，谓曰：“公岂得独擅一车！”冲尝谓徽之曰：“卿在府日久，比当相料理。”徽之初不酬答，直高视，以手版柱颊云：“西山朝来致有爽气耳。”
时吴中一士大夫家有好竹，欲观之，便出坐舆造竹下，讽啸良久。主人洒扫请坐，徽之不顾。将出，主人乃闭门，徽之便以此赏之，尽叹而去。尝寄居空宅中，便令种竹。或问其故，徽之但啸咏，指竹曰：“何可一日无此君邪！”尝居山阴，夜雪初霁，月色清朗，四望皓然，独酌酒咏左思《招隐诗》，忽忆戴逵。逵时在剡，便夜乘小船诣之，经宿方至，造门不前而反。人问其故，徽之曰：“本乘兴而行，兴尽而反，何必见安道邪！”雅性放诞，好声色，尝夜与弟献之共读《高士传赞》，献之赏井丹高洁，徽之曰：“未若长卿慢世也。”其傲达若此。时人皆钦其才而秽其行。
后为黄门侍郎，弃官东归，与献之俱病笃，时有术人云：“人命应终，而有生人乐代者，则死者可生。”徽之谓曰：“吾才位不如弟，请以余年代之。”术者曰：“代死者，以己年有余，得以足亡者耳。今君与弟算俱尽，何代也！”未几，献之卒，徽之奔丧不哭，直上灵床坐，取献之琴弹之，久而不调，叹曰：“呜呼子敬，人琴俱亡！”因顿绝。先有背疾，遂溃裂，月余亦卒。子桢之。
桢之字公干，历位侍中、大司马长史。桓玄为太尉，朝臣毕集，问桢之：“我何如君亡叔？”在坐咸为气咽。桢之曰：“亡叔一时之标，公是千载之英。”一坐皆悦。
操之字子重，历侍中、尚书、豫章太守。
献之字子敬。少有盛名，而高迈不羁，虽闲居终日，容止不怠，风流为一时之冠。年数岁，尝观门生樗蒱，曰：“南风不竞。”门生曰：“此郎亦管中窥豹，时见一斑。”献之怒曰：“远惭荀奉倩，近愧刘真长。”遂拂衣而去。尝与兄徽之、操之俱诣谢安，二兄多言俗事，献之寒温而已。既出，客问安王氏兄弟优劣，安曰：“小者佳。”客问其故，安曰：“吉人之辞寡，以其少言，故知之。”尝与徽之共在一室，忽然火发，徽之遽走，不遑取履。献之神色恬然，徐呼左右扶出。
