崇祯十七年（1645）五月十五日，弘光（福王）政权在南京成立，凤阳总督马士英（字瑶草）勾结阮大铖，大肆迫害东林党人与复社人士，余怀亦身陷其中。友人冒襄《同人集》卷二载：“及至皇舆倾复，江南建国，权奸握柄，引用险人。阉人得志，修怨报仇，目余辈如党魁，必尽杀乃止。”冒襄诗云：“当时党祸悲携手，此日风流愧比肩。”余怀与冒襄两人皆在罗织中，此时余怀丧家破产，流亡异乡，以游览为名，暗中联络志士仁人，积极投身反清复明活动，这就是余怀在甲申以后五六年间的生活缩影。

　　顺治四年（1647），余怀作客泰州；顺治六年（1649），在金陵容与台作重九会；顺治七年（1650），到苏州、至松江，还吴会叶襄，又至太仓访吴伟业，两人共议于嘉兴南湖立十郡大社，集太仓、松江、昆山、苏州、嘉兴一带十郡之名士，与会者舟连百艘，为入清以来规模之空前；顺治十三年（1658），居金陵钟山，有采诗之役；顺治十七年（1660），其时余怀的父亲去世，余怀只好移家到心仪已久的姑苏虎丘，与周亮工（字元亮）、尤侗（字同人）、姜敬亭诸公放怀山水；顺治十八年（1661），怀作“金陵怀古”，寄诗王渔洋（即王士禛，字子真）。

　　康熙五年（1666），怀到吴兴访吴绮（字园次），同游霅溪；康熙九年（1670），过无锡听昆曲，作《寄畅园闻歌记》；康熙十年（1671），怀与尤侗集苏州拙政园观《牡丹亭》，在李渔（号笠翁）家中观《明珠记》；康熙十二年（1673），赴武锡与殳丹生、陈玉王基、秦松龄、嵇永仁聚会；康熙十六年（1677），冒襄移家吴郡，与余怀望衡对宇，素心晨夕；康熙二十四年（1685），尤侗填《满庭芳》词寿余怀七十岁；康熙二十九年（1690）和三十一年（1692），余怀先后两次与曹雪芹之祖父曹寅（字荔轩）在尤侗宅中相会，尤侗《艮斋倦稿》对余怀同曹寅在宅中“揖青亭”、“水哉轩”会面，尝赋诗记趣：“八月十九日曹荔轩司农同余澹心、梅公燮、叶桐初过揖青亭小饮，拈青池二韵二首”、“十月十一日曹荔轩、余澹心、叶桐初、董观三水哉轩小饮，是日大风微雨，和澹心韵二首。”康熙三十四年（1695），怀寄《砚林》一卷予张潮（字山来），嘱其刊行，尤侗又作八十岁祝词赠余怀。

　　康熙三十五年（1696）六月二十日，莆阳才子余怀去世，享年八十一，葬于桃花邬。尤侗作诗八章哭之，曰：“江东耆旧已凋零，犹剩莆田一客星。”尤侗所哀伤者，乃“莆阳才子他乡老，天涯芳草故人心。”余怀在《江山集·七歌》中，尝多次语及慈母娇妻爱子：“小人有母生我晚，幼子疾病长屯蹇。”“有妻有妻佩璚玖，十年为我闺中友，两子一女未长成，索梨觅枣堂前走，汝病数钱事姑嫜，伶仃憔悴供箕帚。”怀有一妾曰陆眷西（字初月），工诗，其《忆西湖》绝句云：“曾记西湖六月天，藕花如锦断桥边；至今梦里犹来往，听惯钱塘唤小船。”周亮工、尤侗亦为之序。怀长子宾硕，有《金陵览古》诗八十首存世；幼子某，甫七岁，解辩歌声，以手按板，无不合拍。李渔诗云：“谁家顾曲小周郎，七岁听歌慧眼张。”怀之孙儿曰兆蛟（字师薰），尝为祖父之《东山谈苑》书稿作《跋》。后来邑人郭尚先《东山谈苑·郭兰石跋》曰：“唯明代琐事，往往有他不经见而仅见于此者。”（黄祖绪）