举义第二年，王夫之在永历流亡政俯与家乡衡阳之间奔波大半年，永历四年初春他被瞿式耜推荐做了行人司行人。

永历小朝廷虽然还是汉族士大夫一点侥幸的希望，其时实在已不象一个政俯的样子了。楚省有三四十万军队，各部都保存实力，相互观望，没有能够统一指挥和调配军队的统帅；大批官僚麇集岭南弹丸之地，没有居住的地方，家眷僮仆不得不泊居在船上。他们还没有接受腐败亡国的教训，往日没有机会体验过封爵滋味的藩将，趁国势之危要挟天子，各地请封的公文经常呈了上来，一班文臣们总要援引故事计较半天，张献忠的部将孙可望驻军贵州，自认为奇货可居，竟然提出请封秦王。宰辅宦官如王化澄、王坤之流以拥戴之功，窃据要津，收购纳赂，排挤贤良，有实力的镇将都想把皇帝控制在自己手中，天子行辕在数年内搬迁五六处，广州失陷，迁往桂林；王坤、马吉翔为了摆脱瞿式耜的羁绊，蛊惑皇帝又迁武冈；楚师演于长沙，迁于柳象；李成栋在广州“反正”，贿通王化澄，又迁回肇庆；湖南失守，逼于兵锋，迁往梧州……凡此种种都使王夫之感到非常失望。

永历朝廷当然也有一些嫉恶如仇直言敢谏的人，最出名的有金堡、袁彭年、丁时魁、金都御史刘湘客、户科给事中蒙正发，时人有“五虎”之称。这年四月，“五虎”因得罪奸臣，朝廷大兴诏狱，王夫之为了搭救五虎，力伸正义，几陷于不测之祸。

这次诏狱之祸并非偶然事件激成，它从永历二年（1648）金堡上疏就隐伏了祸端。金堡字卫公，又宇道隐，浙江仁和人，南京陷落后他跑到浙东追随鲁王，不久发现鲁王并不是可以指望复兴大明的君主，于是又走闽陛见唐王。永历二年，楚粤局势略略稳定，应诏来到桂林。永历是明朝政俯的最后一个代表，他不能再缄默不言了，于是上疏痛陈国事，大意是永历政俯据一隅而望中兴，非彻底振刷政治不能奏效，朝廷之大弊在于以匪人持政柄，郝永忠应擒拿正法；陈邦傅无寸功位居上公应褫夺其爵；马吉翔有扈从之劳，封侯已足，不可参政。疏上、朝廷哗然，彭、丁、刘、蒙对此大加喝彩，陈、马之流却恨入骨髓。永历三年，孙可望求王封，朱天麟、王化澄等皆欲以孙可望为靠山，总揽朝政，而金堡却力争勿许其请，所以朱、王等也成了他的死敌。永历四年东粤不保，朝廷弃肇庆奔逃梧州，陈、马、朱、王指使谏官吴贞毓等数十人一齐上疏，攻击金堡等把持朝政，谋国无方，以致此败。中国历代奸臣都善于好祸于人，而昏昧之主往往肯听信奸人，于是“五虎”同日被锦衣卫缇骑逮捕入狱，严刑拷打。在王夫之心目中，金堡等人是孤忠济难之士，而今未死于敌却死于奸人诬陷，岂不是天下奇冤！正义感使他忘却了自身的安危，他直奔大学士严起恒的官船长跪恳请这位一时人望所归的阁臣疏救金、彭五君。严起恒果然出面了，他非但没有救得金、堡五人，自己也身陷党祸之中了，给事中雷德复上章劾严起恒犯了误国误君的二十四条“罪状”，严起恒无奈，只好谢罪求去。王夫之联络好友管嗣裘及另外一位叫做董云骧的同僚一起上疏为严起恒诉冤，疏三上，其辞略云；

李泌以可退可进之身，从容以处谗忌之百至，而唐以再造。文天祥以不退不进之身，摇落于王囗、陈宜中之党，而终宋之世，君臣两受其伤。昨科臣雷德复参辅臣严起恒一疏，备极污蔑，众心揣摩囗囗囗囗在辅臣之心迹，皇上鉴之，二祖列宗在天之灵假之，天下臣民共耳目之，岂俟臣赘？且德复之造端本末，授受机关，亦路人知之，臣又何敢过为吹索？今诚使辅臣以高蹈之鸿迹，矫予雄之鼠吓，举朝内愧、或尚改辕，又未必非皇上激励风轨之大端……（《请允辅臣乞休疏》，见《姜斋逸文》）

他们大抵已对永历政权失望了，所以意在恳求恩准严氏引退以全余生。疏上不报，严起恒被继续留用，而金堡等也因高必正（高一功）的努力被释出狱。儒家古训，君臣合义，三谏不从便谏道已穷，君臣义绝，于是王夫之与董云骧挂冠而去。临行，他到金堡卧舟去看望遍体鳞伤的金堡，作诗互勉。夫之诗云：

挑灯说鬼亦无聊，饱食长眠未易消。
云压江心天浑噩，虱居豕背地冤饶。
祸来只有胶投漆，疾在生憎蝶与鲦。
劣得狂明争一笑，虚舟虚谷尽逍遥。

王夫之离开梧州行在时是永历四年七月，算来他在行人司只待了半年。现在在人生的旅途上他走到了一个进退维谷的地步，大明遗臣至此有两条道路可以选择，一条是投降，清人的政策还是比较宽容的，降将降臣大多还能混个一官半职，分享一份小小的富贵；另一条就是高蹈肥囗，落发为僧，佯狂为奴，生活清苦一点，灵魂却干净一些。王夫之决定做隐士了。他当时刚满30岁，在流逝了的岁月中，他心里燃烧着种种的希望，小时候他做过科举入仕、致君尧舜的梦，后来也做过铁马金戈、收复河山的梦，而今是大梦初醒，一切显得是那么空幻虚无，他想起儿时父亲的训海，跌足而叹曰：“呜乎，先君之训，如日在天，使夫之能率若不忘，庚寅之役，当不致与匪人力争，拂衣以适。或得技草凌危，以颈血效嵇侍中溅御衣，何至栖迟歧路，至于今日求一片干净土以死而不得哉？”（《家世节录》）

从永历五年（1651年，顺治八年）起，王夫之开始了为时40余年的隐居生活。最初十年间，为了躲避清人的缉拿，他流徙不定，在祁、邵间朋友家中踯躅二三年。顺治十一年（1654）移居常宁西庄园，由友人王文俨供给饮食，教授乡人《春秋》。顺治十四年（1657）返回衡阳，由于在张献忠入湘时，他避兵南岳，结识了不少释家弟子，于是长居双髻峰寺院之中，直到顺治十七年（1660），才定居在湘西金兰乡茱萸塘，初造小屋，名叫“败叶庐”，次筑“观生居”。越十二年，再徙石船山下，去观生居二里许，因里人旧址筑湘西草堂，并自号“船山”。在这十年流浪生活中，他吃了不少苦，常宁诸生王祥隆有诗描写这时期工夫之的生活状况：“美人坐清湘，闲吟复长啸。十旬五得饥，体癯容愈少。冠盖时叩门，千金不一笑。道逢衣褐游，风雨怜同调……”有一段时间风声吃紧，他不得不变易姓名，混迹于语人之中。

隐士所屏绝的是与政俯方面的交往，并不废一般的朋友往来。王夫之是儒学出身的隐士，他的做人没有狂荡不羁，放浪形骸，使人难以接近。在他的亲属中，幸存者唯有长兄介之，介之居于武水之滨石师岭东耐园草屋，夫之常去看他，恒在夜间，由门生异辇而往，康熙二十五年（1686年）介之以81岁的高龄卒于耐园，夫之亲治丧事。王夫之的友人绝大部分是明朝遗老，其中有崇祯朝曾任江西巡抚、后隐于石门山的郭都贤（益阳人，字天门）；隆武朝担任东阁大学士兼右都御史的熊开元（嘉鱼人，字鱼山）；永历朝曾任翰林院编修官的钱秉镫等，武臣有永历故将新安人黄金台，明亡遁入禅林称广明大师，他曾请王夫之写过小传；章旷部将董启行也由华亭远道而来请他为章公撰写词碑。王夫之有不少友人削发游于方外，永历朝曾以东阁大学士、礼部尚书征召的编修官方以智，舍妻子做浮屠为青原主寺僧，他与王夫之长久保持书信往来，彼此以诗词赠答，但王夫之没有逃禅之意，方以智屡遗书王夫之，康熙八年（1669年）王夫之派弟子唐端笏赍书往青原（吉安庐陵）以母病谢绝。

王夫之教授的学生，有很多是为明朝死难者的遗孤或王氏世谊之后，章有漠（字载谋）是章旷的儿子，蒙之鸿是“五虎”之一蒙正发的儿子，管永叙是平生好友管嗣裘的儿子，罗瑄是邵阳罗从义的儿子，王夫之奉母居邵阳中乡，住在罗从义家；李朴大为李继体的儿子，继体是武夷先生同榜旧友，隆武间夫之父兄同居其家；唐端典、唐端笏是武夷学生、介之好友唐克峻二子，唐克恕则是克峻从弟；王祥隆是王夫之居常宁间寓主王文俨的儿子，这些人大多一生不仕，以诸生老死田园。

王夫之以大明遗老自命，从不与当时仕宦之家联姻。他继配的张氏生了一个女儿，嫁与郡文学李报琼的儿子李向明为妻，陶氏所生长子王放有二女，长孙女配与前明兵部尚书刘尧诲的孙子刘法忠，次孙女配与郡文学熊荣祀的儿子熊时干。

40年来，王夫之常常沉浸在往事的回忆中。衡阳是他的许多友人、同僚战斗过的地方，触物生情便是寻常的事情，他写了很多诗哀悼故人，凭吊先烈。他把故人故事写成片段，集为《病枕忆得》、《南窗漫记》。蒙正发（圣功）在解职后写《三湘从事记》叙隆武冬起义，兵败投何腾蛟、章旷，到何腾蛟败没三四年间战事，请王夫之作序，又触痛了他的精神创伤，他在序言中说：“华亭公以劳夭，义兴公以莞终，余与圣功屡不死，而今又从而言之，……余何忍复读三湘纪事哉？”

康熙三十一年（1692年）农历正月王夫之逝于石船山下的湘西草堂，终年74岁。他去世之前自作墓志铭，担心后人过誉失实，跋曰：“墓石可不作，徇汝兄弟为之，止此，不可增损一字。行状原为请志铭而作，既有铭，不可赘。若汝兄弟能老而好学，可不以誉我者毁我，数十年后略记以示后人可耳，勿庸问世也。背此者，自负其心。”王夫之是学者，不信鬼魂故遗命禁用增道追荐亡灵。只是在墓碑上写道：“明朝遗臣王夫之之墓”，以志他的民族主义精神。