尽管如此，冷泉大纳言隆房卿与七条修理大夫信隆卿的夫人，为了表示关切，却常常避人耳目，偷偷前来探望。女院感愧交加，忖道：“从未想到，必须依赖彼等度此残生。”说着泪痕满面。身旁的女伴们也都湿了衣袖。

女院现在的住处离京城不远，路上往来杂踏，难于避人耳目。此生无常如朝露，但愿在随风而逝之前，隐入深山深深之处，不必再听世间难堪之事。然而却无此机缘。偶有一女官上前禀道：“大原山深山中有寂光院，极为清静。”女院道：“山村固然寂寞，但住在其中，总胜于忧患人间。”于是决定迁居。肩舆之类，据说均由隆房卿夫人协助安排。

文治元年长月下旬，女院终于迁入了寂光院。一路上观赏树杪霜叶，四面八方，色样缤纷。山阴道上不觉日已垂暮。野寺晚钟响彻空山。披草而行，浓露沾袖，与泪同湿。山风猛烈，落叶乱飞。忽然天空阴霾密布，秋雨潇潇而下。远处传来呦呦鹿鸣，隐隐约约；近边响起唧唧虫声，断断续续。凄风苦雨，触目伤神；惨惨戚戚，情何以堪。回想沿着海滨与岛屿漂泊的日子，也未尝感到如此孤苦无依，又不禁悲从中来。

女院来到寂光院，只见岩石生苔，幽邃闲寂；觉得可以在此安安静静度完余生。对着庭中凝露结霜的萩枝，篱下枯槁憔悴的菊花，总不免睹物思人，反躬自省，而怅怏无极。每次在佛前祈祷“天子圣灵，成等正觉，顿证菩提”时，先帝的音容便紧紧挨在身边，永生永世，岂能或忘？于是，在寂光院近旁筑了一丈见方的尼庵，一间当寝室，一间当佛堂。从此昼夜勤修不倦，长时不断念佛。日居月诸，过着遁世修道的生活。

转瞬间，到了神无月中旬五日的黄昏。从静寂的庭院中，忽然传来好像有人踩过满地楢叶的细碎脚步声。女院惊讶道：“在此厌世者隐居之处，竟有人进来寻访。不知是谁。若须回避，最好立刻躲开。”说着叫人出去看了一下，原来是一只小鹿。女院问道：“是何人？”大纳言佐殿含泪吟道：

深山岩谷间，阿谁来探路。飒飒楢叶声，争知是小鹿？

女院听了，悲从中来，将此歌写在小障子上以为纪念。

不过在与世隔绝、百无聊赖的生活中，却也不免触景生情，睹物寓怀。将排在檐下的盆栽比作七重宝树；将蓄在岩间的山泉当成八功德水。春花无常，随风飘零；秋月有涯，伴云隐没。朝玩花乎昭阳殿，风来香散；夕咏月兮长秋宫，云掩光晦。昔者，铺锦褥于玉楼金殿，妙哉宫室；今则，结柴荆为小庵陋屋，人见人悲，无不落泪。