。加之他与右大臣一向不睦，桐壶院在位时，他一揽朝纲，独善其事。如今失势，右大臣成了皇上的外祖父，例占尽优越。左大臣一瓶不振，心灰意冷自在情理之中。
倒是源氏大将仍念旧谊，常前往左家宅邪问候。对旧时众侍女，仍细致体贴；对小公子夕雾，自是关怀备至。左大臣见其如此善良淳厚，不忘旧情，招呼应酬亦殷切诚挚，与往常无异。
当年源氏自得桐壶院庞爱，故有恃无恐。而今沧桑逝变，行为已有所收敛。不敢再如以前那般放肆，与以往厮混的女子渐渐断绝了往来。偷香传玉等轻薄行径亦为少了，变得沉默稳重，彬彬有礼。众人皆称道西殿那少夫人好有福气。紫姬的乳母少纳言看到这模样，暗自思忖：此乃已故师姑老太太勤修佛法的善报吧！紫姬的父亲兵部卿亲王，现亦能与女儿自由通信来往，兵部卿亲王正妻所生的几个女儿，虽甚珍爱，然于诸方面并不如意。故众人妒羡紫姬，这反惹得亲王正夫人不快。
却说贺茂斋院因父新丧，不得不回宫守孝。斋院之职暂由模姬代任。而从来贺茂斋院按旧例必由公主担当，似模姬这样的亲王公主当斋院，鲜有所闻，只是迫于此次无适当人选可派。源氏爱慕模姬，虽然多年失望，但不能相忘。现在闻知她当了斋院，深觉从此更难见面，不免惋惜不已。然而源氏毕竟本性难改，虽然一时收敛，却不能持久。因此，仍托模姬的侍女代为传言，绵绵情话从此不绝。而对于今日失势，却毫不在意，只管一心寻觅偷欢，以消解愁闷。
上皇去后，朱雀帝谨守遗言，多方庇护源氏。然而他年纪尚轻，性情柔顺，缺少刚强独断之气，万事皆由母后与外祖父右大臣作主。因此源氏处身行事，每多失意。但那位尚侍俄月夜偷偷恋慕源氏，两人相晤虽非容易，但也不时暗中幽会。一次，五坛例行法会。朱雀帝洁身斋戒时，二人在侍女中纳言巧妙安排下，将源氏带到一靠近廓下的房里，重温当年鱼水之欢。虽人多耳杂，提心吊胆，但见俄月夜正值青春年华，轻狂中自有温柔优雅、天真灿烂的乐趣。源氏欣喜不已。
无奈良宵苦短。天近黎明时，闻值夜近卫武官在近旁高声喝道：“奉旨巡夜！”源氏大将想：“说不定另有一近卫武官，亦躲于此处幽会，而遭同辈护恨，告知了这值夜武官，教他来恐吓吧。”随即想到自身亦为近卫大将，不觉好笑。值夜武官走来走去巡视，一会后，又高声报道：“寅时一刻！”而俄月夜听此一报，随即吟道：
“夜尽先听报晓声，疑是情绝悲泪起。”一副恋恋难舍的模样，令人怜爱不已。源氏答诗：
“夜色虽尽情未尽，空自愁叹度今生！”当下心情不安，便匆忙溜出了房间。
此时夜色残存，天光未明，月影清幽迷蒙，夜雾渐渐升起，远山近水笼罩其间，更觉孤寂清凉。源氏大将身着便服，畏缩着匆匆前行。可巧承香殿女御之兄头中将正从藤壶院出来，隐约见是源氏大将，心中纳闷，便急忙藏匿于暗处，欲瞧个仔细。见其行色举止匆匆，知他定是幽会回返，不免冷笑不已。真是心惊偏遇鬼敲门，看来源氏公子又会出名了！
这尚待如此容易接近，源氏反而怀念起与之相反的藤壶皇后来。此人刚直守贞，常拒人于外，倒令人敬畏。但自己终觉得此人冷酷之至，实在可恼。
朱雀帝继位之后，藤壶皇后渐觉进宫乏味，且无面子，便不常去了。然而心中又常常挂念皇太子。他年幼无知，万事全靠源氏着顾。可源氏那种不良居心尚未消除，不时使她难堪心痛。她想：“所幸铜壶院直至驾崩都不知我二人曾关系暧昧。如今想来，还觉羞恨惶恐。一旦泄露出去，对皇儿前途一定不利啊！”她越想越怕，只得潜心修佛，妄图仰仗佛力保佑此事机密，割断情丝。孰知一天，源氏大将居然暗地混进藤壶皇后的内室里。
源氏大将小心翼翼，外人断未察觉。藤壶皇后在房中看见他，还以为是做梦呢。源氏站在屏外，又重施手段，花言巧语、山盟海誓说得甚多。然而皇后心如磐石，不为所动。但心中哀痛不已，党致晕去。侍女王命好与异君等人甚为惊慌，忙来扶持。如此一来，源氏懊恼万分。一时脑中恍格，呆若木鸡，直到天明，他仍不想回去。众侍女闻知皇后患病，纷纷前来探望。源氏一时吓得失去知觉，被王命妇一把推进壁橱暂且躲避。
藤壶皇后深受刺激，气火上浮，头脑充血，愈发痛苦了。其兄兵部卿亲王及官中大夫等前来探询，吩咐召请僧众举行法事，一时纷忙不堪。源氏大将躲在壁橱里静听外间情状，苦不堪言。日幕时分，藤壶皇后渐渐苏醒过来，尚不知源氏大将躲在壁橱内。侍女们怕她懊恼，也未将此事告知于她。觉得身体稍好些，她便膝行至日间的御座上休息。兵部卿亲王等见她已康复，便各自归去。平日皇后近身侍女不多，别的待女也都退避了，室中人很少。于是王命妇便与共君悄悄地商量，怎样打发公子出去：“若留他在此，今夜再惹娘娘生气，可不得了！”
源氏躲在壁橱内，见那扇门关实，尚留一丝细缝。便将门推开，悄悄钻了出来，沿着屏风背后，行至藤壶皇后居室。他久已不曾见得皇后姿容，如今窥见，悲喜交加，竟流下泪来。皇后侧身而坐，脸向着外面娇弱无力地说道：“我心中难受得很，怕要过离人世了！”侍女送上精美水果，她却看也不看，只叹尘世艰辛飘零。渐入沉思，倒显得更加可爱。源氏大将想：“她那飘逸光亮的长发，秀美艳丽，被散下来，竟与西殿那人相同呢！多年来自从与那人相恋，对她印象倒淡薄了。如今再一见到，二人果然削O之极。”他以为紫姬稍可安慰他对藤壶的思恋。心想两人气度与神情相似。但或心情所遣吧，倒觉得先前这思恋之人，更富娇艳之相。一想到此，不能抑制，悄悄钻进帐中，拉住了藤壶里后衣据。
藤壶皇后突闻得源氏身上那特有香气，吃了一惊，身子顿时俯卧于床。源氏大将只恨她不肯转过脸来，便一直拉她的衣服。藤壶皇后只得卸去外衣，欲脱身逃走。但源氏大将无意中同时拉着了头发，皇后无可奈何。她慢慢不已，惟有哀叹前世作孽。源氏早已按捺不住心中相思，神志恍值痴迷，哭着诉说万千愁绪，无限悲伤。藤壶皇后心中痛苦，不能作答，只勉强说道：“我今日心情极坏，待来日好转，再与你晤面吧。”但源氏大将仍不断地诉说衷情，哪里听得进去？其中也极有可使藤壶皇后深深感动的话。然而藤壶皇后岂敢再犯往日错误？因此心中虽然可怜源氏，但亦只有婉言相拒。就这样捱过一夜。源氏大将也不便过分要求，只得斯文地说：“今后尚能如此时时相逢，慰我相思之痛，我也心满意足，不敢再存奢望。”藤壶皇后听得这话，心中方安。这一男一女，即便一般情侣，此时亦必增添惜别伤离之感，更何况均为多愁善感之人呢？
是时晨光已明亮，王命妇与并君苦劝源氏大将早些退出。藤壶皇后此时已是晕厥瘫软，如同死去。源氏大将见到，心中愧疚木已，说道：“我如此反复折磨你，实在惭愧之极。欲以死相报，但含恨而死，来世又将作孽，可如何是好？”他说着这话，表情严肃生威。只见他又吟道：
“相逢方知时日短，生生世世别恨多。”我与你永相牵连片藤壶皇后亦微微叹息，答诗道：
“世世虽怀长日恨，只因君心礼难束。”她说此话时已力不从心，源氏大将听后徒生依恋之情。但若再不退出，她必然伤心痛苦，只得怅然告辞。
源氏大将回到哪中，心中寻思道：“我尚有何面目再见皇后呢？既然她如此不解我意，岂能再怪我无情。”别后遂连慰问信亦不曾写。至此不再进宫，亦不去探望皇太子，整日闲居家中，愁思悲叹。不觉日子一长，心神樵怀，竟浑身虚弱，四肢乏力，患起病来。如同古人云：“沉浮尘世间，徒自添烦恼。何当人深山，从此出世表。”源氏便觉尘世无可留恋，遂一时动了遁入空门之念，然而那温顺无依的紫姬，可爱之极，毕竟难以舍弃。
藤壶皇后自道那日变故，心绪一直欠佳。王命妇等见久不闻源氏音信，得知他将自己关闭空中，推想其痛苦忧闷心情，颇觉对他不起。而藤壶皇后虑及是太子利益，也深感不应对此后援之人这般绝情，想着：“倘若皇太子淮一可凭恃之人因我而产生隔阂，或有离家出世之念，那毕竟于我们不利。但若仍是如此非礼，难免恶名不被泄露吧。与其被那弘徽殿告我倍越，倒不如现在退出皇后之位呢。”想起铜壶院在世时千般宠爱及恳切遗言，遂觉如今时世大变，已不同于往日。倘不惨遭戚夫人的命运，也贻作天下人耻笑。她如此一想，更觉人世无可留连，便决心出家离俗。但就此剃度入门，又不忍心，便微行入宫与皇太子一见。
平日里源氏大将对藤壶皇后照料周到，事无巨细，皆倍加关怀。可此次却以心情木佳为托辞，并不前来送皇后人宫。众侍女皆明白缘由，私下议论道：“源氏大将心中愁闷呢。”倒觉得有些对他不起。
藤壶皇后入宫后，六岁的皇太子久不见母亲，自然格外兴奋，偎于母亲膝下，亲近得很。而皇后不免心生怜悯，出家之念便又动摇。然而此时宫中形势，已非同昨日。右大臣一手遮天，弘徽殿狠毒刻薄。宫廷之中，动辄便得罪他们。于是她连宫也少进了。但想到长此以往，对皇太子异常不利，顿时心生不祥。她问皇太子道：“今后我若长久木与你见面，或者我的样子变得难看了，你还会如此么？”皇太子注视母亲，笑着答道：‘洞式部一样难看么？”说时样子稚真可爱。藤壶皇后忧伤地说：“式部难看是因年纪老了。而我要将头发剪短，穿上黑衣，像那守夜僧一样。而且从此与你见面的时机更少了。”孩子认真说道：“以往那样长久不见，我已舍不得，怎么可以更少呢？”说罢，流下泪来，将头转向一边，摇头晃脑，更觉稚气十足。皇太子渐渐长大，声音容貌及说话口吻，严然一个小源氏，其牙齿略被虫蛀，口内有些黑点，其神情同女孩一般秀气。藤壶皇后见他如此肖似源氏，担忧伤心。生怕世人看出，恶名传布，对太子不利。
源氏大将虽然恋慕藤壶，但见她如此无情，故意闭门不出，不会理睬。又深恐外人由此评议，便决定前往云林院怫寺游览，乘便观赏秋野景色，打发无聊时光。亡母桐壶更衣之兄就在此削发为僧。因此源氏在此礼佛诵经，滞留两三日，倒也玩得高兴。其时木叶凋零如片片红霞飞舞，原野清丽动人。如此美景，使人忘归。源氏大将便在此时召集一些渊博的法师，说教问道。受此地此情感染，常常痛感人世沧桑，彻夜难眠。正如古歌云：“破晓望残月，恋慕负心人。”又想起那个人来。黎明时分，法师等在月光下插花供水，杯盘发出叮哨声。浓艳不一的红叶及菊花，散于各处，景象木乏幽雅。源氏大将不由得想：“这般修行既不寂寞，来世又可得善报，人生有何烦恼呢？”律师舅朗诵“念佛众生摄取不舍”，甚是庄严。源氏公子听了羡慕不已，心想：“我不如就此出家呢！可一转念，又不由自主念起紫姬来。方觉离开紫姬从未这么久，便不断写信去慰问。其中一封信道：“我本欲尝试能否就此脱离尘世，但无以慰我寂寥之心，反觉乏味不已。但现在尚有听讲之后，一时不能返回。你近况如何？甚念。”又附道：
“尘世居人如朝露，岂将悬念寄山岚。”紫姬读得信中细节，忍不住啼泣流泪。在一张白纸上夏道：
“露草蜘丝弟弟绕，风吹丝断飘零零！”源氏大将一见此信，自语道：“她的字越发出众了。”读信时，面带微笑。因常有书信来往，故笔迹颇似源氏大将，只是近来越发秀丽，笔锋更添妩媚。源氏大将见紫姬有如此长进，甚感欣慰。
却说模姬已当斋院，且云林院与其所在的贺茂神社甚近，源氏大将便写信与她。信中向楼姬的侍女中将君诉恨道：“我今旅居荒野寺，仰望长空，心中寂寞惆怅，甚念故人，不知能否蒙带院体谅？”另赠诗斋院：
“窃幕当年含情乐，恐法禅心未敢言。”古歌：‘安得年光如轮转，夙昔之田今再来。’虽知言而无益，却渴望昔日重来。”言词娓娓恳切，仿佛故交。写罢，挂于白布上，再系于杨桐枝，视若神明。中将回复道：“如此隐居，寂寞难耐；退抚往事，遐思无穷，深感无奈。”写得格外用心。斋院则在白布上题诗道：
“当年没有劳心人，缘何含情性往昔？今生无缘了。”源氏大将看后，想道：“她的字体虽不甚纤丽，然而牢里行间功夫颇深，草书也甚不错。推想她长大后，将更加秀丽动人吧？”如此一想，便自知亵渎神明，心中不免惶恐。想起去年今日那个感伤的秋夜，在野宫会晤六条妃子的情形；不料今夜又有些类似之事，甚是奇妙。更怨恨神明妨碍了他。转而又想：“若当年执意追求，也未尝不能到手，颇有些后悔。斋院深知源氏脾性，因此偶尔回信时，言辞也不特别强硬。
源氏诵读《天台六十卷》，每遇不解之处，便请法师讲解。法师道：“此次能有盛会，佛面上光来不少，全靠本寺平素所积功德。法师也皆喜欢。在山寺中悠闲度日，避去世间尘事，源氏大将一时懒得想家了。然而想到紫姬，久居山寺之念又有动摇。于是打点行装，准备下山。临别时，酬劳诵经之费异常优厚。众僧均有赏赐，连附近寻常人家亦获得布施。做了一番功德，然后离去。山野农夫威集路旁，前来送行，众人仰望车驾，无不感激落泪。源氏大将身着黑色丧服，乘坐黑色牛车，并无富贵华丽之色。众人隔帘隐约望见帘内那端庄仪态，都赞不绝口。
源氏回至家中，只见多日不见紫姬，举止端正，愈发出落得娇柔美丽。她面露忧色，为自己今后命运担心。源氏见了更加怜爱。他近来总是无端沉思幻想，紫姬也能看出，因此她近来所作之诗，多用“变色”等词。源氏大将心中愧疚，故今日归家，对她比往日更为亲近。他见从山寺带回来的红叶，比庭中红叶更浓更艳。心想与藤壶皇后久不通问，有些不好意思，便将这些红叶送与她，并附一信与王命妇，说道：“闻娘娘入宫探望太子，甚感欣慰，不知太子可好，久不问候，实乃有因。但两宫之事，并不敢忘却，山寺诵经礼佛，定有日数，若中途退出，人将请我心地不诚，因此至今日方才返家。红叶一枝，色泽甚美，我一人独赏，‘好似美锦在暗中’，甚是珍爱。如今特送上，聊表寸心，务请娘娘一观。”
这红叶的确美极，吸引藤壶皇后注目。却见枝上照往日缚有一小小信给。藤壶皇后一时惊呆，怕被众侍女所见，遂想：此人痴心不改，实在让人担心。可惜他小心谨慎，有时却未免大胆，倘叫外人见了，作何想法户便将红叶插手花瓶，供于檐下往旁。
源氏大将收得藤壶皇后复信，均为日常小事及有关是太子备求清托等，乃严正复礼信。他见后，便想：“这般谨慎，甚是坚强！”心中隐隐惆怅。转而一想自己过去对皇太子百般疼护，若如今有意疏离，外人必起疑心。便决定于藤壶皇后出宫那回，前去探望。
源氏大将入宫，径直觐见皇上。其时朱雀帝正闲觉无聊�