中落，世事难料。平素亲近侍从，已全无踪迹，定是为欲随从公子，而与亲友惜别去了。平素交情不深者，亦或貌合神离之人，尽皆远避，惟恐得罪右大臣，日后留下把柄。昔日门庭若市，车水马龙；如今凄凉冷清、只影随行。是时源氏公子方悟世态炎凉，人情淡薄，感慨犹深。见尘埃覆盖，铺地欺席处处折叠，源氏公子不免想道：“如今我尚在家已这般荒凉，他日离后，不知何等破败啊！”
径入西殿，但见方窗未并，许是紫姬正眺窗凝望，深育未眠。众待女及女童皆在廊下小想，见公子回来，纷纷起身迎接。侍从们值宿装束，来回穿梭。源氏见此，又不觉感伤：“只恐若干时日后，这些人皆难耐寂寞，匆匆散去吧！”素来不曾介意，而今触目惊心。便对紫姬道：“昨夜辞行众人，误了时辰，故今晨迟归，想必你没有胡思乱想吧！入住京都期间，目是难舍难离。远行之际，挂念之事，实在众多，岂有闭门木出之理？想来世间，受人鄙薄，且遭唾弃，真是寒心。”紫姬仅答道：“除此之外，哪还有更大的横祸呢！”其悲伤之状，自与他人有别。只因其父兵部卿亲王向来与她疏离，自小便附依源氏，且其父近来甚俱权贵，久疏公子，此次尤应前来宽慰。旁人见之，定然讪笑，紫姬亦深以为耻。遂想道：“当时不使父亲知她下落，反倒落个干净。”
岂料紫姬之继母，兵部卿亲王的正室等人却传言：“此女正当红运，却忽逢横祸，足见其命贱。凡对她关怀之人，生母、外祖母、夫婿等，尽皆抛她而去。”蜚言传至其耳，着实感到心痛，自此便与娘家绝了消息。此后无依无靠，命运甚是寥落！
源氏公子循循宽慰道：“倘我离京后，朝中仍不赦免，多年流离，即便深居岩穴，定当遣众迎娶厮守。此刻携你同行，惟恐旁人指责。蒙罪在身，本不该见光明。再任性而行，罪孽必更为深重。此生我虽无过失，然遭如此不幸，定是前世恶行所致。且流刑携眷属，史无前例。此等旷世，命运多殒，尚恐祸殃枉加呢。”次日晨，于日上三竿之时，众人随行，离京而去。
且说帅皇子及三位中将③来访。源氏公子换毕衣衫，欲见时，却道：“今我乃无爵之人！”遂身着贵族素装，模样反倒俊雅。如今形貌稍减，却越发俊逸。欲整鬓发，靠近镜台，望见其中瘦影，亦觉清秀可怜，便道：“如今我甚是衰老矣！果真如镜中那般么？”紫姬泪眼源源，望望公子，愈加伤怀。只听得公子吟道：
“此身远戍须磨浦，留得镜影常伴君。”紫姬答曰：
“秀秀镜影若长在，菱花相视也慰心。”她喃喃自语，隐身于柱后，以掩泪迹。见她这般娇柔无助，公子心中无限怜爱，顿觉平生所见女子，无一人能与之相媲。
帅皇子安慰源氏公子一番，至日暮方去。
再说那花散里亦为源氏公子之事操心无限，常寄帛书慰问，此乃情理之中。源氏公子想：“事已至今，若不与其复见一面，她必恨我薄情。”遂定于当晚前去访晤。却又难舍紫姬，故至夜深才出门去。源氏公子深夜来访，使丽景殿女御欢喜得忘形，忙说道：“蒙大驾光临，实乃万幸，寒舍如今亦列入数中了！”其欣喜之情，自不待言。此姊妹二人，平日甚是清寒，亏得公子多年荫庇。眼下哪府已极为寥落，将来更是不堪设想。此时月光清幽，公子遥望院中景致，不禁陷入沉思。未来岩穴生涯是何种景况呢？教人好不惆怅！
闲居西厢的花散里料公子行期渐近，定不会前来了，正暗自伤怀。岂料值此冷月怜爱人憔悴之际，忽然幽谷传呜，锦衣飘香，源氏公子竟已悄然而入。她情不自禁屈膝前行，投于公子怀中。二人相拥而语，自是无限感伤，不觉天已微明。源氏公子叹道：“此夜何等短暂！这一别，能再相见否！昔日疏忽，闲度春岁，教我懊悔不及，而今我又成为世人闲谈话资，更是心如刀割厂二人又忆诉些往昔岁月，至四下里雄鸡报晓。公子为惮人耳目，忙起身辞别。
时逢残月西坠，花散里昔日常将此拟为与公子作别情景，适才又见，甚是忧戚。月色静洒在花散里的深红衣衫上，恰如古歌所言：“袖下明月光，亦似带泪颜。”她便赋诗：
“孤陋衣袖暗月中，更断清光复相临。”源氏公子闻此哀怨之词，已是怜悯万分，惟有相劝，于是答道：
“夜月明暗皆有时，人间沉浮何必忧？遥瞻前景，渺茫难卜。斩却忧疑之泪，犹思绪黯然。”言毕，于晖光晨庵中挥袖而别。
源氏公子返回二条院，收拾行囊，邀召素来亲近且不畏权臣的忠仆，于府内上下—一布置，分管馆舍事务。并于其中挑选数人，同赴须磨。且所用器件，仅备寻常必需之物，亦不加修饰，务求俭朴。附带些必要的汉文典籍。装白香山文集的箱子及一素琴，皆并带附。其余奢华富丽的物件及服饰，一律省却。宛若一山野俗民。
府内持从人等及所有事务，一并托与紫姬调从。府库庄园、牧地及各处券契，仅由紫她保管。此外众多企康及藏室，则由一向亲近的少纳言乳母率亲信家丁管理，另嘱托紫姬适时协调。公子房内所宠待女中务君、中将人等，昔日虽怨公子情薄，但亦可时时见面，尚以慰藉。自此失却倚托。再有何闲情？个个粉颈低垂，颓然不语。源氏便对众人道：“总有一日，我平安而返。惟愿等候的都供职于西殿吧！”命左右人等皆迁居西殿。源氏又据各人身份赐予物品，以作纪念。小公子的乳母及花散里，自另获精品。其余众人日常用度，亦皆安排周全。
源氏公子顾念不已，修书一封送与眈月夜。信中道：“近来芳音沉寂，原属情理之中，惟我行将别离，苦恨实是难喻。正是：
往日相思徒流泪，今却化作祸水源。这等子虚乌有之事，我却木可避舍。”深恐途中被人开启，故简短附言。
俄月夜看罢其信，已是悲恸不绝。虽强自忍耐，然双袖难掩滚滚热泪。嘤嘤咽咽夏道：
“身若水泡浮泪河，未及相逢已先消。”笔迹甚为散乱，却别有风趣。源氏公子为临别前不能再会此人一面，惋惜不已。但又自虑：那边与弘徽殿太后都是一派，痛恨自己的定然不少，这陇月夜想必亦存顾忌。于此只得打消再会之念。
明日便是行期。是夜，源氏公子向北山进发，前往拜别桐壶院之墓。其时东方欲晓，月朗星稀。拜墓尚早，遂先去参谒师陆藤壶皇后。皇后安排源氏公子在帘前坐下，隔帝与他交谈。两人心意相通，自是深情无限。皇后首先提及皇太子的未来，表示出深切的关怀。这皇后容貌秀美，丰姿仍旧。源氏公子往日受她冷遇，此时百感交集，欲对她略申怨恨之情，然今日旧事重提，定会使她伤心不已，自己亦愈发烦恼，便忍了怨情，只说道：“我行至此般地步，实因犯下一桩违心之事，甚感不安。我身不足情，惟望太子顺利即位，于愿足矣。”此乃至诚之言。
源氏公子一番恳切之谈，使得藤壶皇后一时心乱如麻，无言以对。一想及前后繁杂之事，公子便伤心至极，止不住掩面而泣，那神情凄艳无比，许久才收泪道：“而今我即将前往拜墓，不知母后有何吩咐？”藤壶皇后心中悲伤不已，一时不能应答，只强作镇定。吟道：
“生者相别死者离，徒然焚修治残生。”她心烦意乱，百感交集，只觉意犹未尽。源氏公子答道：
“初送死者伤未尽，今又生离愁恨憎。”晓月隐没后，源氏公子便前往谒陵。只有五、六位亲近的仆役随同；没有车驾，皆骑马前往。想昔日仪仗盛势，真是今不如昔，一落千丈。随从者皆愁眉苦脸。其中一兼藏人职的乃伊豫介之子、纪伊守之弟，曾任右近将监，是年本应加爵，却因资茂拔楔时曾作公子随从而被剥夺了官爵，很是失意，只得随公子远赴须磨。此刻于谒陵途中，望见贺茂神社下院，便忆起于投楔那日的盛况，顿时感慨万端，遂翻身下马，将源氏公子的马头拉住，吟道：
“葵花艳时同辇游，社神今日也是恨。”源氏公子亦有同感。想当初他是何等风流倜傥，出众超群阿！”便觉莫名歉疚。于是跳下马来，膜拜神社，告别神明。并吟诗道：
“身虽远离浮名在，是非自有神明断。”这右近将监原来多愁善感，听罢此诗，亦觉正合心意，心想这公子委实可亲可爱。
源氏公子于皇陵前跪下，父是生前的种种情状—一浮现于眼前。想到这位至尊元上的明主，也已与世长辞，不复相见，亦不能再听到他的教诲了。公子心中无限思念与痛楚，千言万语涌上心头，止不住泪水长流。又忆起父皇临终前谆谆的遗言，实在是深谋远虑啊！
墓道上杂草丛生。公子起身，踏革前行，也顾不得晚露沾农了。其时乌云遮月，阴冷凄凉，树影婆婆。公子欲离墓辞别，却迷失了方向，只得退回，稽首再拜。但觉父皇面容，清晰可见，不禁毛骨悚然。遂吟诗道：
“皇灵芝知应同悲，明月解人已入云。”返回二条院，天已大亮，公子随即又写信与皇太子道别。此时王命妇正在宫中代替藤壶皇后看护太子，源氏公子便将信转交与她。信中道：“离京在即，不能再访，还望体谅。惜离伤别，见此便知，善为致意。”正是：
“维隐只因时运尽，春来花发返都无？”此信附系一枝已调零了的樱花上。王命妇遂将信送与皇太子，并对他说明信中情由。皇太子年事尚幼，亦觉此事郑重，便认真阅读。王命妇问道：“办何回信呢？”皇太子答道：“对他道：‘一刻不见，便觉思念无限。此次远别，如何熬煎？”’王命妇想：“这答词未免太简便了。”顿觉这孩子好生可怜。又忆起源氏公子与藤壶皇后荒唐的恋情及诸多伤心之事。心想：“此二人本可安然度日，只因作茧自缚，以致苦不堪言。然而我也脱不了干系，当初怎么充当了牵线的角色？细想起来，追悔莫及啊户便在复信上说道：“拜读来书，甚觉无言达意。已将尊意启奏太子。其伤心之状。难以言喻。…”此信许是心情恼乱所致，有些不着边际。又附一诗：
“匆匆花事开又谢，明春愿君返京华。一遇时机，必心想事成。”之后又向宫人谈及公子的情状，满堂皆泣不成声。
凡与源氏公子有一面之交的人，见其今日郁郁寡欢，无不扼腕叹息；至于平日朝夕伺候之人就更不必言了。甚至连公子素不相识的做粗活的老婆子和洗刷马桶的仆役，也因一向深蒙公子思顾而依依不舍，为不能再见他而悲哀。满廷百官，皆关注此事。公子自七岁起就与父皇朝夕相处，奏请之事，无不准允。故此百富多蒙公子思德，无不心存感激。公卿、弃官等虽身分高贵，然仰仗公子之力者亦为数不少。其余各等官员，更是数不胜数。当中也有些人，并非不知思德，怎奈眼下权臣专横，不得已而心存顾忌，不敢亲近公子。总之，与公子有关联之人，皆为他的离去深深痛惜。他们私下议论有司之偏执，但转而一想：舍身前去慰问，于源氏公子有可移益？遂佯装不知。源氏公子正当失意，便感人情冷薄，世态炎凉，心中愈发哀伤。
临行之日，公子与紫姬平静谈心至日暮，按例于子夜启程。公子身着布衣便服，行装甚是简陋。对紫姬道：“明月升空，我该出发了。你且走出门目送吧。今此一别，定会堆积千言万语，无以倾述。以往偶尔小别一二日，亦觉郁仰不堪呢！”便卷起帘子，劝其到廊下。此时紫姬伤心不已，只得强忍眼泪，膝行而前，依着公子坐下。月光之下，更显得丰姿绰约。源氏公于想：‘躺我就此长辞，将她一人丢在这无常之世，不知其境渡将何等苦楚啊！”更觉难舍难分。但见紫姬已悲痛难禁，若再言此话，定然使她愈加伤心，便故作泰然自若，吟道：
“身心若怀终身警，此番生离何足论。分离不会太长。紫姬答道：
“痴心欲舍妾身命，应得行人片刻留。”源氏公子见她如此痴心重情，久久不忍离去。但恐天明后人多目杂，行动不便，终于硬着心肠启程。
赴江途中，紫姬的形貌始终不散，令公子惆怅不已。暮春昼渐增长，加之顺风而下，申时许使抵达须磨浦。旅程虽不长，只因素无经验，颇有新奇之感，便觉悲喜交加。途中经过一地，名日大江殿，荒凉异常，只剩几株松树。源氏公子即是赋诗：
“屈原忠名垂千古，今朝别客叹渺茫。”海边波浪迭荡，源氏公子触景生情，遂吟唱古歌：“行行渐觉离愁重，却羡波臣去复回。”此歌原本家喻户晓，但于此情此景，却颇为相宜。诸随从听了无不动容。再回首，但见云雾朦胧，群山隐约可见，恰如白居易诗中所言。而自己正是“三千里外远行人’了。及此，眼泪便如浆水般渗出。源氏公子又吟诗道：
“遥遥故乡云山隔，仰望也应共此天。”即景伤怀，好不辛酸。
此次源氏公子在须磨的住处，与从前流放于此而吟“寂寞度残生”的行平中纳言的住处相距甚近。海岸稍远处，是幽静而荒凉的山地。自墙垣及种种房屋设施，均别具一格，与京中遇然相异。那茅草屋及芦苇亭，别致雅趣，与四周环境浑然相融。源氏公子想道：“此地与京中有着天壤之别，倘不是流放来此，倒另有情调呢！”于是忆起昔日的种种浪漫行径。
源氏公子召来附近领地里的吏目，命其建造住所。并将同来的良清视作亲近家臣，负责实施公子意旨而指挥吏目。如此这般，令公子感慨万分。不久，房屋便拔地而起。又命加深池水，增栽庭水，心便渐渐平静下来，但亦如在梦中一般。这摄津国的国守，以前是公子亲信的从臣。此人不忘旧情，不时暗中加以照顾。这住处便日日人来人往，热闹起来。但终不似以前有情意契合的知音，仍觉远离他乡，心情亦郁结难解。岁月无情，前途未卜。
安定旅居，已逢梅雨时节。往事纷至沓来，又思念京中亲人：“紫姬必愁苦不堪；太子近况如何；小公子夕雾照旧无忧无虑，嫁戏度回吧？”此外心中挂念之人还很多，便—一写信，派人送往京都。其中给二条院紫姬及师姑藤壶皇后写信时，常因泪眼模糊而一度搁笔。与藤壶皇后的信中，附有一诗：
“无限愁容迁须磨，松岛渔女意如何。愁叹不已，而今瞻前顾后，一片黑暗，正是‘忆君别泪如潮涌，将比汀边水位高！”’
给尚侍俄月夜的信，仍由中纳吉君转变，便寄给这侍女。其中写道：“追忆往事如烟，聊以慰藉。试问：
无所顾虑思重叙，柔情聊君怀我无？”此外种种话语，读者自可想象。亦送信给左大臣及乳母宰相君，托付他们好好照顾小公子。
京中请人收到源氏公子的信，大多难以抑制悲伤。二条院的紫姬读罢信，立时软在床上，悲不自胜。众侍女见此情景，也都愁眉紧锁，莫能劝慰。再见到公子昔日惯用的器物，常弹的琴筝，闻到公子留下来的衣服上的香气，股俄中便觉公子已仙逝。惟少纳言乳母怕有不祥之兆，请北山僧都举行法事，祈愿平安大吉。那谱都向佛祝愿两桩：其一，愿公子早日安返京都；其二，愿紫姬消却愁苦，早日康复。紫姬愁苦期间，谱都勤修佛事。
紫姬为源氏公子置办衣物时，那常礼服和裙子，皆为无纹硬绸，甚是怪异，令人见了悲叹。公子临别