兆尹韩朝宗及一部分皇亲贵戚，与他们都很合得来，且有世代的交情。
李白不愿进入这一个集团，他因贺知章的关系，接近的是另一派讲求自然气度和正直的文人，如左相李适之等，文人中还有如薛挺等正派者，这样，长安的文人圈中，分成了明显的两个对立派系。
引荐李白的道士吴筠，也在翰林院中做空头学士，他看出由李白所引起的风向，他同时又发现李白虽然和许多权贵交好，但旧日长安的文士集团却对李白不兼容。而这些人老于官场，深通权术和会用阴谋；吴筠发现，贺知章也被这一个大集团排挤着，而李适之的权位在增高，又为宰相李林甫所忌。显明地，他们这一个集团，不久将会受到打击。
吴筠是聪明人，在天宝二年的秋日，当李白还浑浑地在发议论和游乐逞快时，他就有了退出的策划。同样地，贺知章也有所感，他一方面希望李白去结交李林甫，但在心志方面，又不愿李白改变风格。
这是李白到长安后所引起的暗潮。
但在宫廷中，此时又是宁静的好日子，秋天来时，皇帝在秋暑日率百官祭兴圣皇帝庙（凉武昭王，李唐皇家自认是凉武昭王的后裔）中暑而病，经十日始愈，因此，宫廷中只有一次游宴，杨玉环陪了皇帝转住大明宫休养了半个月。
//
…
《杨贵妃》第四卷（9）
…
这时，咸宜公主借了机会，单独见着杨玉环。她来，为转达寿王的致意，同时提醒她，设法为寿王谋取太子的地位。咸宜公主陈述：外面的情势，对寿王虽然很有利，李林甫越来越得皇帝的信任，当皇帝患病和休息时，几乎是把军国大事的全权交托李林甫，这位权相，无疑是完全支持寿王的。
杨玉环痛苦了，她在表面上敷衍了咸宜公主，可是，她内心却极难过。入宫以来，皇帝在她面前，从来不提寿王，好像，他没有这个儿子，自己又从来未嫁过寿王似的；但她又知道，皇帝曾单独召见寿王——近一年，诸王入觐时，如果是节日，她会陪着皇帝，而每逢这样的时候，寿王总是缺席的。
她并不是有心机的女人，可是她也不愚蠢，情形如此，她又怎能在新丈夫面前提到旧丈夫？要推荐旧丈夫做太子，非但行不通，必然会得到最坏的结果。
为此，耽于欢乐的杨玉环流了几次泪，游乐的兴致也减低了——而她的心事，也无法向人倾诉。
一次，在少府服官的杨慎名入内宫，在偶然中告知杨玉环，杨玄璬身体欠佳——
这又是她的心事之一，和父兄，虽然消息鲜通，可是，她是怀念着的。她闻讯而不安，忽然间，她觉得自己入宫，什么好处都没有，“名花倾国两相欢”，除了娱乐了皇帝之外，都是空虚的，她灰心——但过了几天，她的观念又改变了，她想到入宫之后，自己同样也享受着青春的欢乐啊！
杨玉环的本性如此，她不会自行沉潜入惆怅中；偶尔有愁，又自我将之拋开。
但是，在她的家中，情形却相当严重了。官国子监司业的杨玄璬，无法忍受人们对自己女儿的悄语私议；同时，对本身的出处，他也痛苦，由内宫官出身而为皇帝所信任的杨慎矜，已接连和他商谈，希望他稍微表现得积极一些，接受国子监的祭酒，杨慎矜暗示他，只要当一任国子监祭酒，就可以入相，杨慎矜还举出先例：神龙元平二月，当大唐中宗皇帝自女皇帝手上夺到政权之后不久，曾任命当时的国子监祭酒祝钦明同中书门下三品事。
杨玄璬自然知道这一段往事，然而，他更明白人们如此对自己，只为着女儿有宠。再者，他又明白，杨慎矜努力来交好，另有原因。宰相李林甫似乎对杨慎矜不大好了，为此，皇帝任命杨慎矜为御史中丞，他辞不敢受，转任谏议大夫。他知道杨慎矜是一个有旺盛政治欲望的人，慎矜拉拢自己，有结党的目的在。
为此，杨玄璬不堪了，他想：人们来巴结我，只因我的女儿可耻地周旋于父子之间啊！在自羞中，他真的生病了，他家居，以养病而谢见宾客。
可是，新的难堪事件又降临到他的身上——他的儿子杨鉴由宰相李林甫的推荐，擢任秘书省秘书少监，那是从四品上的官阶！以杨鉴的资望，自然不可能取得如此高的地位，何况，这又是清高而机要的地位。
杨玄璬明白，这又是因于女儿之故。再者，他又忖测，此项任命，也可能另外有作用，李林甫用杨鉴来排挤贺知章。他不欲自己的儿子参与到政治派系的斗争中去，于是，他命令儿子亲自去见宰相，辞谢新任命。
可是，杨鉴却不舍得放弃这个优职，他见宰相时，只谦逊了一番，并未认真辞谢不受。回家，他告诉父亲，宰相不许辞职。
这使杨玄璬为之气结。
这是天宝二年的初冬，十月新寒，杨玉环偕皇帝去了骊山。骊山，自天宝元年起，建筑了一所新宫殿，祀天神的，宫殿很巍峨，有高楼，为长生殿。但是皇帝另外为之立了一个名字：集灵台。因为宫中的寝殿通常呼为长生殿或长生院，以前，祀神的宫殿也称长生殿，两名相同，李隆基加上集灵台以为分别。
集灵台长生殿是道教的，没有太多的戒忌，杨玉环常常在祀神的新宫殿中游乐，她对父亲的病无所知，对哥哥升官很高兴，她曾代表哥哥向皇帝致谢。
这回在骊山，由于杨玉环贪玩不肯回长安，住了三十八天之久。
朝臣中有人记录下这一次皇帝避寒骊山，有“上乐而忘返”之语，这自然是因于杨玉环才乐而忘返的。杨玉环曾经顾全一个皇帝的现实，但她又时常会任性。这回，她任性了。有人向皇帝进言，不宜在骊山宫留得太久。杨玉环也知道了，她很不高兴，向告知这一件事的皇帝说：
“三郎，有时，你大可不予理会，在骊山，你也一样治事的啊！一个人做了皇帝，一年忙到头，玩一个多月也不可以吗？何况这又不是完全玩，对不？”
皇帝望着她期期地笑，说出：“很是，很是！”
“那些人要多事，由他们去，我们一过了年，再去骊山，看他们怎样！”她发着稚气的牢骚。
皇帝又笑着说：“很是，很是！”而这一回，杨玉环发现了皇帝的“很是，很是”，只是敷衍自己，于是，她嗔了，哼了一声，命人去找时日卷来。
“找时日卷来做什么？”皇帝笑问。
“选日子。过了年，哪一天是好日子，我们再上山去！”她说着，皇帝正要接口，她抢着说：“很是，很是！”
于是，皇帝大笑，捏住了她的双手，再说：
“不必急，现在离过年还有半个月哩！”
“我要先行选定日子，不行吗？”她还是有些气恼。
//
…
《杨贵妃》第四卷（10）
…
大唐皇帝接受了——杨玉环自己选定了年初六，辛丑日，那是利于行的好日子。她请皇帝预定年初六上午发驾赴骊山，皇帝也答应了下来。
这是她偶然使一次性，皇帝以为很有趣。
进入用天宝年号的第三年，皇帝把年字改为载——称为天宝三载。
年初六，他们又上骊山去了。
对杨玉环来说，这个新年是很有趣的，他们上山的日子，好太阳，天气不大冷，但到骊山的第三天，气候变了，大雪，一夜间，山谷间除了温泉区之外，铺满了白雪，她在积雪上和谢阿蛮同舞。
谢阿蛮的技艺的确很高，她的脚浮陷雪中，但仍能使身体平衡，每次一个脚印，在雪地上留下的痕迹很匀称。至于杨玉环，却无法做到，她好胜，努力学样，终于，她滚跌在雪中，而看她们做雪上舞的皇帝，因杨玉环的滚跌而大乐。
随后，皇帝也冒寒出动，和杨玉环等人堆雪人，他们发动以百计的宫女和内侍堆雪人。
宫廷在欢乐中度新年，朝廷却在人事倾轧中。
先是，在去年底，皇帝准许道士吴筠还山，有一笔相当丰厚的赏赐，正月初，他走了。随驾在骊山的李白，情绪为之低落。接着，秘书监贺知章受到暗暗的压力，自觉再做下去不会讨好，在皇帝批准吴筠还山之后，他由长安城上山，想乞求退休。以他的年龄而乞退休，也很合理的。
皇帝和杨玉环在集灵台长生殿，贺知章是老于官场人事和深知皇帝的性情的，在集灵台内，他灵机一动，把原来请求致仕的方式改变——那是从杨玉环的衣饰而引起的。这一天，杨玉环为了好玩，又着上她平时最厌恶的女道服，自称集灵台主。
贺知章就在谈笑间请求皇帝的恩典，度自己为道士。皇命度一个人为道士，由皇家供奉，待遇很优厚，退休，虽然仍然可得一半俸禄，却比做道士差得太远了。为了现实，他有需要，再者，他又认为，自己请求度为道士，比请求致仕来得好，皇帝必不会起疑。
“贺卿，你这年纪，真还想做道士？”皇帝轻松地问。
“陛下，女道士宜年轻，男道士，似乎是年纪老一些的好——”他说着，转向杨玉环一揖，“还请妃子勿介意！”
贺知章的话说得很风趣，皇帝点点头，连连说好。
皇帝以贺知章为老臣，历事三代四帝，给予特恩，许以贺知章的住宅为千秋观，并命举行送行典礼。
当晚，贺知章把自己请求度为道士获准的事告知了李白——这使李白为之错愕不已。
隔了两天，欢乐中的皇帝接到了杨玄璬病中的上表。这是一封特殊的陈情，除了久病乞休之外，并且缕述杨氏家族四世族系，声言本族以长房作为代表，四世以来，俱皆依长房之制承袭财产等等。在这一段之后，杨玄璬才说明叙述世系之原因，以椒房之亲，宜正谱牒。
这表文很突然，李隆基错愕着。倘若是旁人所上，或者会有讽刺皇家的意思，李隆基本身并非长房，但皇帝明白杨玄璬不会作这种无聊的讽刺。再者，他对年纪并不大的杨玄璬的病，也有所疑，因为杨玄璬因病辞官，已不止一次。
他没有将这事告知杨玉环，也不曾处理事件，他命内常侍偕两名御医同往探疾。
这是恩命，一般大臣也不易得的。
杨玄璬这回的病是真实的，御医回奏了之后，皇帝终于告知玉环。她不便说自己的家事，请求皇帝于回城后，让自己和哥哥见一次，皇帝自然答允了。
不久，大唐皇帝的老臣，以正三品太子宾客衔，官从三品秘书监的贺知章，一获皇帝准许，就上表告以回乡的日期，于是，皇帝颁下特诏，命太子率六卿庶尹大夫人饯行。
这是大唐皇帝历史性的盛典，皇帝本人，先作了一首诗，又附了序文，如下：
“天宝三载，太子宾客贺知章鉴知止足之分，抗归老之疏，解组辞荣，志期入道，朕以其年在迟暮，用循挂冠之事，俾遂赤松之游。正月△日，将归会稽，遂饯东路。乃命六卿、庶尹、大丈、供帐青门，宠行迈也。岂惟崇德尚齿，亦励劝人，无令二疏，独光汉册，乃赋诗赠行：
遗荣期入道，辞老竟抽簪，岂不惜贤达，其如高尚心；寰中得秘要，方外散幽襟，独有青门饯，群僚帐别深。”
（注：全唐诗及纪，唐玄宗此诗序中谓“天宝三年正月五日”，有误，天宝三年，年初一改年为载，玄宗皇帝自己不会再用年字。又正月五日应亦有误。是年正月初六日驾幸骊山，至二月初五庚午始还都城。而饯送贺知章实分作两次，宋蜀本诗序未系日期，依之。）
接着，皇帝于宫内赐宴，饯别，并命预宴的人都作诗赠别，名满天下的大诗人李白，在情绪低落中，草率地写出一首“送贺监归四明应制”的诗。
接着，贺知章离开长安，由太子李亨主持，有一个盛大的送行宴会。八十五岁的贺知章，自女皇帝证圣元年中进士入仕，在官场中经历了五十九年，终于离开了大唐的皇都而回到江南的会稽故乡去。
他身体依然健康，近年，由于李林甫的当权，连贺知章也受到无形的排挤，他离开，是有着依依不舍的。而在近十年间，他的作风也有改变，在生活上狂恣，不再在政治上求进取了。实际上，他并不是文学上的才人而是政治家。早在开元十三年时，他就同时就任礼部侍郎和集贤学士，当时人认为无比的荣宠，宰相源干曜当时有意引他入相的，但首席宰相中书令张说，虽然是提擢贺知章的人，又不愿这位有锋芒的才人入相，只称赞他的文才。提高贺知章在文华上的地位，列为清高人物，另引李元纮为相。从此，贺知章转了几次官，都在清高部门，有一次转为工部侍郎，算是失职而降级，随后又很快起来，以太子宾客的荣衔而官秘书监。他自知拜相无望，年纪又大了，在人们排挤中，趋向狂放，即使这样，在八十五岁的高龄，还是自请做道士而离开。
//
…
《杨贵妃》第四卷（11）
…
李白赶到饯行宴，在惆怅中狂饮而送酒中八仙中列首席的朋友，然后，他唱出了下面二十八个字：“镜湖流水漾清波，狂客归舟逸兴多，山阴道士如相见，应写黄庭换白鹅。”
别了，一个集团的首领离开了长安城。
贺知章在秘书监任而兼内职，总是控制皇帝部分机要事务的，他利用自己的地位，也引进四方的才人，使入翰林或其他机构，在朝臣中，他是一派的领袖，显贵如李适之，名望极大的李邕，还有不少有名的文士，和贺知章合在一起，这对李林甫行事是有牵制性的。如今，贺知章这位领袖一走，他的集团等于散了，贵为左相的李适之，没有领导一群人的才能。
这些事，在长安虽然成了议论的中心，但是，宫中的杨玉环却全不着意，当贺知章退休而归去时，她在内宫和做秘书少监的哥哥相见了。
她直率地向哥哥说明了自己在宫中的地位，她表示：皇帝会在适当的时间立自己为贵妃，同时，也会对自己的家人有封赠，她要求兄长向父亲说明，求取谅解。
杨鉴处身在夹缝中，他很痛苦，但他又不能不将父亲的意思说明，他告知妹妹，父亲呈明家世，以长房为主，就是为了避免本身受封爵，如果皇帝有封赐，父亲必然会不惜一死而辞，同时，他又表明父亲辞官的决心。
她又为此而愁，喃喃地说：
“大人只是小小的国子司业，和你的地位相等，而且还不及你的官位重要，为什么要这样呢？”
“玉环，大人原也不许我出任秘书少监的——”杨鉴痛苦地说，“他已谢绝了好几次封官……”
她缄默了，稍后，喟叹着说：
“大人原来是热中做大官的，我知道，这只是为了我的缘故。我本可以回家探父，皇上一定会答允我的，但我不敢，哥，那怎么办呢？让父亲辞官，又不好——”
“大人有病，那是事实，但据我想，你如为贵妃，爵封给予已故的大伯父，大人可能不会感受太大的刺激！”
“哥，这是不可能的，我如果为贵妃，封赐，第一是予生父，已故的大伯会有追赠，二伯父也会有一个爵衔的，封赐不及生父，依照体制是不合的！”
“玉环，大人目前的官职，再拖延下去大约无妨，他不去上班，也不会有人说话。可是，如封赐及于大人，那真会出些事，大人的性情你总知道的，他是儒家！”
她无法可想了。杨鉴和妹妹默默相对了一些时，告诉她：从妹花花丧夫，有儿子，又承受了夫家的大财产，此外，杨鉴又说到再从兄杨钊，在巴蜀做官，渐渐有了声名。他说出：花花曾以资力济助杨钊。
她为花花的丧夫而叹息，对于隔一族的堂兄杨钊的事，她完全不关心，因为，她本家的事就够烦了。
李隆基原想在天宝三载的春日册立杨玉环的，当杨玉环把父亲的反应坦率地告知皇帝时，皇帝被迫只能将这一事暂缓下来，皇帝为此而心情不好，于是，有一连串的事故发生了。左补阙兼东宫侍读薛令之，多年未有升迁，在壁上题了一首诗表示心情，皇帝到东宫巡视�