这件事被陈皇后察觉到了，她非常气愤，立即去见武帝，并且和他争论起来。但这次武帝却不肯让步了，他反而指责陈皇后没有儿子，所以自己不能不另幸卫氏。陈皇后哑口无言，生气地离开了。
回去以后，陈皇后一面出重金求医，希望自己也能生个儿子，可是尽管吃了无数药，却始终没有成效。而就在陈皇后怀孕的希望一次次落空的同时，卫子夫却在不停地为刘彻生孩子，前后生下了三个女儿：卫长公主、阳石公主、诸邑公主。她虽然一直生女儿，武帝对她仍然偏疼偏宠，大有不让她生出儿子誓不罢休的势头。
这样的情形使陈皇后日益气闷，她脑子里整天想的都是如何除去卫子夫，可是偏偏卫子夫甚得武帝专宠，几乎每时每刻都与武帝在一起，所以陈皇后根本没有下手的机会。于是穷极无聊的她就召入一个女巫，要她设法祈禳，以挽回武帝的心意。可是，好几个月过去了，仍不见应验。更为严重的是女巫不但为陈皇后举行巫祭之礼，还把自己打扮成男子模样与陈娇同吃共寝。陷于绝望的陈娇对她言听计从，将她看成了自己各方面的抚慰和依靠。
后来，武帝听说了这件事，怒不可遏，当下彻底查究，立刻将女巫拿下斩首，而受这件事辗转牵连的小巫、以及皇后宫中知情不知情的宦官宫女三百余人，一起被当街斩首。陈后则被废徙于长门宫。
陈后自从入居长门宫中，终日以泪洗面，无奈中重金求得大文士司马相如为她写了一篇《长门赋》，表达了自己深居长门的闺怨，她命宫人天天传诵，希望为武帝所听到而回心转意。但“长门赋”虽是千古佳文，却终挽不转武帝的旧情。
陈皇后被废两年后，卫子夫终于为刘彻生下了长子刘据。高兴不已的刘彻遂于公元前128册立卫子夫为嫡妻。空缺两年的大汉皇后宝座有了新主人。而陈皇后则在寥落悲郁中，很快魂归黄泉。卫子夫取代了陈阿娇，而武帝在此之前还把她的兄长卫长君、弟弟卫青召入宫中重用。
然而对于喜新厌旧的武帝来说，他拥有美女如云的后宫，对任何一个人的专宠都是暂时的，随着时间的推移，他身边总有新的美女取代昔日宠极一时的佳人。所以，卫子夫虽然终于贵为皇后，但她也有年老色衰的时候，所以她不久也步陈皇后的后尘受到冷落，最后在宫廷斗争中被汉武帝削去皇后之称，悬梁自尽了。
对武帝来说，也许用情最深的应该是李夫人。李夫人名叫李妍，有沉鱼落雁之美，而且精通音律，擅长歌舞，只是不幸沦落风尘，石榴裙下拜倒了大批王孙公子。李夫人的哥哥李延年能作曲，能填词也能编舞，当时是汉宫内廷音律侍奉，担当替汉武帝消愁解闷的优伶角色。
汉武帝，一方面热衷于富国强兵，开疆辟土；一方面也醉心于丝竹管弦，声色犬马。有一天汉武帝罢朝回到内宫，李延年率领一班乐师和舞姬，为皇上唱李延年创作的新歌：
北方有佳人，绝世而独立；一顾倾人城，再顾倾人国；宁不知倾城与倾国，使人难再得。
汉武帝听了以后，忙问李延年说：“果真有如此美貌的佳人吗？”李延年于是奏称：“舍妹及笄年华，国色天香，倒确有倾城倾国之貌！”汉武帝眼睛一亮，十分好奇地说：“召她立即入宫来见。”
妓女出身的李妍，在风韵、举止方面，与那些来自闺秀的后宫妃嫔比，来的更加自然，奔放，热烈，给汉武帝一种全新的感觉，旋即纳其为妃，号为李夫人。
汉武帝自得李夫人以后，爱若至宝，一年以后李夫人生下一子，被封为昌邑王，李夫人原就身体羸弱，更因为产后失调，从此，萎顿病榻，日渐憔悴。
色衰就意味着失宠，然而李妍却心机活泼，自始至终给汉武帝一个美好的印象。武帝亲自去看她，李夫人却用被蒙住头：“妾长久卧病，容貌已毁，不能见陛下，惟愿陛下多多关照昌邑王和我的哥哥、弟弟。”汉武帝坚持想看一看，甚至不惜以赏赐黄金及封赠她的兄弟官爵作为交换条件，但她仍执意不肯，只是独自啜泣。武帝只好走了。
汉武帝离开后，李夫人的姐妹们都埋怨她。李夫人叹气说：“我本出身微贱，皇帝眷恋我，只因平时容貌而已。现在他如果看见我没有平时漂亮，必然心生嫌恶，惟恐弃之不及，怎么会在我死去后照顾我的儿子和兄弟？”
几天后李夫人去世。
李夫人拒见武帝，非但没有激怒他，反而激起他无限的痛苦，他将李夫人用皇后礼安葬，命画师将她生前的形象画下来挂在甘泉宫，思念之情日夕递增，对她的儿子钟爱有加，对她的哥哥和弟弟也都极力提拔重用。
有一天武帝去了昆明池，昆明池东西各立一个石人：一是牵牛，一是织女，做成天河的样子。时值秋日，武帝坐在小船中，见夕照西斜，景色凄凉，不禁触事怀人，想到李夫人生前的种种好处，于是自做新词一首，名《落叶哀蝉曲》。
武帝出来游昆明池，本为散闷解颐，谁知反添了许多新愁，于是回到延凉室中休息。他觉得很疲倦，睡眼之间，忽见一人袅袅走进。原来竟是李夫人，她手携一物，赠与武帝，并说：“这是蘅芜香。”武帝忽然惊觉，回忆刚才的梦境，历历如在眼前。又闻到一阵香气，芬芳经久不息。他记起李夫人梦中所赠的香，到处摸索却找不到。但是枕席衣襟，却不知怎么沾染了香气，因此改延凉室名为“遗芳梦室”。
武帝怀思转切，召来一个方士，让他在宫中设坛招魂，好能与李夫人再见一面。于是在晚上点灯烛，请武帝在帐帷里观望，摇晃烛影中，隐约的身影翩然而至，却又徐徐远去。武帝痴痴的看着那个仿如李夫人的身影，凄然写下：“是邪？非邪？立而望之，偏何姗姗来迟。”原来深海里有潜英之石，颜色发青，且轻如毛羽，天气寒冷石头却是温的，当暑热时反而变冷。把这种石头刻成人像，可以说话，方士将石像置于纱帐里，宛若李夫人生时。但因石头有剧毒，不可接近，只可以在远处观望。
汉武帝直到年近六十时，还迷恋上了十七岁的赵钩弋，以满足其难填的欲壑。
赵钩弋是河间人。相传汉武帝北巡河间，看见空中有青紫色的雾气，他询问术士，术士说这地方必定有奇女子。于是武帝派人挨家查访，果然有一个赵家少女，长得艳丽绝伦。但有一件怪事，她从出生时两手就拳曲不开。有人告知武帝，武帝亲自去验看，果然如此，于是命从人试图解开赵钩弋紧握的双手，却没有一个人可以扳开。待武帝亲自去解，赵钩弋那紧握着的两只手却慢慢展开，手中握着一个碧绿的玉钩。武帝大为惊异，于是将赵钩弋载入后车，带回宫中。当即特地建了一间宫室，让她居住，号为钩弋宫。封赵钩弋为夫人，称作钩弋夫人。
一年后，钩弋夫人怀孕，但十四个月后才生下一个男婴，汉武帝对此很高兴，因为传说古圣人尧，就是在娘胎十四个月才生出来的。武帝盛爱之下，决定立为太子，又担心这个小太子将来管不了他年轻聪明的母亲，就找借口指责钩弋，钩弋委屈而莫能申辩，叩头谢罪，但武帝主意已定，下令处死。
惟才是举，知人善任
汉武帝在位的54年，是中国历史上少有的一个人才盛世，群星灿烂，各尽其能。他们辅佐雄才大略的汉武帝，造就了不朽的历史功业。
为了加强中央集权，武帝在执政期间，曾先后八次下诏征选贤能良才。中间虽曾一度出现人才济济的局面，这和他兴办官学、广开仕途、注重奖惩、因材授职的人才政策是分不开的。
汉武帝即位后对汉初的用人政策作了大刀阔斧地调整，汉初用人看重资历，担任一定的官职还要有相应的财产标准，凡是两千石以上的高级官吏，都可以保举自己的子弟做官。这种近亲繁殖的制度，造成了人才的退化，压制优秀人才的崛起。汉武帝在继续推行汉初的察举制的同时，扩大了察举的范围。在汉朝初期只有贤良和孝廉两科，武帝增加了儒学、明法以及德行、学术等科。他下了一道“兴廉举孝”的诏书，宣布不讲出身门第，“惟才是举”，并把它制度化，哪级官吏“不举孝、不察廉”就免职罢官。同时允许官吏和百姓上书评议政事。武帝通过这种方式最大限度地选拔出了有德有才的人。
汉武帝未曾在战场里实际指挥作战，但是他知人善用。卫青是卫子夫的弟弟，霍去病又是卫青的侄子，都以外戚创立不世军功。霍光与霍去病为异母兄弟，兹后更成为汉朝宫廷里的中枢人物。
一次，汉武帝到郎署见到一位白发苍苍的老翁，这个老翁步履蹒跚，衣衫不整。武帝感到很奇怪，因为一般郎官都是二十来岁的年轻人，而这个人都这么大年纪了为什么还当郎官呢？于是汉武帝就问他：“你从什么时候开始做郎官？为什么这么大年纪了还做郎官呢？”
老翁回答说：“臣叫彦驷，是江都人也，从文帝时开始做郎官。”汉武帝又问：“为什么这么长时间一直没有得到提拔？”
彦驷回答说：“文帝喜好文而我喜好武；景帝喜欢年纪大的成熟稳重者，可是我那时很年轻；陛下您喜欢年轻有为者而我却已经老态龙钟了。因此三世没有得到帝王的恩遇，一直老于郎署。”听颜驷这么一说，武帝深为震惊，这么一位三朝为官的老者，就是因为碰不上皇帝所好，总也得不到提拔重用，干了大半辈子还是个郎官，这不是颜驷的过错，而是用人上的疏误。于是武帝考察了颜驷的才识，即任命他为会嵇都尉，也就是会稽郡的军事首领。
汉武帝时代人才辈出，使汉王朝达到了鼎盛，这与汉武帝惟才是举的用人思想分不开。
残忍多疑
武帝是雄才大略的帝王，由于他的富于进取和野心，中国得以拓土开疆。但是他有令人望而生畏的特征：多疑残忍。他一巡视各地区，当地太守或因供应不周，或因境内配置不如法，纷纷避罪自杀。到他在位后期，朝中为恐怖政治笼罩。文臣武将动辄得罪下狱，亲信的大臣如丞相及御史大夫因小事互相倾轧，失败的只能以身死解脱。
汉武帝时期，前后共任免了13个丞相，其中被罢黜者二人，病死任上者四人，而被杀的竟有六人！这使当时人们视丞相这一职位为畏途，认为谁任丞相，谁便离死不远了。
为强化皇权，严惩不法的宗室、外戚、豪强富商和游侠，武帝比其父辈更加重用酷吏。当时著名的酷吏有张汤、赵禹、周阳由、王温舒、杜周等，不胜枚举。王温舒杀河内豪强，流血十余里，株连千余家。杜周为廷尉，专伺人主旨意为狱，以诏令捕系者多至六七万人……酷吏嗜杀成性，妄杀无辜，虽维护了皇权，也激化了社会矛盾。
对于在抗击匈奴中立下汗马功劳的卫青，开始时，汉武帝的确给予重赏和重权，但是后来汉武帝渐渐开始对卫青军权过大产生疑虑，而这时恰好霍去病开始崭露头角，于是汉武帝毫不犹豫地开始重用霍去病，霍去病年轻，性格豪迈有气魄，敢作敢为，从不泄露别人说的话，汉武帝对他非常喜爱，甚至达到了纵容的程度。他要借提高霍去病的地位来遏制卫青的气势。尽管卫青性情和善，谦恭退让，对武帝所做的任何决定都毕恭毕敬地接受，即使他对汉武帝重用霍去病的目的一目了然，也毫无怨言，但是，霍去病英年早世后，武帝仍然不愿再起用有军事天才更有出兵必胜运气的卫青，以至于在霍去病死后很长一段时间里，汉朝都没有再次对匈奴用兵。
霍去病死后的元鼎元年，卫青的儿子宜春侯因犯法被夺去封爵。元鼎五年九月，疑心病越来越重的汉武帝又找借口，一口气废去一百多名列侯的封爵，其中又包括卫青的另两个儿子阴安侯和发干侯，四年后，卫青去世了。
可以说汉武帝到了晚年已经残忍、多疑到了极点，如果他觉得自己的王权受到了威胁的时候，他是六亲不认，杀人如麻。
汉武帝因为好色，再加上年老，所以在他将近七十岁时疾病缠身，耳目不灵，常产生幻觉。一天中午他在宫中睡觉，梦见有无数木头人拿着棍子打他，他顿时吓出一身冷汗。醒来之后还感到心惊肉跳，魂不守舍。后来他对奸臣江充谈到了这个梦，江充一口咬定是巫蛊作祟。武帝便令江充随时查办。
当时江充担任绣衣使者之职，主要是负责都城的治安，当时因江充执法严明，深受武帝宠信。汉法规定：无军情重事，任何人不得在驰道上奔驰。一次太子刘据的侍仆犯了禁，江充就毫不客气地捉住了太子的侍仆，没收了车马。太子闻讯，忙派人前来谢罪说：我并非舍不得车马，实在是怕父皇责怪我训导无方啊，万望江君见谅。江充不但不听，还奏闻了武帝，又一次得到了武帝的夸赞。
江充由此与太子刘据结怨，他生怕太子有朝一日继承皇位后，对自己进行报复，所以他处心积虑要颠覆刘据的地位，现在机会终于来了，他决心借此次“巫蛊”事件，除掉刘据。他挨家挨户地掘地找蛊，只要看见木偶，便不论出身贵贱，一律办罪。其实他从地中掘出的木偶，全是他暗中预先派人埋下的，以致于当时因此被陷害受戮的官员、百姓多达数万人。
接下来江充继续努力，将案情进一步扩大，一直查到皇后卫子夫和太子刘据的头上。他将他们所居住的宫室挖得如同菜地，使得做了三十八年皇后的卫子夫和拥有理政之权的太子连放一张坐榻的平地都没有。尽管卫子夫和刘据难以忍受江充肆无忌惮的羞辱，但他们还是坚信清者自清，事情总有大白于天下之日。可是等到江充居然“挖”出“证据”的时候，他们才明白了的江充的险恶用心。于是刘据要求面见父亲申辩。然而这个再正常不过的请求却被江充一口回绝。面对这样的情形，卫子夫让刘据向一些大臣求救，于是有人对刘据说江充明摆着就是想要除掉你们母子，事已至此，只能逮捕江充一行，追查真相，免得他们去向皇帝胡言乱语，否则不堪设想。
于是皇后卫子夫与太子刘据在愤怒和恐惧中，听从了他人的建议，派人假冒武帝的使者斩杀了江充。但是在混乱中却没能将江充的同党一网擒拿，使得江成的搭档——宦官苏文逃之夭夭，苏文逃跑后立刻去向远在淳化甘泉宫的武帝诬告皇后和太子谋反。
武帝不相信一向胆小懦弱的刘据居然敢谋反，就派了一个人赶往长安打听底细，结果这个人胆小如鼠，连长安城门都不敢进去，却回来谎奏道：太子真的造反了，要杀臣，臣只得逃回来了。武帝这才勃然大怒，立即派军去跟儿子决一死战。卫子夫和刘据到此时已是骑虎难下，只能跟武帝动起刀兵。但是他们哪里是武帝的对手，八天后，长安城内死者数万人，刘据大败，只好踏上了逃亡之路。获胜的武帝一面派人追捕儿子，一面派人前往未央宫，向卫子夫宣布诏令，收缴她的皇后玺绶，等待制裁。卫子夫深深了解丈夫的无情，她拒绝再受任何羞辱，愤然自杀身亡。
卫子夫死后不久，亡命河南的刘据迫于父亲派来的追兵的围捕，自缢而死。在卫子夫和刘据死后，卫氏家族尽数被灭，刘据的幕僚与眷属也被杀光，只有一个数月大的婴儿刘询幸免于难，而与卫氏沾亲带故有交情的侯爵、将领，也都被