刘备此时已经沦为吕布的附庸。吕布指望让刘备作自己的部下，共同对抗袁术，但是吕布麾下的将领都认为刘备靠不住，应该找个岔子处死了事。吕布却不合时宜地发了善心，被刘备表面的温良恭敬所迷惑，非但没有处死刘备，反而将将领们的意思透露给了刘备。然后还接受刘备的请托，将他和家眷、旧部都隆重安排在小沛屯扎。刘备躲开了吕布和吕氏部将的眼目，在老据点小沛重整旗鼓。不久，他又重新拥有了上万人马。
建安三年（198）春天，吕布派人带重金打算前往河内买良马。结果没想到在半路上连金银带良马一起被刘备的兵给截了。吕布大怒，派中郎将高顺、北地太守张辽等人大举进攻。刘备力不能胜，于同年九月大败。眼看败局已定，刘备不假思索又再一次单身逃遁，这一次被他甩下的家眷是两个：甘夫人和糜夫人。刘备投奔曹操，得到曹操的厚遇，被任命为豫州牧，还给他军粮物资去小沛收拾旧部散卒、并派夏侯惇相助反攻吕布。结果仍然不敌，刘备仍然大败。甘夫人和糜夫人仍然被高顺活捉，第二次落到吕布手里。（这次弟媳妇甘夫人跟老哥吕布可成老熟人了。）
曹操大怒之下，亲自东征，这一次马到成功，在下邳（江苏睢宁），吕布因为未用谋士陈宫的计策，而被生擒活捉。当军士将吕布用绳缚到曹操面前的时候，刘备正好也在场。曹操早闻“人中吕布，马中赤兔”，很想把吕布收归麾下，便命令解开捆缚吕布的绳索。谁知道刘备却立刻在旁边插话，说：“不可！明公不见吕布事丁建阳、董太师乎！”（当年吕布先后归降丁原、董卓，又先后杀了他们）吕布万万没有想到，刘备竟然在这个节骨眼上恩将仇报，全不记当初辕门射戟的情份，大呼道：“大耳儿叵言！”但是曹操还是照刘备所说，把吕布和陈宫一起杀了。
实际上，刘备投奔曹操之时，程昱曾经劝说过曹操：“刘备有英雄之才，又很得人心，不可能甘做您的部属，与其等他日后与您为敌，不如赶紧杀了他了事。”——这番劝诫，与当初吕布部属劝说吕布之辞相仿。但是曹操也象吕布那样，没有采用。——其实就刘备屡屡战败、到处投奔，然后又时时反叛的行径来看，他自己的做部属之道，也并不比吕布高明多少。但是他竟然一直没有被杀掉，反而屡叛屡升发，不能不说，真是天意。吕布既然死了，甘夫人和糜夫人自然也逃出生天，又回到了刘备的身边。虽然丈夫没有同甘共苦的情谊，她们妻妾之间的感情却更加深厚。这为第三次遭劫打下了的基础。曹操对刘备很重视，封他为豫州牧、左将军，礼遇之至，出则同车，坐则同席。
此时，汉献帝刘协正和曹操在一起，他虽然无才无德，但是仍然奢望要做掌控天下、手握实权的皇帝，不甘于做曹操的傀儡，于是，他让自己的小丈人董承招徕人马。（汉献帝的正牌丈人，应该是伏寿皇后的老爹，董承只是汉献帝小老婆董贵人的爹而已）在董承看中的人马中，便包括刘备在内。我们应该记得，刘备常常自称是“中山靖王刘胜之后”，但是那已是西汉初年间的老帐，谁又知道是真是假？不过时势造英雄，如今汉献帝已是今时不同往日，急等人用的时候，只要沾个“刘”字，就统统认帐。于是迂尊降贵，一个愿打一个愿挨，葫芦提也就认了。刘备就此成了“刘皇叔”。
不过，这个皇叔不是这么好当的，没多久，董承便把汉献帝刘协的“密诏”传达到了刘备那里，要他和西凉太守马腾一起“勤王”，杀掉曹操，让汉献帝重振雄风。同时被收徕的“义士”，还有长水校尉种辑、将军吴子兰、王子服等人。然而刘备并不是真心想趟这混水，尤其当他尚在犹豫之时，曹操一句“今天下英雄，唯使君与操耳。本初之徒，不足数也。”更是把他手里的筷子都吓掉了。幸好当时正逢雷响，勉强吱唔了过去。不久（二○○年），衣带诏之事泄露，董承等人都被曹操杀了个干净，只有刘备，提前逃离了许州这个是非之地，回到了自己的老窝，保得了平安。
但是刘备与曹操的反目，至此已成定局。建安五年，曹操亲率大军东征。刘备本以为曹操不可能这么快就来找自己的麻烦，所以当兵士飞骑报讯的时候，他仍然不肯相信，亲自带了几十名骑兵出来看风头。一看之下，曹军大兵压境，旌旗猎猎，刀光闪闪。刘备顿时大惊失色，来了个“留得青山在，不怕没柴烧”，信也不报，头也不回，就径自逃之夭夭了。
这一仗，不用说也是曹操大胜，刘备大败。一场混乱之后，曹操把刘备的军队整体收编，关羽也被活捉，甘夫人和糜夫人更是不用提起，再一次被老公双双甩下，姐妹俩一起又成了俘虏。然而刘备与众不同的地方就在于：他虽然屡战屡败、狼狈万般，世上的人却仍然把他当英雄人物看待。他虽然逃跑，却仍然在曹操的死敌：袁绍袁谭父子那里得到了隆重的接待、倾心的结纳。
刘备有了安身之地的消息，很快就传到了陷于曹军中的关羽耳朵里。于是他带着甘夫人糜夫人一起逃离了曹军，回到了刘备身边。这时正是官渡之战的时候，袁绍虽有十二万人马，却仍然被曹操的四万兵力击溃。刘备看形势不好，又暗地里打算离开袁绍，派人去荆州与刘表联络感情。曹操取得官渡之战的胜利之后，便打算乘胜追击，捉拿刘备。却不提防刘备早有后手，已然溜到刘表那儿去了。
常言说，一笔写不出两个刘字。刘表对于堂堂刘“皇叔”的投奔，表示了非常热烈的欢迎，亲自出城相迎，还分给他兵马，让他屯驻新野。——就在这里，甘夫人生下了她唯一的孩子阿斗：未来的蜀后主刘禅。（刘禅生于公元207年，就在这一年，刘备与关羽、张飞“三顾茅庐”，请得了诸葛亮出山。）
刘备在荆州过了一段相对安宁的日子。然而他不是重耳，不会对“老婆孩子热炕头”的日子知足。他对自己不操兵弄马，大腿长肉的情形涕泪交加。于是他又重新开始招兵买马、收徕人心。很快，荆州的豪杰便有相当数量投靠到了他的周围。这使得刘表对刘备的用心产生了疑虑，百般提防起来。
建安十二年（208），曹操北征乌丸，刘备劝刘表趁机突袭许州，刘表既已对他起了疑心，自然不会采用他的计策，失去了一个大好机会。北征归来后，曹操再次南下，攻打刘表。就在这个时候，刘表病逝，将荆州刺史的位置传给儿子刘琮。刘琮不敢跟曹操作战，想要投降。刘备得知消息，大惊失色，知道自己若是落入曹操手里，可再没有上次那么好的结果了。于是跟刘琮翻脸，刘琮本是个没有本事的公子哥儿，被吓得站不起来，于是刘琮的部属和荆州百姓都归了刘备。当然刘备不会白拿刘琮的人财物，他专程去向刘表的坟墓辞行，眼泪鼻涕一番，表示自己乃是不得已而为之。接下来的事大家都知道了。刘备再一次发挥了他“妻子如衣服”的宗旨，把甘夫人、糜夫人连同婴儿刘禅，一起抛下，让张飞、赵云断后，自己先跑了。曹操派精兵五千追赶，一日一夜追了三百多里，来到了当阳长坂，追上了张飞的殿后军。在乱军之中，甘夫人和糜夫人被冲散，赵云冲出重围后才发现两位夫人没有跟来，便又杀回去，好不容易才把甘夫人带了出来。等到张飞和赵云会合，才发现甘夫人手里并没有抱着阿斗。一问才知道，阿斗抱在糜夫人怀里。没有办法，赵云又冲回乱军阵里，找到了糜夫人。
等到赵云看见糜夫人的时候，她已经受了重伤，没有办法行走，但是怀里仍然紧紧地抱着阿斗。为了不给赵云增加负担，糜夫人将阿斗交给赵云之后，便跳入水井自尽了。赵云只得带着阿斗和甘夫人回去见刘备。甘夫人虽然得以逃生、并且重新见到亲生儿子和丈夫，但是她产后体弱，又遇到这一场生离死别的灾难，终于坚持不住了，从此一病不起，几个月后（209年）便撒手尘寰，与好姐妹糜夫人重会去了。
甘夫人生于公元188年，去世的时候年仅二十二岁。糜夫人的年龄无可考，但是可以推想也不过就是二十岁上下。这两个女人短暂的人生尽是在生死恐慌中苦捱，在丈夫的屡次抛弃中相依为命。
甘夫人落葬于南郡（湖北江陵县北）。十二年后，刘备在蜀称帝，改元章武。章武二年，刘备追谥甘夫人为“皇思夫人”，派人前去南郡为甘夫人迁葬。甘夫人的棺柩还未到达，刘备便已在章武三年四月病逝于白帝城，甘夫人所生的儿子刘禅继位为帝。于是又追封母亲为“昭烈皇后”。章武三年八月，刘备与甘皇后合葬惠陵。至此，相士在甘夫人儿时所说“位极宫掖”的预言总算实现了。只可惜，甘夫人活着的时候，从来没有过哪怕一天真正安宁的日子，更别提什么奢华享受了。而糜夫人，比她还更为不幸。
相比之下，刘备的妻子中，只有穆皇后吴氏一人拥有苦尽甘来的生活，而且也从来没有尝过被丈夫丢在绝路上的痛苦滋味。吴皇后的祖籍是陈留（今河南开封郊区，曹操当年起兵的地方）。生得颇为端庄美貌。她从小就父母双亡，与哥哥吴壹相依为命。由于她的父亲生前与刘焉很有交情，所以父母双亡的兄妹俩很得刘焉的照顾。
刘焉是个聪明人，早在汉灵帝时期，他就已经觉察到东汉政府气数将尽，知道关中将有大难，为自己也为子孙考虑，他想早点离开河南去远方做官。他原来的目标定在交趾（两广至越南），正在讨论之际，侍中董扶跑来提醒他：“交趾乃是化外烟瘴之地，你跑那儿去干啥？我倒是听说，益州是个好地方，而且所辖的分野地方还有天子之气。你去那里才有点搞头。”——刘焉一听：啥，天子之气？俺也算是刘家皇室宗亲啊！俺当然应该去那里，没准乱世过后，就该轮到我做天子了。
正好，就在这个时候，当时的益州刺史却俭正在益州搞得一塌糊涂，横征暴敛为非作歹，他治下的百姓和官吏富民都受不了他，纷纷向洛阳的东汉灵帝政府控诉。灵帝遂决定派个自家人去益州替换却俭，顺便调查调查他的罪状。派谁去呢？咦，那个刘焉不是放着好好的京官“太常”不想干，成天叨咕着想去做地方官嘛？那就他了。这桩差事就这样落在了刘焉身上。他被封为益州牧、阳城侯、监军使者，外派了。
刘焉想的是举家避难兼图谋大志，所以上任之时，不但是自己的家人，就连故旧亲朋，能够带走的都统统带出了洛阳城。这浩浩荡荡的人群里，就包括了吴壹一家老小，年幼的吴氏当然也在其中。刘焉满脑子想的都是“天子之气”，自然就对鬼神预言之说极度热衷。于是在进川之后，当地一个名叫张鲁的邪教头子就成了他招揽的重要人才。张鲁不但帮刘焉搞邪教和黑社会有一套，还有一个能通鬼域（女巫）的老娘，更重要的是该老娘并不老，非但不老，而且还很有几分姿色；非但很有几分姿色，还乐于时常和刘焉来来往往。于是刘焉便在心花怒放之下，让兼职干儿子张鲁当上了督义司马，帮自己暗中筹备与东汉政府决裂的事宜。——这些都不重要，重要的是我们因此推想，张鲁这位精通鬼神巫相之术的老娘很可能在吴氏的终身大事上起到了决定性（至少也是推波助澜）的作用。
据说，曾经有人看过吴氏的面相，认定她乃是大贵之人——这“大贵”不用说，也至少是甘夫人那“位极宫掖”一类水准。刘焉听了这话之后，立即十分动心，想要把吴氏娶进自己家的门。据说，刚开始他是想把吴氏纳做自己的小妾的，但是吴氏毕竟是从小管自己叫“叔叔”，如今竟要娶做妾，多少有点面子上下不来，于是退而求其次，将她聘做小儿子刘瑁的妻子。——不知道那看相之人，是否就是张鲁之母？又不知阻止刘焉纳妾意图的，又是不是多少有些醋意的张鲁之母呢？
然而，刘焉的如意算盘打得太响过了头，做出来的事也太急不可待，所以他图谋不轨的事情很快就泄露，汉献帝也起了疑心，便让刘焉的儿子奉车都尉刘璋去益州训诫他，刘焉眼看事情败露，又见蠢皇帝居然把自己的儿子送还了一个，便干脆将刘璋留在了身边。传讯给其它的儿子立即举事造反。
然而刘焉的好运已经走到了头。益州分野虽有天子之气，他刘焉却没有天子之命。他的长子左中郎将刘范与西凉太守马腾谋反失败，和二儿子治书御史刘诞一起被砍了脑袋。更糟糕的是，与此同时，益州天降大火（可能是雷灾），把整个刘焉府都烧成了白地，刘焉多年积聚的财物、以及那些逾越礼制的车马都被烧了个干净。刘焉只得离开益州府治，迁居成都。就在成都，刘焉得到了长子次子的死讯，看着两个儿子留下的一群年幼子女哭天喊地，老儿既痛且悲，旧病复发，呜呼哀哉了。益州没有了最高长官，州中的重要官员们都觉得刘焉的三儿子奉车都尉刘璋脾气好，遂以赵韪为首，向名存实亡的东汉政府上书，请立刘璋为益州刺史。
如果是在中央政府王权稳固的时代，是不可能让一个父兄刚刚谋了反遭“天诛”的年轻人又继任的——怎么，还想在老地方，重整父兄的旗枪不成！——然而，此时的东汉政府已是今时不同往日，果然就任命了刘璋继任益州牧之职。刘璋成了益州牧，那吴氏的丈夫刘瑁在干什么？——很不幸，他早就死了。吴氏的命相过于贵重，刘瑁命薄福浅，消受不起。就这样，年纪轻轻的吴氏，只因为一句“大贵”的预言，便成了东汉皇室宗亲的妻子，又因此而早早地守起了寡。
至于吴氏后来怎么又成为了刘备的妻子、并被立为皇后呢？这与刘备的另一位夫人有极大的关系。她就是吴主孙权的妹妹孙夫人。
在《三国演义》这部小说中，是这样描写的：刘备得了荆州赖帐不还，周瑜便与孙权设下“美人计”，想要以孙家小姐为诱饵，把刘备引到东吴囚禁起来，以便夺回荆州。万没想到事情被吴国太识破，她在甘露寺相中了刘备，于是刘皇叔便当真在东吴招亲，娶了孙权的同胞亲妹子。于是“周郎妙计安天下，赔了夫人又折兵。”其实这东吴招亲的故事，纯属罗贯中的个人发挥，把实际的历史改得不成模样。
建安十三年（208）的冬天，孙权和刘备组成联军，与曹操的军队在赤壁（湖北蒲圻）进行了著名的“赤壁战役”。这一场关键性的战役由数场战事组成，这其中也包括刘备亲自现场指挥的乌林、华容道之战。最后的大结局是：曹操扮演了自己当年的手下败将袁绍的角色，以二十万的兵力，输给了仅有五万人左右的孙刘联军。从此奠定下了“三国”的局面。
经历了赤壁战役，曹操对刘备的军事才能做了如下的评语：“刘备，吾俦也。”曹操都“吾俦”了，孙权更不必说，对刘备颇有些忌惮，尤其是刘备借赤壁之战的东风，又加上一向招徕人心的本领，很快就被诚心归服的官员百姓推举为荆州牧，孙权就更是认定刘备实际上就自己的强敌。然而此时孙权也知道自己的实力有限，还不能与刘备翻脸，而是要与刘备交好，巩固孙刘联盟，以便共同抵卸曹操。于是，就在赤壁大战一周年之际，将自己的妹妹送到荆州，与刘备结为夫妻，成就了又一段政治联姻。
孙刘联姻的时间，在建安十四年（公元209）冬天。而孙权的母亲�