南越动武。而到汉武帝时，形势已大不相同了。经过景帝的“削藩”和平吴楚七国之乱，同姓诸侯王的权势大不如前。汉武帝行“推恩令”，强令诸侯王分封自己的子弟，使封地越分越小；同时借口取消了不少高官贵族的封爵，使中央王权得到了巩固，皇帝有能力独揽朝政大权。整个国力达到了有汉以来最为鼎盛的时期，造成了国富民强和安定的政局。这样，徽定边患，开拓疆域，建立大一统的汉帝国成了汉武帝的当务之急。这个时候，雄心勃勃的汉武帝再也不满足干南越王国表面臣服，实质上仍是半独立的藩属关系了。政治上的稳定，经济上的繁荣，军事上的强大，使汉武帝感到用武力解决南越国问题的时机到来了。
早在唐蒙出使南越时，因食蜀产拘酱，无意中发现了从西蜀至夜郎，再从样柯江浮舟一而下，可至番禺城的通道。唐蒙发现这条通道后，曾上书汉武帝说：“南粤王黄屋左蠢，地东西万余里，名为外臣实一州主。今以长沙、豫章往，水道多绝，难行，窃闻夜郎所有精兵，可得十万，浮船样柯，出其不意，此制越一奇也。诚以汉之强，巴蜀之饶，通夜郎道，为置吏，甚易。”唐蒙的建议，是让汉武帝利用这条水道出奇兵制越，汉武帝听罢大喜，拜唐蒙为中郎将，带一千兵和许多汉帛丝绸财物等，赴夜郎国先行招抚。唐蒙带了大量锦缎，率一千人做护卫，出都南下，沿途经过许多险阻，才进人夜郎国。夜郎国王名叫多同，因为地处闭塞，素与外界不通，这多同还以为世上惟他夜郎最大，见到汉使唐蒙，不禁问道：“汉朝与我谁大？”唐蒙欲笑不得，只得如实俱述。后世相传的“夜郎自大”的故事便源于此。唐蒙一边讲述汉朝如何强盛，如何富饶，又把锦缎置于帐前，五光十色，锦绣成章，夜郎王见所未见，闻所未闻，不由得瞳目结舌，表示愿臣属于汉，当下与唐蒙订立约章。
夜郎国在赵佗执政时期曾接受赵佗赠给财物，与南越关系密切，有役属关系。唐蒙对夜郎王厚送财物，晓谕威德，恩威并施，终于说服夜郎归汉，其附近的小部落也相约归附汉朝。汉武帝不失时机地在夜郎设键为郡，为平定南越伏下了奇兵。
元狩年间（公元前122…公元前117年），汉武帝以南越将叛，欲与越军用船进行水战为由，在长安西南开凿昆明池，周围四十里，建造楼船，训练水军，作好与越军进行水战的准备。
除此之外，汉武帝连连颁诏，拓边关，广绝域，西至沫若水（沫河和若河，即今大渡河），南至拜柯江（一说即今北盘江，一说即今都江），凿灵山道（今广西南部），架桥孙水〔一说在今贵州瓮安西北），直达印都（西南州郡）。汉廷在这一带设立了一都尉，十县令，归蜀管辖。
就在汉武帝集中力量准备平定南越时，南越国本身也发生了变化。赵婴齐在长安时，曾娶邯郸缪氏为姬妾，生子赵兴，而他在南越时，已娶越女为妻，生子赵建德。婴齐接南越王位后，受缪氏姬妾的迷惑，竟然向汉廷请求立缪氏为王后，赵兴为太子。出于利益的考虑，汉武帝批准了他的请求。赵婴齐这种舍长立幼的做法，打破了封建常规制度，为南越国的灭亡种下了祸根。当时，南越承相吕嘉等人，曾在立嗣的问题上劝谏过赵婴齐，“蛊于婴齐择立太子之日，积极诚谏，以去就争，使改立建德，嘉为国重臣，争之不已”。遗憾的是，此时的婴齐已听不进这些臣僚的劝谏了，他这个荒唐的做法，成为导致南越国覆亡的导火线。
婴齐继位不久即病死，汉朝追封他为“明王”，太子赵兴即王位，母亲缪氏被封为王太后。这位太后长在长安，在未嫁婴齐之前，与一名叫安国少季的官吏有过暖昧关系，此事整个长安上层人物几乎人人知晓。元鼎四年（公元前113年），汉武帝专门派安国少季为使者，带上辩士谏大夫终军和勇士魏臣等到番禺，还派卫尉路博德将兵屯桂阳，以接应使者，给南越造成内外压力，劝谕南越王赵兴和缪太后到长安朝见天子。
这个时候，南越王赵兴继位不久，年纪尚轻，太后又是汉女入越，人生地疏，朝中的实权实际上掌握在垂相吕嘉手中，形势对赵兴母子十分不妙。更为不妙的是，自安国少季到达南越国后，尽管这位缪太后徐娘半老，却风情不减，淫心犹存，竟与旧日情人安国少季再次私通，直搅得宫内宫外乌烟瘴气，出现了“国人颇知之，多不附太后”的局而。缪太后深知自己不得南越国民心，恐国中发生动乱，于是心生邪念，力劝赵兴和南越国臣僚向汉武帝请求内属：“比内诸侯，三岁一朝，除边关”，主动放弃南越立国以来一直保持的相对独立的地位。太后的这一做法，无非是想借汉朝的力量来削弱吕嘉的大权，使势弱力孤的她和赵兴重掌实权，保住赵氏王室。
汉武帝接到南越王赵兴请求内属的上书，非常高兴，立即按汉朝之例，给越相吕嘉颁发银印，并赐给内史、中尉、太傅等南越高级官吏印章，其余的官吏由南越国自行备印。此举意味着南越王国高级官员由中央朝廷直接对其进行任命。汉武帝明令废除南越野蛮的黔鼻刑罚等，推行汉朝法律，改其旧俗，同内诸侯。同时还命令使者全部留镇番禺，力求南越局势平稳。这道诏令预示着南越国将由一个独立自主的王国，变成汉廷真正的内属国了。摆太后和赵兴接旨后，喜不自禁，立即整理行装，准备人朝晋见天子谢恩。
赵兴母子的这一举动，引起了国内众臣的震怒，作为三朝承相的吕嘉更是愤恨不已。于是，赵兴母子同以垂相吕嘉为首的两个政治集团的矛盾变得尖锐起来。
吕嘉，从历史留下的点滴记载看，为越人。清代梁廷析的《南越五主传》中引用了已失传的《粤记》一书，说吕嘉“本越人之雄，佗因越人所服而相之，而南越以治”。吕嘉颇有政治才能，又很得越人的信服，赵氏王室需要他来和辑百越。赵氏王室的重用使得吕嘉感激涕零，他死心塌地为南越王国着想，备受赵氏王室的赏识。
南越国作为一个独立的割据王国，对汉称臣实际上是一种效仿周代的诸侯对于周天子似的称臣，也可以说是一种应付强敌的权宜之计。而在政治、军事、经济等各个方而，南越国是完全自主的。南越垂相的设置，则不同于同期汉朝各诸侯国的承相是由中央王朝委派，“不得与国政，辅王而已”。南越国的承相是由南越王直接任命，其实际职能应该与西汉中央王朝的垂相一样，能直接参与处理军国大事，掌有重权。自从吕嘉坐上南越承相位置之后，除赵佗时代不算，从南越的文王赵胡、明王婴齐，直至四主赵兴，在长达20多年的时间内，南越的垂相再未易人，由此可见南越的相权在吕嘉手中己达到了登峰造极的地步。到南越王赵兴时，吕嘉已经“年长矣，相三王，宗族官贵为长吏七十余人，男尽尚王女，女尽嫁王子弟宗室，及苍梧秦王有连。其居国中甚重，粤人信之，多为耳目者，得众心愈于王”。吕嘉不但在朝内擅权，在外又与拥有重权的南越藩王相勾结，造成内外呼应的椅角之势，这就更加强了他在南越国中的特殊地位。从史料看，吕氏家族中除了吕嘉任尽相外，还有吕嘉的弟弟为南越的“将”，即掌握着兵权。吕氏家族70多人都在朝中为官，吕嘉本人及其家族不但培养了一批亲信与部属，还博得了越族贵族的支持和南越国的中下层—广大越族百姓的信任。在以越人为主的南越国，吕嘉博得了越人，实际上也就掌握了南越国的权力。事实上，南越国自赵胡开始，便再未出现过像赵佗那样的“一代雄主”，不但如此，还颇有一代不如一代的味道，这一代又一代国王，只懂得吃喝玩乐，作威作福，面对这位三朝重臣，除了尽力去拉拢他，寻求支持之外，似乎别无他法。
正是置于这样一种状况，才使吕嘉长期为相，并造成了擅权专制的局面，这种局面对南越国特别是赵兴母子显然是不利的。
且说正在整治行装准备赶赴长安的缪太后，通过耳目了解到，以吕嘉为首的一批朝臣反对内属的呼声越来越高，只是不肯当面谏阻，只将满腔怒火压在心中，以待时机总爆发。吕嘉也采取了暗中对抗的办法，称年老体衰，疾病在身而不上朝，也不与暂未离开南越的仅使者见面，软磨硬抗，以俊时机。种种迹象无不表明，欲除内属之患，必须首先除掉垂相吕嘉。于是，在摆太后心中，一个刻毒的念头涌现出来。她向赵兴说道：“今垂相称病不朝，吾看他反内属之心不死，或许他要发动叛乱，不若早下决心除之。”
赵兴叹道：“母后，不可！垂相忠心辅佐，南越不可无垂相之助，待吾慢慢说服他，只要他回心转意，满朝文武会人心所向的。”
缪太后见赵兴仍恋恋不舍垂相吕嘉，遂私下与汉使者勾通，以求彻底解决垂相吕嘉等反对内属汉廷之事。汉使者早就对昌嘉的态度和做法极为不满，于是，经过一番密谋后，终于想出了一条置承相吕嘉及一切反对南越国内属的群臣于死地的计划，这个计划是：由谬太后在宫中设宴，宴请汉使者及众大臣赴宴，借此机会，杀死吕嘉。
一切按计划进行。在宴席上，汉使朝东坐西，南越王赵兴和摆太后南北对坐，吕嘉与众大臣则面西而坐，当宴会开始后，缪太后借酒对吕嘉说：“南越国内属是利国的事情，皿相总是不赞成，不知是何居心？”她想用这番话来激怒吕嘉，也激怒汉使，并借汉使之手杀掉吕嘉。由于吕嘉之弟是将军，带领士兵守在宫外，前来参加宴会的汉使安国少季等一时犹豫不决，未敢动手。吕嘉见情势不妙，立即起身离席出宫，太后按捺不住心中的怒气，竟亲自操起长矛欲投掷吕嘉，南越王赵兴发现后，立即向前阻拦，使长矛未能投出。一场太后精心策划的南越宫廷“鸿门宴”就这样流产了。
吕嘉在其弟保护下，安全回到家中，一直托病不朝，私下却与其弟密谋发动政变。吕嘉知道赵兴不想把事情闹大，所以几个月没有采取行动。摆太后一直想着早日铲除吕嘉，却总未找到合适的人选和机会。
此时的南越上层已是杀气腾腾，危机四伏，整个国家面临生死存亡的紧急关头。汉武帝获知这一信息后，一面怪罪安国少季等汉使怯弱无决断，同时认为，南越王赵兴和太后已经归汉，只有承相吕嘉犯上作乱。不必兴师动众，决定派庄参率2000人出使南越，即可解决吕嘉的间题。但庄参认为：若汉以友好姿态去的话，仅几人就够了，如果是准备去动武，区区2000人无济于事。汉武帝听罢极为气愤，盛怒之下罢了庄参。其时，郊壮士故济北相韩千秋觉得这是一个投机和显示自己能力的难得机会，便自告奋勇说：一个小小南越有什么了不起，又有赵王做内应，只是吕嘉一人为害，给我勇士300人，一定斩吕嘉的头颅回报。汉武帝听后龙心大悦，即派韩千秋和谬太后的弟弟摆乐于元鼎五年（公元前112年）四月带2000人前往南越，讨伐吕嘉。自此，拉开了平定南越的序幕。
历史的终结
当韩千秋、谬乐带兵南下的消息传倒南越国后，吕嘉索性一不做，二不休，决定孤注一掷，公开发动叛乱。在叛乱前，他首先造出舆论，说南越王赵兴太年轻，缪太后是中原人，与汉人有奸情，不顾赵氏社樱，只求汉皇帝的恩宠。又说缪太后以人朝为名，要把先王遗下的珠宝都献给汉帝，以讨好馅媚，还说摆太后到长安后就会把众多的南越随员卖为奴仆，使他们有家不能归。这些虚实结合的宣传鼓动，加重了群臣以及越人对缪太后和赵兴等人的反感，倒戈叛乱之声占据上风，吕嘉见时机成熟，便迅速指挥弟弟带兵杀入王宫，杀死了南越王赵兴、掺太后及安国少季等使者。随后，吕嘉派专入通告苍梧秦王赵光及南越王属下郡县，“为万世虑之意”，起兵杀死赵兴、谬太后和汉使者，并立婴齐越妻所生的长子术阳侯赵建德为南越王。
就在吕嘉发动叛乱，在南越国宫里宫外大肆屠杀之时，韩千秋、摆乐已率2000汉军逾岭进人南越，并攻下了几个边境小邑。吕嘉得知这一情报，心生一计，他命令南越军队徉装不抵抗，并开道给食诱敌进人。韩千秋等不知是计，因此轻敌冒进。当他们进至离番禺还有4O里的地方，吕嘉突发奇兵反击，韩千秋、缪乐兵败被杀，2000名汉卒全军覆没。
吕嘉见南越王赵兴、谬太后及南征汉军相继被杀，有些得意忘形，他将汉使者的凭信—使节包奸，连同一封“好为谩辞谢罪”的信，置于汉越交界的边塞上，又发兵据守南越各个关塞，准备与南下汉军决一死战。
吕嘉的行动，使汉武帝极为震怒，同时也认识到了南越国的实力。他一面抚恤死难者的亲属，一面下达征伐南越国的诏书。为了吸取上次人单势寡的教训，汉武帝下令调遣部分粤人及江淮以南楼船将士十万人，于元鼎五年秋，分兵五路进攻南越。这五路大军的进攻路线分别是：
一路以卫尉路博德为伏波将军，从长沙国境内出桂阳下惶水，从湖南经萌诸岭面人连州一线，再沿江到石门；二路以主爵都尉杨仆为楼船将军，出豫章，下横浦，从江西大庚岭人南雄一线；此两路均取北江而下，直至番禺都城。两路大军共计六万人马，是攻打南越的主力军。
三路、四路以归义侯郑严、田甲为弋船将军和下徽将军，出湖南零陵，或下离水，或至苍梧，沿西江而下，然后直通番禺；五路以驰义侯何遣率巴蜀罪人及夜郎军队下拜柯江，取道西江，会于番禺城下。
就在汉武帝派出十万人马分兵五路讨伐吕嘉之时，原在建元四年借赵佗新丧趁机侵边的闽越王被汉军击败，后封为东越王的余善，借此机会又想讨好汉廷，主动请求发八千将士助汉攻越。东越王余善之奏很快获得汉武帝同意，并要他即刻起兵。
此前，余善本来就是发动对南越国袭击的主谋之一，及至汉廷出兵，事请闹大了，又杀其王兄以求自保，是个相当狡诈之人。这次当他接到汉廷的诏令后，原计划由闽越进人揭阳一线，再经潮州水系由海路直抵番禺。但他又害怕受到南越的致命打击，所以，当他亲率八千将士到达揭阳后，以海风甚烈，难行舟船为由，就地待命。同时，余善又想讨好南越垂相吕嘉，把汉军的发兵之举动，密派使者告于丞相吕嘉。他坐持两端，再不进兵，企图两方讨好，以获渔翁之利。
当汉朝五路大军浩浩荡荡、杀气腾腾地向南越国扑来时，吕嘉及其手下军事将领凭借岭南的天险，指挥军队予以阻击，双方军队在岭南地区展开了激烈的争夺战。当战争持续到一年后的秋天，
楼船将军杨仆一军首先逾岭破横浦关而人，顺凌水人侦水，到韶关之后再转人北江，并攻陷寻峡，继而又攻破番禺城北30里的石门，缴获了南越大批军粮船只，使汉军的供给得到充分的补充。石门攻破后，杨仆不敢贸然对番禺城发动进攻，留下万名将士扼守，等待伏波将军路博德军的到来，共同进击。
关于杨仆其人，司马迁在《史记》中将其列入《酷吏传》的代表人物，从这篇传记和其他史料中，可知其人的大体经历。
杨仆是河南宜阳人，由千夫出身为吏，千夫是奖励战士武功的赏�