百越为华东、华南越人之总称。建元六年(前135年)，闽越王驺郢率兵进击南越，武帝派兵援助南越。驺郢弟余善杀闽越王以首级献朝廷，武帝下令撤兵，立勾践后裔丑为越繇王，余善不服，与越繇王对峙，武帝遂以余善为东越王，与越繇王分地而治。


南越王赵胡感激朝廷，遣子婴入侍。婴在汉娶姓女为妻，生子兴。赵胡死，婴返国嗣位，婴死兴嗣，年幼，氏以太后秉政。相国吕嘉历事三王，宗族子弟满布国中，势力很大。元鼎四年(前113年)武帝遣使谕太后与子兴入朝。吕嘉不满太后内附，发动政变，杀氏母子及所有汉使者，立婴越妻所生之子建德为王。武帝闻讯，于五年调水陆大军十万南伐，以杨仆为楼船将军出豫章下横浦，路博德为伏波将军出桂阳下湟水，以南越降将出零陵下漓水。至六年，杨仆与路博德抵番禺城下，吕建与建德等逃入海，为汉军所追杀，于是南越各地纷纷投降。武帝遂以其分建九郡：儋耳、珠崖、南海、苍梧、郁林、合浦、交趾、九真、日南。