马邑军事行动之后的第五年秋天，汉朝派卫青等四位将军各率一万骑兵，在关市附近攻打匈奴。将军卫青率兵走出上谷郡，到达茏城，杀死和俘获匈奴七百余人。公孙贺率兵走出云中郡，没有收获。公孙敖率兵走出代郡，被匈奴打败，损失七千余人。李广率兵走出雁门郡，被匈奴打败，匈奴人活捉了李广，后来李广得以逃归汉朝。汉朝囚禁公孙敖和李广，公孙敖和李广交了赎金，成为平民百姓。这年冬天，匈奴屡次闯进边境抢掠，渔阳受害尤其严重。汉朝派将军韩安国驻军渔阳防御匈奴。第二年秋天，匈奴两万骑兵侵入汉朝，杀死了辽西太守，掠走两千余人。匈奴又侵入渔阳，打败渔阳太守的一千多军队，把汉朝将军韩安国围困起来。这时韩安国的一千多骑兵也将要全部被歼，恰巧燕王的救兵赶到，匈奴才离去。匈奴又侵入雁门郡，杀死和抢走千余人。于是汉朝派将军卫青率三万骑兵走出雁门，李息率兵逼出代郡，攻打匈奴，杀死和俘虏匈奴数千人。第二年，卫青又走出云中郡西边及西部的陇西一带，在黄河河套南岸地带攻打匈奴属下的楼烦和白羊王，杀死和俘虏数千人，得到牛羊百余万头。于是汉朝就夺取了黄河河套南岸地区，修筑朔方城，又修缮从前秦朝蒙恬所修建的关塞，凭借黄河做为坚固的防线。汉朝也放弃了上谷郡的曲折僻远的县如造阳一带给匈奴。这年是汉武帝元朔二年。

　　后一年的冬天，匈奴军臣单于死去。军臣单于的弟弟左谷蠡王伊稚斜自立为单于，打败了军臣单于的太子於单。於单逃走，投降汉朝，汉朝封於单为涉安侯，几个月后，他就死了。

　　伊稚斜单于继位后的夏天，匈奴数万骑兵攻入代郡，杀死太守恭友，抢掠一千余人。当年秋天，匈奴又攻入雁门，杀死和抢走一千余人。第二年，匈奴又分别派遣三万骑兵攻入代郡、定襄、上郡，杀死和抢走数千人。匈奴右贤王怨恨汉朝夺走黄河河套南岸的土地，并修筑朔方城，因而屡次侵扰，到边境抢掠，以及攻入河套南岸，侵扰朔方城，杀死和抢劫很多官吏和平民。

　　第二年春天，汉朝用卫青做大将军，统领六位将军，十余万大军，走出朔方、高阙，去攻打匈奴。右贤王以为汉兵不能到来，喝醉了酒，汉兵走出塞外六七百里，夜间包围了右贤王。右贤王大惊，脱身逃跑，许多精锐骑兵也都跟着离去。汉朝俘虏右贤王属下的男女一万五千人，裨小王十余人。这年秋天，匈奴一万骑兵攻入代郡，杀死代郡都尉朱英，抢掠一千余人。