几年后，伊稚斜单于继位十三年去世了，他的儿子乌维继位当了单于。这年，是汉武帝元鼎三年。乌维单于继位，汉天子开始出京去巡视郡县。这以后汉正在诛杀南方的南越和东越，没有进攻匈奴，匈奴也没有侵入汉朝边境。

　　乌维单于继位三年，汉已灭亡南越，就派遣原来的太仆公孙贺率领一万五千骑兵走出九原二千余里，到达浮苴井才撤回，没看到一个匈奴人。汉朝又派遣原来的从骑侯赵破奴率领一万多骑兵走出令居几千里地，到达匈河水才撤回，也没看到一个匈奴人。

　　这时，皇帝巡视边境，到达朔方郡，统率十八万骑兵以显示军威，又派郭吉委婉地告诉单于。郭吉到了匈奴，匈奴主客询问他出使的任务，郭吉谦卑施礼，说了些好话，说：“我见到单于再亲口对他说。”单于接见了郭吉，郭吉说：“南越王的人头已经悬挂在汉朝京城的北阙之上。如今单于若是能够前去与汉军交战，天子将要亲自领兵在边境上等待你；单于要是不能前去，就应当面朝南方向汉朝称臣。何必白白地向远处逃跑，躲藏在沙漠以北的又冷又艰苦也缺少水草的地方，没有什么作为呢？”他说完了，单于就大怒起来，立刻杀了允许郭吉进见的那位主客，而且扣留郭吉，不让他回汉朝，把他迁移到北海那里去。单于也始终不肯到汉朝边境去侵扰抢夺，只是休养士卒和马匹，练习射箭打猎的技术，屡次派使者到汉朝，说了好话，请求和亲。

　　汉朝派遣王乌等去窥探匈奴的情况。匈奴的法律规定，汉朝使者若不放弃旄节和用墨黥面就不能进入毡帐。王乌是北地人，熟悉匈奴风俗，就放弃旄节，用墨黥面，所以进入毡帐。单于喜爱他，假装用好话做出许诺，派遣太子到汉朝做人质，以此要求同汉朝和亲。

　　汉朝派杨信到匈奴去。这时，汉朝在东边攻取了秽貉和朝鲜，并设置了郡，而西边设置了酒泉郡，用以隔绝匈奴和羌人的通路。汉朝又向西沟通了月氏和大夏，又把公主嫁给乌孙王做妻子，以此离间匈奴和西方援国的关系。汉朝又向北扩大田地，直到胘雷，做为边塞，匈奴始终不敢对此表示不满。这一年，翕侯赵信死了，汉朝的官员们以为匈奴已经衰弱，可以把他们变为属臣。杨信为人刚直倔强，一向不是汉朝尊贵的大臣，单于不亲近他。单于想召他到毡帐里，但他不肯放弃旄节，单于就坐在毡帐外面接见杨信。杨信见到单于后，说：“若想和亲，就把单于太子当做人质送到汉朝去。”单于说：“这不是以前的盟约。从前的盟约规定，汉朝常常派遣公主来匈奴，还送来不同数量的绸布、丝棉和食物，以此同匈奴和亲，而匈奴也不骚扰汉朝边境。现在竟然违反古时的盟约，让我的太子去当人质，这样做，和亲是没有希望的。”匈奴风俗，看到汉朝使者不是皇宫中受宠的宦官，而是儒生，就认为他是来游说的，便想法驳倒他的说辞；如果是少年，就认为他是来指责匈奴，便设法挫败他的气势。每次汉朝使者来到匈奴，匈奴总要给予报偿。如果汉朝扣留匈奴使者，匈奴也扣留汉朝使者，一定要使双方扣留的人数相等才肯停止。