当卫青和霍去病所率领的两支大军出塞时，曾在边塞阅兵，当时官府和私人马匹共十四万匹，而他们重回塞内时，所剩战马不满三万匹。于是朝廷增置大司马官位，大将军和骠骑将军都当了大司马。而且定下法令，让骠骑将军的官阶和俸禄同大将军相等。从此以后，大将军卫青的权势日日减退，而骠骑将军一天比一天显贵。大将军的老友和门客多半离开了他，而去奉事骠骑将军，这些人常常因此而得到官爵，只有任安不肯这样做。

　　骠骑将军为人寡言少语，不泄露别人说的话，有气魄，敢做敢为。武帝曾想教他孙子和吴起的兵法，他回答说：“战争只看方针策略如何就够了，不必学习古代兵法。”武帝为他修盖府第，让骠骑将军去看看，他回答说：“匈奴还没有消灭，无心考虑私家的事情。”从此以后，武帝更加重用和喜爱骠骑将军霍去病。但是，霍去病从少年时代起，就在宫中侍候皇帝，得到显贵，却不知体恤士卒。他出兵打仗时，天子派遣太官赠送他几十车食物，待他回来时，辎重车上丢弃了许多剩余的米和肉，而他的士卒还有忍饥挨饿的。他在塞外打仗时，士卒缺粮，有的人饿得站不起来，而骠骑将军还在画定球场，踢球游戏。他做的事多半如此。大将军卫青的为人却是仁爱善良，有退让的精神，以宽和柔顺取悦皇上，但是天下之人没有称赞他的。

　　骠骑将军自元狩四年（前119）出击匈奴以后三年，即元狩六年（前117）就去世了。武帝对他的死很悲伤，调遣边境五郡的铁甲军，从长安到茂陵排列成阵，给霍去病修的坟墓外形象祈连山的样子。给他命名谥号，把勇武与扩地两个原则加以合并，称他为景桓侯。霍去病的儿子嬗接替了冠军侯的爵位。霍嬗年令小，表字叫子侯，皇上喜爱他，希望长大后任命他为将军。过了六年，即元封元年，霍嬗死去，皇上封赐他哀侯的谥号。他没有儿子，因而后代断绝了，封国被废除。

　　自从骠骑将军死后，大将军的长子宜春侯卫伉因犯法而失掉侯爵。五年以后，卫伉的两个弟弟阴安侯卫不疑和发干侯卫登，都因为犯了助祭金成色不足和分量不够的罪而失掉侯爵。失掉侯爵后二年，冠军侯的封国被废除。这以后四年，大将军卫青死去，朝廷加封他的谥号是烈侯。卫青儿子卫伉接替爵位作长平侯。