霍去病从元狩四年那次出征后的第三年，即元狩六年去世（公元前117年）。皇上哀悼他，征调属国的黑色甲士，列队从长安一直排到茂陵，为他修建的坟墓形状像祁连山。给他定谥号，把“武”和“广地”合在一起称为景桓侯。他的儿子霍嬗继承爵位。霍嬗字子侯，皇上喜爱他，希望他长大后让他带兵。霍嬗担任奉车都尉，跟随皇上到泰山封禅后去世。他没有儿子，封国被废除。
自从霍去病死后，卫青的长子宜春侯卫伉因犯法失去侯爵。过了五年，卫伉的两个弟弟，阴安侯卫不疑、发干侯卫登，都因酎金不合规定而失去侯爵。又过了两年，冠军侯的封国被废除。又过了四年，即元封五年（公元前106），卫青去世，谥号为烈侯。他的儿子卫伉继承爵位，六年后因犯法被免职。
自从卫青围攻单于后过了十四年他才去世，汉朝最终不再攻打匈奴，是因为汉朝的马匹少，又正在南方诛讨两越，在东方征伐朝鲜，攻打羌人和西南夷，所以很长时间没有讨伐匈奴。
当初，卫青已经位高权重，而平阳侯曹寿患有重病回到封国，长公主问：“列侯中谁最贤能？”身边的人都说大将军卫青。长公主笑着说：“他曾经是我家的人，常常骑马跟随我，怎么行呢？”身边的人说：“现在他尊贵无比。”于是长公主暗示皇后，皇后向皇上说起这件事，皇上就下诏让卫青娶了平阳公主。卫青死后与平阳公主合葬，为他修建的坟墓形状像卢山。
总计大将军卫青一共七次出击匈奴，斩杀和捕获敌人五万多人。一次与单于交战，收复了黄河以南地区，设置了朔方郡。两次加封食邑，一共一万六千三百户；封他的三个儿子为侯，每个儿子食邑一千三百户，加起来共二万零二百户。他的副将和校尉被封侯的有九人，成为独当一面的将领的有十五人，李广、张骞、公孙贺、李蔡、曹襄、韩说、苏建等人都各自有传记。
李息，是郁郅人，侍奉汉景帝。到汉武帝即位第八年，担任材官将军，驻军马邑；六年后，担任将军，从代郡出兵；又过了三年，担任将军，跟随大将军卫青从朔方出兵：都没有战功。他一共三次担任将军，此后常常担任大行令。
公孙敖，是义渠人，以郎官的身份侍奉汉景帝。到汉武帝即位第十二年，担任骑将军，从代郡出兵，损失了七千名士兵，应当被斩首，赎罪成为平民。五年后，以校尉的身份跟随大将军卫青，被封为合骑侯。一年后，以中将军的身份跟随大将军卫青再次从定襄出兵，没有战功。两年后，以将军的身份从北地出兵，延误了与霍去病会师的日期，应当被斩首，赎罪成为平民。两年后，以校尉的身份跟随大将军卫青，没有战功。十四年后，以因杅将军的身份修筑受降城。七年后，又以因杅将军的身份再次出击匈奴，到达余吾水，损失的士兵很多，被交付法官审讯，应当被斩首，他装死，逃亡到民间五六年。后来被发觉，又被逮捕。因妻子犯了巫蛊之罪，被灭族。他一共四次担任将军。
李沮，是云中人，侍奉汉景帝。汉武帝即位第十七年，以左内史的身份担任强弩将军。一年后，又担任强弩将军。
张次公，是河东人，以校尉的身份跟随大将军卫青，被封为岸头侯。此后太后去世，他担任将军，驻军北军。一年后，又跟随大将军卫青。他一共两次担任将军，后来因犯法失去侯爵。
赵信，以匈奴相国的身份归降汉朝，被封为侯，汉武帝即位第十八年，担任前将军，与匈奴交战，失败后，投降了匈奴。
赵食其，是祋祤人。汉武帝即位第十八年，以主爵都尉的身份跟随大将军卫青，斩杀敌人六百六十人。元狩三年，赐给他关内侯的爵位，黄金一百斤。第二年，担任右将军，跟随大将军卫青从定襄出兵，迷失了道路，应当被斩首，赎罪成为平民。
郭昌，是云中人，以校尉的身份跟随大将军卫青。元封四年，以太中大夫的身份担任拔胡将军，驻军朔方。后来回军攻打昆明，没有战功，被收回官印。
荀彘，是太原广武人，因为善于驾车被皇上召见，担任侍中，以校尉的身份多次跟随大将军卫青。元封三年，担任左将军攻打朝鲜，没有战功，因逮捕楼船将军杨仆而被诛杀。
总计票骑将军霍去病一共六次出击匈奴，其中四次是以将军的身份出征，斩杀和捕获敌人十一万多人。浑邪王率领几万人归降，开辟了河西酒泉地区，西方的匈奴侵扰日益减少。他四次加封食邑，一共一万七千七百户。他的校尉和官吏中有战功被封侯的有六人，成为将军的有二人。
路博德，是西河平州人，以右北平太守的身份跟随票骑将军霍去病，被封为邳离侯。霍去病死后，路博德以卫尉的身份担任伏波将军，征伐并打败了南越，加封食邑。后来因犯法失去侯爵。担任强弩都尉，驻军居延，去世。
赵破奴，是太原人。曾经逃亡到匈奴，后来又回到汉朝，担任票骑将军的司马。从北地出兵，被封为从票侯，因酎金不合规定失去侯爵。一年后，担任匈河将军，攻打匈奴到匈河水，没有战功。一年后，攻打并俘虏了楼兰王，后来被封为浞野侯。六年后，以浚稽将军的身份率领二万骑兵攻打匈奴左贤王。左贤王与他交战，用八万骑兵包围了赵破奴，赵破奴被匈奴俘虏，他的军队也全军覆没。他在匈奴生活了十年，又和他的太子赵安国逃回到汉朝。后来因巫蛊之罪被灭族。
自从卫氏家族兴起，大将军卫青首先被封侯，此后他的支属有五人被封为侯。一共过了二十四年，这五个侯的封国就都被废除了。征和年间，戾太子刘据兵败，卫氏家族于是灭亡。而霍去病的弟弟霍光显贵兴盛，他自己有传记。
赞语说：苏建曾经劝说卫青：“大将军您地位极为尊贵，然而天下的贤能士大夫却没有称赞您的，希望将军您看看古代名将招纳和选拔人才的做法，努力去做吧！”卫青辞谢说：“自从魏其侯、武安侯厚待宾客，天子常常对此咬牙切齿。那些亲自礼待士大夫，招纳贤才、罢黜不肖之人的做法，是君主的权力。作为臣子，奉行法令，遵守职责罢了，为什么要参与招纳士人呢！”霍去病也有同样的想法，他们作为将领就是这样的。