卫青，字仲卿。他的父亲郑季，是河东郡平阳县人，以县吏的身份在平阳侯家当差办事。平阳侯曹寿娶了汉武帝的姐姐阳信长公主为妻。郑季和平阳侯家的女仆卫媪私通，生下了卫青。卫青有同母兄长卫长君，姐姐卫子夫，卫子夫在平阳公主家得到汉武帝的宠幸，所以卫青就冒用了卫姓。卫媪的长女叫卫君孺，次女叫卫少皃，三女就是卫子夫。卫子夫的同母弟弟卫步、卫广，也都冒用卫氏的姓。
卫青身为平阳侯家的仆人，小时候回到父亲郑季家，父亲让他去放羊。父亲前妻所生的儿子们都把他当作奴仆一样对待，不将他视为兄弟。卫青曾经跟着别人到甘泉宫的居室，有一个脖子戴枷锁的犯人给卫青看相说：“你是个贵人，以后能当到封侯的大官。”卫青笑着说：“我本就是奴仆所生，能不挨打受骂就已经满足了，哪里还能盼着封侯这样的事呢！”
卫青长大后，成为平阳侯家的骑奴，跟随在平阳公主身边。建元二年春天（公元前139年），卫青的姐姐卫子夫得以入宫并受到汉武帝的宠幸。皇后是大长公主的女儿，没有儿子，心生妒忌。大长公主听说卫子夫受宠且怀有身孕，非常嫉妒，就派人去逮捕卫青。当时卫青在建章宫当差，还没有什么名气。大长公主抓住卫青并囚禁起来，想杀掉他。他的朋友骑郎公孙敖和一些壮士前去把他救了出来，卫青这才得以不死。汉武帝听说了这件事，就召卫青担任建章监，并加侍中官衔。等到卫青的母亲和兄弟都显贵起来后，几天之内得到的赏赐累计达到千金之多。卫君孺嫁给了太仆公孙贺做妻子。卫少皃以前和陈掌私通，汉武帝召见陈掌并让他显贵起来。公孙敖也因此更加显耀。卫子夫成为了夫人。卫青则做了太中大夫。
元光六年（公元前129年），卫青被任命为车骑将军，率军攻打匈奴，从上方出兵；公孙贺任轻车将军，从云中出兵；太中大夫公孙敖任骑将军，从代郡出兵；卫尉李广任骁骑将军，从雁门出兵：每支军队各有一万骑兵。卫青率军到达龙城，斩杀、俘虏了几百名匈奴人。骑将军公孙敖损失了七千骑兵，卫尉李广被匈奴俘虏，后来逃脱跑了回来，他们二人都应当被斩首，后来赎罪成为平民。公孙贺也没有立下战功。只有卫青被赐爵为关内侯。从这以后，匈奴仍然不断侵犯汉朝边境。这些情况在《匈奴传》中有记载。
元朔元年春天（公元前128），卫夫人生下一个男孩，她被立为皇后。
这年秋天，卫青又率领三万骑兵从雁门出兵，李息从代郡出兵。卫青斩杀了几千名匈奴人。第二年，卫青又从云中出兵，向西一直打到高阙，接着到达陇西，捕获了几千名匈奴人，缴获牲畜一百多万头，赶跑了白羊王和楼烦王。于是夺取了黄河以南的土地，设置为朔方郡。汉武帝封卫青为长平侯，食邑三千八百户。卫青的校尉苏建被封为平陵侯，张次公被封为岸头侯。汉武帝派苏建去修筑朔方城。
皇上说：“匈奴违背天理，扰乱人伦，欺辱年长者，虐待老人，把盗窃当作常事，对各个蛮夷部落使用欺诈手段，谋划发兵，多次成为边境的祸害。所以我发动军队，派遣将领，来征讨他们的罪行。《诗经》里不是说过吗？‘讨伐猃狁，直到太原’；‘战车出动，声势浩大，在那朔方筑城’。今年骑将军卫青越过西河直到高阙，捕获敌人二千三百名，缴获的车辆辎重和牲畜全部没收充公，已经被封为列侯，接着向西平定了黄河以南地区，巡视了榆溪的旧时关塞，越过梓领，架桥渡过北河，征讨薄泥部落，打败符离部落，斩杀了精锐的敌兵，捕获了进行侦察的敌兵三千零一十七名。捉到俘虏，驱获马、牛、羊一百多万头，军队完好无损地回来了，加封卫青食邑三千八百户。”
此后，匈奴连年入侵代郡、雁门、定襄、上郡、朔方，杀害和掳掠了很多汉朝百姓。这些情况在《匈奴传》中有记载。
元朔五年（公元前124）春天，汉武帝命令卫青率领三万骑兵从高阙出兵，卫尉苏建任游击将军，左内史李沮任强弩将军，太仆公孙贺任骑将军，代国国相李蔡任轻车将军，他们都归车骑将军卫青统领，一起从朔方出兵。大行令李息、岸头侯张次公任将军，一起从右北平出兵。匈奴右贤王面对卫青等人的军队，认为汉军不可能打到这里，喝得大醉，汉军在夜里赶到，包围了右贤王。右贤王惊慌失措，连夜逃跑，只和他的一个爱妾以及几百名精壮骑兵，冲破包围向北逃去。汉军轻骑校尉郭成等追赶了几百里，没有追上，却捕获了右贤王的小王十多人，男女百姓一万五千多人，牲畜几百万头，于是卫青率军回师。到达边塞后，天子派使者拿着大将军的印信，就在军中任命卫青为大将军，各路将领都率部队归卫青统领，确立名号后班师回朝。
皇上说：“大将军卫青亲自率领战士，获得了大胜利，捕获匈奴王十多人，加封卫青食邑八千七百户。”并且封卫青的儿子卫伉为宜春侯，儿子卫不疑为阴安侯，儿子卫登为发干侯。
卫青坚决辞谢说：“我有幸能够在军队中任职，依靠陛下的神灵庇佑，军队获得大捷，这都是各位校尉奋力作战的功劳。陛下已经降恩加封了我卫青，我的儿子们还在襁褓之中，没有任何功劳，陛下却降恩分割土地封他们三人为侯，这不是我在军队中任职来鼓励士兵奋力作战的本意啊。卫伉等三人怎么敢接受封赏呢！”
皇上说：“我没有忘记各位校尉的功劳，现在本来就打算考虑他们的奖赏。”
于是下诏给御史说：“护军都尉公孙敖三次跟随大将军攻打匈奴，经常负责护军并率领众校尉俘获匈奴王，封公孙敖为合骑侯。都尉韩说跟随大军从{穴真}浑出兵，到达匈奴右贤王的王庭，在大将军的指挥下奋力拼战俘获匈奴王，封韩说为龙额侯。骑将军公孙贺跟随大将军俘获匈奴王，封公孙贺为南窌侯。轻车将军李蔡两次跟随大将军俘获匈奴王，封李蔡为乐安侯。校尉李朔、赵不虞、公孙戎奴各三次跟随大将军俘获匈奴王，封李朔为陟轵侯，赵不虞为随成侯，公孙戎奴为从平侯。将军李沮、李息以及校尉豆如意、中郎将绾都立有战功，赐给他们关内侯的爵位。李沮、李息、豆如意食邑各三百户。”这年秋天，匈奴入侵代郡，杀死了都尉。