秋，九月，冠军景桓侯霍去病薨。天子甚悼之，为冢，像祁连山……（霍光）稍迁至奉车都尉、光禄大夫。
——《资治通鉴·汉纪十二》
漠北之战后，李广因无法解释清楚迷路原因，而自尽于卫青的大将军幕府前，李广之子李敢得知此事后，心中极为愤恨，尤其是在听说卫青乃是因为私心，这才强令父亲率兵自东路迂回后，更是将父亲之死全都归咎于大将军卫青。
元狩六年（前117年）的一天，李敢途中遇到大将军卫青，本就对其颇有怨言的李敢，立即上前追问父亲自尽之事。
对于李广之死，虽说有其自身的原因，与卫青并没有太大的关系，但人毕竟死在了卫青的幕府前，卫青难免心怀愧疚，如今面对怒气冲冲的李敢，又如何解释的清楚，只好屈尊向李敢致歉。
李敢见卫青以大将军之尊，竟然向自己道歉，更加认定这是卫青心虚的表现，于是心中更为恼怒，一时怒气上脑，竟然直接上前对卫青拳脚相加，心中有愧的卫青也不还手，只是一味躲避。
在场的众人见到李敢与卫青发生争执后，原本想要上前劝阻，但却被卫青摆手制止，只好退开站在了一旁。不过，谁也没有想到，李敢竟然敢当众殴打大将军，等到李敢动手，众人这才连忙上前劝阻，将李敢奋力拉开。
李敢毕竟是武将出身，仅仅只是片刻功夫，卫青已然被李敢所击伤。
见到卫青受伤，李敢虽然余怒未消，却也意识到自己闯下了大祸，这才在众人的劝说下慌忙离去。
卫青虽然受伤，但他也知道李敢这是因为李广之死迁怒于自己，李广已经因自己而死，他不希望李敢再因自己获罪，再加上自己所受的不过是一些皮外伤，并不算太过严重，于是便劝说目睹此事的众人，希望他们不要对外声张。
卫青虽然有心替李敢隐瞒此事，然而由于当时李敢是公然行凶，见到此事的人并不算少，纵使卫青已经叮嘱众人保密，但并非所有人都能够做到守口如瓶。没过多久，此事便在群臣中传的沸沸扬扬，作为卫青外甥的霍去病，自然也听说了此事，遂连忙前去探望。
当时怒火攻心的李敢，攻击可谓毫无章法，因此卫青的伤势看上去虽然严重，但全都是一些皮外伤，经过数日的休养，实际上已经好了七八成。
霍去病看着卫青脸上仍然残留的伤痕，顿时怒从心中起，转身便要去找李敢的麻烦，卫青见状连忙上前将其拉住，并替李敢开脱，希望霍去病不要冲动。
霍去病虽然年少轻狂，但对于自己的舅舅还是十分尊重的，面对卫青的劝说，霍去病连声应是，卫青知道霍去病的脾气，担心其只是随口应付，又对霍去病嘱咐了一番，直到霍去病保证不会去找李敢的麻烦，卫青这才作罢。
实际上，正如卫青担心的那样，霍去病虽然在卫青面前连声保证，但内心的怨恨却并未就此消散。尤其是当李敢当众殴打卫青之事传开之后，面对越传越离谱的传言，霍去病心中的怨恨更深。
不久，李敢随汉武帝到雍地的甘泉宫狩猎，霍去病亦奉命一同前往。
汉武帝在亲手射杀了几只野兽之后停下休息，看着跟随自己而来的霍去病、李敢等几位将领，笑着道，“诸位皆是武将出身，弓马功夫想必不差，不妨借此比试一番，以一个时辰为限，到时谁狩到的猎物多，朕自有重赏。”
闻言，几员将领应了声是，纷纷翻身上马，各自选定一个方向，纵马疾驰而去。霍去病原本也独自选定了一个方向纵马而去，但他在纵马驰骋片刻后，却突然停了下来，转头四顾见周边无人，霍去病突然调转马头，神不知鬼不觉的向着李敢所在的方向尾随而去。
不多时，就在其他将领还忙着射猎比较之时，霍去病却突然纵马赶回了汉武帝的行营，而他的马上还驮着另外一人，不是别人，正是刚刚离去不久的郎中令李敢。
只是谁也没有想到的是，方才还纵马驰骋的李敢，仅仅片刻功夫，此时已是气若游丝、奄奄一息。仔细看去，不难发现，李敢的胸口正插着一支箭矢，早已殷红一片的伤口处，仍有鲜血不断涌出。
来到行营前，霍去病翻身下马，在命人将李敢扶下马的同时，自己则一路跑到汉武帝面前，跪地请罪道，“陛下，臣失手将郎中令射倒了。”
汉武帝闻讯一惊，连忙起身，带人向着行营外赶去，当看到躺在地上一动不动，已经气息全无的李敢时，汉武帝面色一冷，回身看着紧随而来的霍去病道，“怎么回事？”
霍去病听到问话，连忙跪地回道，“臣方才看到一头野鹿，弯弓搭箭正要射杀，却不想李将军突然从一旁冲了出来，臣想收手已经来不及了，结果失手射中了李将军。”
“是吗”，听到霍去病的解释，汉武帝却是目光一冷。对于李敢殴打卫青之事，他已经有所耳闻，如今仅仅数日功夫，李敢便倒在了霍去病的剑下，这难道真是巧合吗？以霍去病的武艺，他可不信会失手射中他人，而且恰好一箭正中对方胸口。
不过，即便此事乃是霍去病故意所为，该如何处理霍去病，却也让汉武帝犯难。
凝视着霍去病，汉武帝心中念头急转。汉武帝这些年来，之所以对霍去病如此宠信，一方面的确是因为霍去病战功卓着，另一方面则是有意扶持霍去病，以牵制卫青。
自定襄北一战之后，卫青声望达到顶点，再加上外戚的身份，一时间风头无两，俨然已经拥有了号令群臣的威势。汉武帝虽然重用外戚，却也不想培养出一个权臣，因此当霍去病同样展现出出色的军事天赋后，汉武帝立即对其予以重用，并有意对其栽培，此后霍去病凭借两次河西之战的胜利，迅速成为汉武帝的新宠，而卫青在此期间却再也没有统兵出征的机会。
漠北一战，为了彻底打垮匈奴，汉武帝虽然重新起用卫青统兵，但却只是让其攻打左贤王，而让霍去病统兵攻打伊稚斜单于，后来听说伊稚斜单于率兵东移，便又下令让两人调换，以霍去病主攻伊稚斜单于和左贤王，而只让卫青扫荡单于庭。
纵使如此安排，汉武帝仍觉不够，在卫青只负责扫荡单于庭，并不承担与匈奴主力交战的情况下，还是给卫青安排了四个副将，为的就是以副将分卫青之功；反观霍去病，直接面对伊稚斜单于和左贤王的他，压力无疑更大，但汉武帝却放心让其独领一军，为的就是让他独领功劳，从而使其足以与卫青分庭抗礼。
不过，让汉武帝没有料到的是，误打误撞之下，还是被卫青撞见了伊稚斜单于。当两路兵马凯旋之后，汉武帝对卫青和霍去病两路将领的封赏之所以天差地别，其中固然有霍去病一路斩敌颇多，而卫青一路逃走了伊稚斜单于等因素，但未必便没有通过封赏上的差异，维持朝中势力平衡的原因。
汉武帝对霍去病的有意扶持，实际上就连朝野上下都有所察觉。正因如此，汉武帝虽然后来给卫青和霍去病都加上了大司马职衔，同时规定骠骑将军和大将军的秩禄相等，以示对两人的荣宠相同，但仍有不少卫青门客改投了霍去病。
对于卫青和李敢之事，汉武帝其实也早有耳闻，但他怎么也没想到，霍去病为了给舅舅出气，竟然敢公然射杀李敢。然而，真要因此治罪于霍去病，那么自己这么多年的布置可就白费了，更何况，如今朝廷上下，除了霍去病之外，再也没有一位声望地位都足以对抗卫青的大臣了。
思来想去，为了朝廷局势的稳定，汉武帝最终还是决定睁一只眼闭一只眼，不对霍去病进行严惩，何况人死不能复生，无论自己再如何严惩霍去病，都已经无法改变李敢已然身死的结果，“也只能事后对李敢予以厚葬，聊做安慰了”，汉武帝心中如是想。
做出决断后，汉武帝对霍去病沉声说道，“李敢殴打大将军之事，朕已知晓。虽说此事是你失手所致，但若传出去，让他人作何感想？”汉武帝此话明显是在警告霍去病，意思是你为何杀李敢，当真以为我不知道吗？
霍去病如何听不出汉武帝话里的意思，闻言连忙跪地请罪道，“陛下，臣失手射杀大臣，罪不可恕，甘愿为其抵命。”
凝视着跪在地上的霍去病，汉武帝却并未说话，沉吟良久之后，这才说道，“罢了，既然是失手所为，朕便不怪罪于你了。不过，最近这段时间，你就先不要回京了。”
说罢，汉武帝也不再理会跪地谢恩的霍去病，拂袖转身而去。
事后，汉武帝命人将李敢厚葬，对外声称李敢乃是狩猎中被野鹿撞下马来，不幸摔伤身亡。至于霍去病，则没有跟随汉武帝回京，而是返回了家乡。
“漠北之战”后，惨败的伊稚斜单于，不得不派人出使汉朝，希望与汉朝重新和亲修好。
对此，丞相长史任敞认为，汉朝既然已经在战场上取胜，就不应该轻易答应匈奴的和亲请求，他认为，“匈奴刚刚战败，如今陷于困境，应该趁机令他们向大汉称臣谢罪，定期前来朝见请安才是。”
汉武帝闻言大喜，若是能够让不可一世的匈奴俯首称臣，无疑将是一个极大的成就。为此，汉武帝以任敞为使者，命其前往匈奴，说服匈奴臣服汉朝。
伊稚斜单于听闻汉朝派使者前来，以为汉朝也有修好之意，原本还很高兴，但当任敞说出此行目的后，伊稚斜单于勃然大怒，立即命人将任敞等使者扣押在了匈奴，不许其返回汉庭。
元狩六年（前117年）秋，由于久未收到任敞的消息，汉武帝派人前去打探，这才得知任敞等人已被匈奴扣留。
在经过两年的休养生息以后，此时的汉朝已经重新具备了一战之力。眼见伊稚斜单于非但拒绝臣服，竟然还敢扣留汉朝的使者，汉武帝没有片刻迟疑，立即决定再次发动远征，彻底歼灭匈奴单于主力，迫使匈奴彻底臣服。
为此，汉武帝一面下令征调军队，命令各有司衙门准备大军出征之所需，一面下诏召霍去病回朝。
然而，就在朝廷积极准备出征之际，回京不久的霍去病却突然身患重疾，就此一病不起，最终于同年九月去世，年仅二十四岁。由于事起突然，汉武帝的远征计划被迫终止。
痛失爱将的汉武帝极度悲伤，他不仅下诏让霍去病陪葬茂陵，使其永伴自己身边，为了彰显其克敌服远，英勇作战，扩充疆土的功绩，汉武帝取“武与广地”之义，赐予其谥号“景桓”。
对于霍去病的葬礼，汉武帝更是给予了超高的规格，不仅为此下令调集河西四郡的铁甲军，于长安至茂陵东的霍去病墓沿途一路列阵，更是命人将霍去病的坟墓修成祁连山的模样，以彰显他力克匈奴的奇功。
霍去病的突然病逝，不仅让汉武帝痛失爱将，让朝廷损失了一位卓越的将领，更是让汉武帝多年以来维持的朝廷平衡，就此被打破。为了避免朝政失衡，汉武帝不得不选择扶持当时尚且年少的霍光。
此前，凭借着霍去病的关系，年仅十多岁的霍光刚刚来到京城，便被汉武帝任命为了郎官。后来，汉武帝见其虽然年少，但却性格沉稳、做事谨慎，便又先后将其迁任各曹官、侍中等职，以使其多加历练。
兄长霍去病去世之时，霍光虽然仍旧年少，但汉武帝不仅将其任命为了奉车都尉、光禄大夫，更是将其时常带在身边，出则奉车、入侍左右，以显示对其恩宠。
凭借着老成持重的性格，再加上汉武帝的有意扶持，霍光很快便成为了霍氏集团的新领袖，成为了朝中不可忽视的一股力量。