多年之后，汉武帝即位。此时的李广已是举国公认的名将之花。新皇帝，新气象，李广终于从地方来到了中央，被汉武帝调任未央宫的禁卫军长官。只是多年的边地生涯之后，李广已告别了中年。李广有个参照，那就是堂弟李蔡。谁都知道，李蔡才干远在李广之下，可是人家李蔡到汉景帝时，已是年俸二千石的高官，汉武帝时，李蔡更是一帆风顺地升至列侯，官位达到三公。李广属下的军官和士兵们，也有人得到了侯爵之封。李广岂能不忧心如焚，总要有个实实在在的东西来证明自己啊！岁月不居，时光如流。在伟大的时代，李广只能在闲居中打发光阴。
汉朝将军的后起之秀，大将军卫青、骠骑将军霍去病率军高调出征匈奴，李广几次亲自请求随行。天子认为他已年老，没有答应；好久才准许他前去，让他任前将军。这一年是公元前119年。出边塞以后，卫青捉到敌兵，知道了单于住的地方，就自己带领精兵去追逐单于，而命令李广和右将军的队伍合并，从东路出击。东路有些迂回绕远，而且大军走在水草缺少的地方，势必不能并队行进。李广就亲自请求说：“我的职务是前将军，如今大将军却命令我改从东路出兵，况且我从少年时就与匈奴作战，到今天才得到一次与单于对敌的机会，我愿做前锋，先和单于决一死战。”
大将军卫青曾暗中受到皇上的警告，认为李广年老，命运不好，不要让他与单于对敌，恐怕不能实现俘获单于的愿望。那时公孙敖刚刚丢掉了侯爵，任中将军，随从大将军出征，大将军也想让公孙敖跟自己一起与单于对敌，故意把前将军李广调开。李广当时也知道内情，所以坚决要求大将军收回调令。大将军不答应他的请求，命令长史写文书发到李广的幕府，并对他说：“赶快到右将军部队中去，照文书上写的办。”李广不向大将军告辞就起程了，心中非常恼怒地前往军部，领兵与右将军赵食其合兵后从东路出发。军队没有向导，有时迷失道路，结果落在大将军之后。大将军与单于交战，单于逃跑了，卫青没有战果只好回兵。大将军向南行渡过沙漠，遇到了前将军和右将军。李广谒见大将军之后，回到自己军中。大将军派长史带着干粮和酒送给李广，顺便向李广和赵食其询问迷失道路的情况，卫青要给天子上书报告详细的军情。李广没有回答。大将军派长史急切责令李广幕府的人员前去受审对质。李广说：“校尉们没有罪，是我自己迷失道路，我现在亲自到大将军幕府去受审对质。
到了大将军幕府，李广对他的部下说：“我从少年起与匈奴打过大小七十多仗，如今有幸跟随大将军出征同单于军队交战，可是大将军又调我的部队去走迂回绕远的路，偏又迷失道路，难道不是天意吗！况且我已六十多岁了，毕竟不能再受那些刀笔吏的侮辱。”于是李广拔刀自刎，一地鲜血如同梅花飘落。李广难封的结果也就出来了。汉武帝刁难，卫青想要独揽大功，李广运气不好，都是重要原因。