当然，匈奴的衰败还有一个重要的原因，那就是匈奴的分裂。任何时候，只要民众能够团结，及时面临多大的困难，也能熬过去，只要有机会，总能迎来新的展机遇。但内部的分裂却足以摧毁任何强大的部落。
匈奴是一个奇怪的民族，强悍，团结，存在的上千年里，虽然有过争斗，但都很快平息，基本上并没有伤及根基。
汉宣帝时期，虚闾权渠单于去世，匈奴开始陷入内乱，这大概跟中原文化的渗透和汉人的加入有关，汉人带去了先进的文化，也带去了争权夺利的思想。
因为内部的种种矛盾，在十年时间里，有八人立为单于，出现了八单于争立的局面，这些单于，有的是先单于的子弟，有的是匈奴中的贵族，各自拥兵数万，相互残杀，匈奴部落陷入前所未有的危机之中。
经过数年的混乱，八单于只剩下两个，一个是呼韩邪单于，他是虚闾权渠单于之子，另一个是郅支单于，他也是虚闾权渠单于之子，呼韩邪单于的哥哥。
郅支单于在匈奴历史上的威名仅次于冒顿单于，他勇猛，好征伐，击败了瑞振单于，又击败了呼韩邪单于。呼韩邪单于在兵败之后，接受属下的建议，归顺了大汉。他在汉人中知名度很高，也因为投降，间接地促进了统一而名垂青史。但他的个人威名远不及兄长郅支单于。
呼韩邪单于归顺后，大汉给予了他丰厚的赏赐，地位也在诸侯王之上，前后给粮食三万多斛，让他居住在光禄塞下。第二年，呼韩邪单于又一次来到朝廷朝拜，朝廷再次给他丰厚的赏赐。
当呼韩邪单于派儿子来到汉朝廷时，郅支单于也将儿子送到朝廷，派使奉献，但朝廷对呼韩邪单于地待遇要高于郅支单于。朝廷的偏心引起了郅支单于的不满。他先后击败乌孙，攻破乌揭、坚昆、丁令以自强，又上书要求朝廷将儿子送回来。
元帝跟大臣们商量之后，派谷吉送郅支单于的儿子回去。郅支单于怒气难解，一气之下杀死了谷吉。他担心汉军来攻，又听说呼韩邪单于在朝廷的帮助下已经度过难关，现在展得强大起来，担心呼韩邪单于也来攻打，于是打算找个退路，正巧康居多次被乌孙攻打，康居王邀请郅支单于前去相助，于是郅支单于离开匈奴，前往康居。
谷吉被杀的消息传回来，朝野震怒，对郅支单于的暴行无不愤慨。但郅支单于已远遁康居，相隔万里之遥，即使派兵征讨，既无良将，也无良策，事情就这样暂时被无奈地搁置起来。朝廷前后三次派人到康居找郅支单于，要求归还谷吉等人的尸体，郅支单于困辱使者，还给朝廷上书，自称困厄，想要归顺朝廷。他的言行让朝廷更加恼火。
甘延寿跟陈汤就是在这样的情况下来到西域的。
两人来到西域后，对郅支单于的动静做了详细了解。他们知道，此时康居王已经将女儿嫁给郅支单于，而郅支单于也多次借助康居兵，击败乌孙，深入赤谷城，杀掠百姓，抢劫钱粮，又派人谴责阖苏、大宛诸国，这些邦国惮于单于威名，只好遣使奉献。郅支单于又强行征用康居人，每天五百人，给自己修筑单于城，用了两年时间才筑好，如今他就住在单于城。
在弄清楚这些情况之后，陈汤跟甘延寿开始筹谋。他们担心如果继续这样下去，西域诸城邦迟早被郅支单于全部拉过去，那样他们的处境就危险了。所以，一定要征讨，而且越早越好，早，那么郅支单于的实力尚不会大增，迟，则他会有更充足的时间展自己。
在这一点上，两人取得了一致，分歧只在于，甘延寿认为此事应该上报朝廷批准，而陈汤认为事不宜迟，马上就做，要搞突袭就要兵贵神速，上报朝廷耽搁时间，而且公卿大臣未必会同意。但甘延寿不同意陈汤的想法。