就在这个时候，甘延寿生病了，他整日躺在内宅，卧床不起。这一天突然有人来报，说副都护陈汤已经下令征调城邦小国的军队，并且将驻扎在车世国的戊己校尉率领的屯田将士也调拨过来，看样子是有动作。甘延寿大吃一惊，马上抱病去找陈汤，打算阻止他。
陈汤早就等待这一天了，他这个人做事，只想把事做成，从不讲究方式。当甘延寿前来阻拦的时候，陈汤大怒，拔出佩剑大声喝道：“大军一惊集结，你这个臭小子想要坏我们的事儿吗？”甘延寿见他满脸怒气，只好作罢。
陈汤开始按计划行事，一方面，他将部队分成两路，一路由西域南道诸城邦组成，翻越葱岭直指大宛，另一路由北道沿途邦国以及汉军组成，由他跟甘延寿亲自率领，从温宿国出，从北道进入赤谷城，取道乌孙，进入康居。汉胡联军由汉军和十五个从温宿国到康居，有三千多里的路程。一路商旅不行，人迹罕至。汉胡联军就这样神不知鬼不觉地前进着。到赤谷城的时候，正好碰上康居副王率领几千骑兵从东边攻打赤谷城，斩杀了乌孙上千人，抢掠牛羊畜生无数。康居军队接触到了汉军的后军，他们抢劫了汉军的辎重。陈汤命令西域兵出击，击败康居军，斩杀四百六十人，夺回了他们抢劫乌孙的人畜。陈汤将百姓还给乌孙，将夺回来的畜生收入军队作为兵食。
联军进入康居国界，康居贵人屠墨经汉军内线引荐，与甘延寿、陈汤见面。甘、陈表明大军来意，跟屠墨歃盟。联军继续前进，在距离单于城六十里的地方驻扎下来。这个时候汉军抓获了康居贵人贝色子作为向导，贝色子是屠墨的舅舅，他也早就对郅支单于地残暴不满了，他告诉汉军，郅支单于在康居不得民心，曾经杀死了数百康居人，将他们肢解，扔进河流，甚至不把康居王放在眼里，康居王的女贵人也惨遭他杀害。康居王对他是束手无策。
大军休息一夜，第二天继续前进，在距离单于城不到三十里的地方驻扎。郅支单于已经得知汉军到来，派人来问：“汉军为什么到这里来？”
陈汤甘延寿说：“单于不是曾经上书朝廷，说在这里困厄，想要归顺朝廷吗？天子同情单于，特意派大军来接。害怕吓着您的家人，所以不敢到城下。”当初郅支单于戏弄朝廷的话，如今成了汉军的借口。使者几番往来，甘延寿陈汤开始变脸色了：“我们是为了单于才万里迢迢跋山涉水来到这里，到现在也没见一个名王大人来商量，单于就是这么待客的吗？汉军远来，人困马乏，粮草缺乏，可能都支持不回去了，单于赶紧派人来商量事儿。”郅支单于当初怎么嘲笑戏弄朝廷，现在他们就怎么还回去。
天亮后，联军继续前进，度过都赖水，在距离城三里的地方安营扎寨。从这里已经能清晰地看到城上的情况。只见单于城上竖着五彩旗帜，几百个人披甲站在城头，城下上百骑兵来回奔驰，上百步兵排列在城门两边。
匈奴兵非常狂妄，个个大喊着：“过来打啊！”他们的确是太狂妄了，不知道攻城是汉军的强项，而平原遭遇战才是他们的强项。匈奴城外骑兵向汉军营寨冲刺，汉军弓弩手严阵以待，匈奴骑兵这才退去。汉军乘势射击，城外的匈奴步兵骑兵都收缩回城，将大门紧闭。汉军击鼓，大军逼近城，将城四面包围起来，一场激烈地战争已经拉开了序幕。
黑云压城城欲摧，甲光向日金鳞开。气氛紧张得让人窒息。西域邦国组成，共计四万多人。其实在汉军到来之前，郅支单于就得到消息了，他已经逃出单于城，但他听说康居人怨恨他，已经做了汉军的内应，而周边乌孙等国也都兵助汉。天下之大，竟然无他容身之处了。他叹息一声，又回到城中，打算坚守。在他看来，汉军远道而来，必不能打持久战，只要自己能坚持下去，战局或许可以扭转。但他却没想过，得道多助失道寡助，如今各国都已经助汉，他和他区区千余人，何能坚持？
汉军开始动进攻了。甘延寿陈汤命令军士结阵，前部持盾牌防御，后部挽弓弩射击。这种阵法，充分地挥了汉军的优势，扬长避短，之前李陵在对阵匈奴军的时候就采用过，给了匈奴极大的打击。
汉军箭密如雨，飞向单于城头。城头人无法抵挡，纷纷逃下城去。单于城分三部分，外部是木城，中部是土城，内部是单于的营房。匈奴军凭借木城的屏障，向外射箭。汉军一时无法靠近。但木城并没能阻止汉军的进攻步伐。陈汤熟读兵书，《孙子兵法》中专列一章讲火攻，他岂能不知如何破解！木城尽是木料，最适合火攻。当初单于在修筑木城的时候，大概并没有想到这一点。于是汉军取来柴火烧城，一时间大火熊熊，弓箭乱飞。
夜幕降临，战斗却还在继续。汉军将单于城围得如铁通一般。数百匈奴骑兵趁着夜色强行冲击，又被射了回去。现在他们已经成了汉军的猎物，没有逃脱的可能了。匈奴兵继续负隅顽抗。单于跟他的十几个夫人身披战甲，站在城头射击。在最危急的时刻，血性十足的匈奴人又一次展现出了他们的强悍和勇猛，在这一刻，所有的匈奴人，无论男女老少都成为战士。夫人们都被射死了，单于也被射中鼻子，他只好下了土城，回到营中。夜半时分，汉军终于突破木城，匈奴兵退入土城中，登上城头狂呼起来。萧索的秋夜，惨烈的战况，虽然匈奴人用狂喊来表达他们的不屈，但这声音听起来却异常悲壮。此时一万多康居兵分为十余处，在汉军之后也大喊起来，跟匈奴兵遥相呼应，但他们却始终不敢进攻汉军。
天明时分，四面燃起了熊熊大火，场面一片混乱。汉军趁机擂鼓呐喊，声震天地。康居兵吓得连忙退却。汉军攻入土城中，继续缩小包围圈。大势已去的单于率领百余人躲入营寨，汉军又一次放起大火，士兵们争先恐后，涌入营寨中。雄霸一时的郅支单于被斩杀，军侯假丞杜勋割下了单于的级。征讨终于胜利结束。
这一战，共斩杀匈奴兵五百一十人，俘虏一百四十五人，另有上千人投降。这就是郅支单于最后的家底，他也就是凭借这些威震西域。甘延寿和陈汤将这些俘虏分给十五个城邦小国。