元平元年（公元前74年）四月，汉昭帝驾崩，享年二十一岁。昭帝突然发病死去，这使得主管帝陵营建的官员非常狼狈，因为皇帝的陵墓还没有认真营建，于是他们赶快租用了三万辆牛车，从渭河滩拉沙，构筑地下墓室。仓促归仓促，昭帝平陵的随葬品仍是十分丰富的。当时由霍光主持昭帝丧事，墓室中金银珠宝，应有尽有。
国不可一日无君，霍光在处理好昭帝丧葬事宜之后，便开始着手选拔新君。昭帝并无子嗣，他死后，朝中许多大臣主张立他同父异母的哥哥广陵王刘胥为帝。但是霍光知道刘胥品行不端，所以当时汉武帝才未立他为帝。现在由自己辅政，反而选立一个失德的皇帝，怎么对得起死去的汉武帝呢？霍光只得再冒得罪许多大臣的风险，决定另选继承人。
他和皇太后商量，迎立汉武帝之孙昌邑王刘贺为帝。征和三年（公元前90年），李广利、刘屈氂等因为策划谋立昌邑哀王刘髆为太子，被汉武帝识破而灭族。后元元年（公元前88年）正月，刘髆驾薨，他五岁的儿子刘贺成为昌邑王。刘贺却是个不争气的人，刚即位就做了很多荒唐事。
霍光甚为为难，这个皇帝是在他的主持下册立的，如此贻误社稷，让霍光感到既对不起武帝的托孤之恩，亦对不起先帝的贤明名声。
朝中早年的辅政大臣，都已经在立燕王一事中伏诛，而现在的丞相又是一个明哲保身、难堪大任的人，因此，只有霍光的好友，当朝大司农田延年可以与之商量定议。
田延年对霍光说道：“大将军乃国之中流砥柱，既然已知昌邑王不适合做君主，不如禀报太后把他废掉，另选一个贤明之人当君主好了。你应该向商朝的伊尹学习。做一个安定汉室社稷的重臣。”
此事，还有一段渊源：霍光要废肆意妄为、不能担当国家社稷的刘贺，又怕日后担“忤逆”的骂名，便想援引古例，看看历史上有没有这样的典故，于是向田延年问了一句“于古尝有此否”。没想到即此一问，也就开口见喉咙，叫人看出“光不涉学”了，“不学无术”一说就是这样来的。此后，历代政治家都试图避免让别人看到自己的深浅，而且高官和学者一般都能画上等号，当然，除了那些开国元勋外。
霍光见此，其实心中已经有了定议，只是担心仅仅凭借他二人之势，不免会落人口实，霍光对于政治从来都是谨小慎微，他怕田延年的意见不合礼法，最终还是选择和其他两个重要大臣商量。
其实，在大家的心目中，对于刘贺的胡作非为，都已经产生了不满，于是，众大臣一致决定要废掉这个无道昏君。霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，太后也同意了众臣的意见。于是只当了二十七天皇帝的昌邑王就被废黜了。
他也是汉朝历史上唯一没有帝号的皇帝。
后世统称其为汉废帝！