元平元年（公元前74年）四月，汉昭帝驾崩，享年二十一岁。昭帝突然发病死去，这使得主管帝陵营建的官员非常狼狈，因为皇帝的陵墓还没有认真营建，于是他们赶快租用了三万辆牛车，从渭河滩拉沙，构筑地下墓室。仓促归仓促，昭帝平陵的随葬品仍是十分丰富的。当时由霍光主持昭帝丧事，墓室中金银珠宝，应有尽有。
国不可一日无君，霍光在处理好昭帝丧葬事宜之后，便开始着手选拔新君。昭帝并无子嗣，他死后，朝中许多大臣主张立他同父异母的哥哥广陵王刘胥为帝。但是霍光知道刘胥品行不端，所以当时汉武帝才未立他为帝。现在由自己辅政，反而选立一个失德的皇帝，怎么对得起死去的汉武帝呢？霍光只得再冒得罪许多大臣的风险，决定另选继承人。
他和皇太后商量，迎立汉武帝之孙昌邑王刘贺为帝。征和三年（公元前90年），李广利、刘屈氂等因为策划谋立昌邑哀王刘髆为太子，被汉武帝识破而灭族。后元元年（公元前88年）正月，刘髆驾薨，他五岁的儿子刘贺成为昌邑王。刘贺却是个不争气的人，刚即位就做了很多荒唐事。
霍光甚为为难，这个皇帝是在他的主持下册立的，如此贻误社稷，让霍光感到既对不起武帝的托孤之恩，亦对不起先帝的贤明名声。
朝中早年的辅政大臣，都已经在立燕王一事中伏诛，而现在的丞相又是一个明哲保身、难堪大任的人，因此，只有霍光的好友，当朝大司农田延年可以与之商量定议。
田延年对霍光说道：“大将军乃国之中流砥柱，既然已知昌邑王不适合做君主，不如禀报太后把他废掉，另选一个贤明之人当君主好了。你应该向商朝的伊尹学习。做一个安定汉室社稷的重臣。”
此事，还有一段渊源：霍光要废肆意妄为、不能担当国家社稷的刘贺，又怕日后担“忤逆”的骂名，便想援引古例，看看历史上有没有这样的典故，于是向田延年问了一句“于古尝有此否”。没想到即此一问，也就开口见喉咙，叫人看出“光不涉学”了，“不学无术”一说就是这样来的。此后，历代政治家都试图避免让别人看到自己的深浅，而且高官和学者一般都能画上等号，当然，除了那些开国元勋外。
霍光见此，其实心中已经有了定议，只是担心仅仅凭借他二人之势，不免会落人口实，霍光对于政治从来都是谨小慎微，他怕田延年的意见不合礼法，最终还是选择和其他两个重要大臣商量。
其实，在大家的心目中，对于刘贺的胡作非为，都已经产生了不满，于是，众大臣一致决定要废掉这个无道昏君。霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，太后也同意了众臣的意见。于是只当了二十七天皇帝的昌邑王就被废黜了。
他也是汉朝历史上唯一没有帝号的皇帝。
后世统称其为汉废帝！
昌邑王既然被废黜，皇位又空了出来。忠心辅政的霍光，日夜为此焦急不安。光禄大夫丙吉上书给霍光，推荐寄存在民间的汉武帝的曾孙刘病已。刘病已，后改名为刘询，字次卿。戾太子（刘据）孙，史皇孙刘进子。出生数月，即逢刘据巫蛊事件。刘询被祖母史家所收养，一直居住在民间。元平元年（公元前74年）昌邑王被废后，大臣中有人进言说，皇曾孙刘询有德有才，可接回宫中继承皇位。霍光亦对刘询做了一段时间的考察，发现此人心怀仁慈、志向远大，遂携同大臣将他从民间迎入宫中，先封为阳武侯，将此事禀报皇太后，接着就把刘询接回宫中，拥立为皇帝，他就是有名的贤君汉宣帝。汉宣帝于元平元年（公元前74年）七月即位，时年十八岁，第二年改年号为本始。
被废的刘贺，此后的生活可谓潦倒不堪，霍光新拥立的汉宣帝刘询，在即位之后，心底到底有些忌惮，他害怕刘贺会不甘心，进而产生反叛的心思。
于是，刘询在即位的第二年就让山阳太守张敞专门监察刘贺，此刻刘贺已经被软禁，张敞发现，刘贺终日沉迷酒色，早已经变得毫无斗志。刘询知道刘贺从此难以成为自己的敌手，遂生出恻隐之心，没有伤害他的性命，而是打发刘贺回到山东昌邑国，过着被监视的日子。而刘贺带去长安的两百多个官员除了三个正直的人，其他的都被斩首。
元康二年（公元前64年），为防止刘贺死灰复燃，宣帝遂下诏给山阳太守张敞道：“谨备盗贼，察往来宾客。毋下所赐书。”
第二年，刘贺被贬斥为海昏侯，封地就在江西省永修县一带。此时，他已经被解除了软禁，但皇帝和霍光却依然对其进行着秘密监督。一次，扬州刺史“柯”就上报朝廷一件事情：刘贺与一个叫孙万世的人交往。
孙万世问刘贺：“在被废除皇位前，君为什么不坚守内宫，关闭宫门，斩杀霍光，却听凭他们夺取皇位玺绶呢？”
刘贺说：“是啊，当时太年幼，真是大大的失策啊。”孙万世又希望刘贺做豫章王，绝不要一直做这么普通的海昏侯。刘贺说：“道理是如此，但是这话不宜说啊。”
刘询因此震怒，下令查办刘贺，其实刘询已经看出，刘贺只是说说而已，根本没有实力反对自己的统治，遂只削减了其封地的人口和赋税。四年之后，刘贺在愤慨中死去，终年三十四岁。
霍光拥立了宣帝刘询，更力保其帝位，为朝廷鞠躬尽瘁。宣帝即位后，为了表彰霍光的拥立之功，对其大为嘉奖。此后，霍光便忠心耿耿地辅佐年轻的宣帝，为其献计纳策，以求君主圣明。汉宣帝在他的辅佐下，继续遵照“与民休息”的方针来制定政策，处理国事，使西汉王朝再次兴盛，史称“昭宣中兴”。这段时期西汉王朝能够再次兴盛与重臣霍光二十多年的忠君辅政不无关系。霍光对汉室忠心赤胆，且知人善任，做事果断，是个颇具智慧的谋略家。他上任后调整了武帝末年赋税无度的政策，与民休息，缓和了朝廷与百姓的矛盾，所以汉代的经济出现了又一个发展时期。
地节二年（公元前68年），霍光病逝。汉宣帝和皇太后为感念其为汉室立下的汗马功劳以极其隆重的礼仪亲自为霍光主持丧礼。死后的霍光被埋葬在茂陵汉武帝陵墓的旁边，这正体现了汉室对这位忠心辅政安定社稷的重臣的尊崇。
霍光已经死去，但他身后却留下了一个足以颠覆朝野的家族。