公元前119年，机会来了。这一年，朝廷又一次大兵征讨匈奴，霍去病率军出代郡北伐，沿途经过河东郡。此时霍去病已是皇帝身边红得紫的大红人，其势头已超过大将军卫青，再加上此行是帝国最重要的军事行为，地方官自然不敢怠慢。河东太守亲自郊迎，到了平阳传舍，霍去病派人去迎接父亲霍仲儒。也就在这个时候，霍去病才知道自己还有个弟弟。他为父亲买了田宅，以及佣人，就出征了.凯旋归来,他又一次跟父亲见面，并且带着霍光去了京城。这个时候，霍光还是个孩子，只有十几岁。因为哥哥的原因，霍光被任命为郎官，成为宫中侍卫，后来他一步步做了侍中、奉车都尉、光禄大夫。
武帝任命霍光为辅政大臣，看中的是他的稳重谨慎，中规中矩。霍光每次进入殿中，一直站在固定的地方，服侍武帝的二十多年里，始终没有变过。这事情传出去，大家都觉得不可思议。这么点小事都这么注意？不会是真的吧！有些人暗地里观察，现的确是这样，丝毫不差。武帝知道了，也大为吃惊。正因为如此，武帝对霍光才会刮目相看。
其实霍光也是运气好，如果在汉武帝前期，正值国家多事、以建功为立业之际，他的这种性格是不会受欢迎的。比较起来，他跟汉朝著名的万石君石奋、石庆父子很像。石奋一辈子以谨慎著称，老来退休在家，有时候皇帝赐食给他，他就慌忙跪下，匍匐着将饭菜吃完，就好像皇帝在跟前监督一样，他的子孙当了官，来看望他，他就穿上朝服，仿佛见同僚一样，很正规，言不及私。他的儿子石庆也是如此，但是这样的人——说老实话，到底有什么用呢？用司马光的观点来分析，虽然历史学家给他们立了传，但他们这些人只能说得上有德，而谈不上什么才能。武帝也持这样的观点，在他励精图治时期，石庆担任丞相一职，位极人臣，不过这个丞相只是个摆设，武帝每次有大的动作，觉得石庆在场，也是个累赘，就给他放假，让他回家休息，将事情交给御史大夫张汤处理。石庆觉得自己窝囊，有一次终于鼓足勇气给武帝上书言事，结果还被武帝罚了款。他并不受武帝待见。
但是武帝后期，情况不同了。社会的展就是这样，总是呈现出一种规律的状态。大乱之后，最重要的就是不要扰民，让社会生态自己恢复，这个时候，无为而治就显示出了重要性。但随着社会的展，物质的丰富，人们生活方式的转变，社会就开始滋生出一些乱象，这个时候就需要用严厉的法律来治理百姓，有手段、有想法的官员就派上用场。乱，治，乱，治，历史就在这样的交替变化中不断前进。而武帝末期，其实就处在大乱之后亟待修养的时期。几十年的用兵，耗尽了国库的积蓄，民间资本也损耗殆尽，无数老百姓逃进深山做了盗贼，他们渴望过上安居乐业的生活，渴望日出而作日入而息，凿井而饮,耕田而食。所以武帝末期休养生息的政策也正是迎合百姓的这一愿望。霍光的性格，执行既定政策，再好不过。
武帝去世后，霍光遵照武帝的遗诏，恪尽职守，辅佐幼主。因为皇帝年幼，霍光让皇帝的姐姐鄂邑公主入宫照顾小皇帝。这本是好意，却留下了后患。
鄂邑公主已经嫁给盖侯，但是在入宫的日子里，她跟一个叫丁外人的河间人私通，这事情弄得举朝皆知，霍光因为皇帝的原因，也并未追究，但这其实等于变相的纵容了鄂邑公主。后来公主跟丁外人的关系逐渐公开化，一些官员求上进，都求到丁外人那里去。甚至连霍光的助手上官桀等人也求他办事。
上官桀年轻时候是个猛人，曾经跟随贰师将军出征大宛。上官桀奉命攻打郁成，郁成王逃往康居，上官桀一路追到康居，尽显英雄本色。康居听说大宛已经被攻破，赶紧交出了郁成王。上官桀让四个骑士带着郁成王去见贰师将军。因为军功，上官桀被提拔到了朝廷，后来又做了太仆，成为九卿之一。武帝去世前，提拔他为左将军，也成为顾命大臣之一。
上官桀跟霍光关系很好，做了儿女亲家。霍光休假的时候，就将政务交给上官桀处理，两人一直相安无事。上官桀的儿子上官安有个女儿，年方五岁，上官桀一直希望能将孙女送入宫中。他跟霍光提起过这事，其实他的孙女也就是霍光的外孙女，但是霍光觉得孩子太小，皇帝也小，还不到娶亲的时候，就没答应。上官安跟丁外人关系好，求丁外人向鄂邑公主请求，他对丁外人说：“我女儿相貌出众，如果能因为公主而进入宫中做了皇后，我们父子有了这层关系，在朝廷那就有磐石之坚了。本朝的规矩，只有列侯才能娶公主，你还担心封不了侯吗？”丁外人曾经为这事让公主跟霍光说，霍光没答应，如果有上官桀父子帮助，事情成功的把握就很大了，于是他赶紧跑去跟公主说情，公主也很高兴，将上官安的女儿召进宫中封为婕妤，几个月后又册封为皇后，上官安被提拔为骑都尉。
丁外人对上官安的承诺做到了，该到上官安实现对丁外人的承诺了。上官安跟父亲上官桀去求霍光，本朝规矩是列侯娶公主，丁外人跟公主都住在一起了，而且也得到了朝野的默许，不如就成全他们吧。但是霍光认为公主跟丁外人这事不合法，公主本身已经嫁给盖侯，如果封丁外人为列侯，可谓名不正言不顺，天下人会怎么看？既然不封侯，那封个光禄大夫也行啊，至少公主就有了正当的理由召见丁外人了。