这个提议也被霍光拒绝了。
丁外人的事儿泡汤了，公主对霍光非常恼火，而上官桀父子答应了人家，现在又做不到，也觉得没脸见人。尤其上官桀。在武帝时期，他就已经是九卿，地位在霍光之上，现在又是皇后的爷爷，虽然霍光也是爷爷，但外的不如家的亲，自己家跟皇家，其实就是一家，霍光你一个外人，凭什么这么嚣张！
他对霍光也开始不满，打算争夺权力。对霍光不满的不止这几个人，还有几股势力。其一便是燕王刘旦，他的继承人身份不被许可，后来还被削去了三个县，心里很恼火。武帝去世，昭帝即位，他就意欲掀起风浪。他派人寿西长、孙纵之、王孺等人到京城探听消息，问执金吾广意：“皇帝得什么病死的？立的又是谁家的孩子？今年多大？”气势比较嚣张。
霍光为了安抚他，赐给他三千万钱，益封一万三千户，但是他并不满足，他的野心很大，意在为帝，跟一些人勾结，一心希望推翻朝廷，建立新秩序。
还有一个人对霍光也不满——大名鼎鼎的桑弘羊。桑弘羊是武帝时期红极一时的财政大臣，靠着他的帮助，武帝得以有足够的资金，顺利完成征讨大事，所以临死前武帝封桑弘羊为御史大夫，朝廷职位的第三把手。武帝去世后，朝政全由霍光这几个人处理，桑弘羊一下子没事可做了，他再也感受不到自己的重要性，再也没有万众瞩目的感觉了，感觉似乎要被这个时代抛弃，所以趁着还有点儿权的时候，打算给家族谋点儿福利，请求霍光提拔他的子弟。
他的想法是，自己给国家给朝廷做了这么多事情，这点儿请求应该不过分吧，何况自己还是御史大夫呢！没想到这一招在霍光这里无效，霍光曾经将昭帝的请求都给驳回了，鄂邑公主跟亲家的请求也都给驳回了，更别说什么御史大夫了。
桑弘羊没达到目的，也对霍光怀恨在心。
从藩王到朝廷重臣，这些人都想要除掉霍光，霍光的处境一下子危险了，但是霍光自己并没有觉察到，所以该上班时就上班，该休假时就休假。天还是跟昨天一样蓝，空气还是跟昨天一样新鲜，大臣们的笑脸也跟昨天一样灿烂，一切似乎都很正常。他放心地休假去了，临走的时候，照例将朝政交给上官桀处理。
就在他休假这一天，出事儿了。
上官桀、桑弘羊等人跟燕王刘旦同谋，趁着霍光休假不在朝廷，让人以燕王的名义上书告状，说霍光出行用的是皇帝的规则，而且他任人唯亲，苏武在北海放了十八年的羊，又是吃羊毛又是喝雪水的，回来只给了个小小的典属国做，而杨敞任何功劳都没有，只因为是霍光的人，就提拔他做搜粟都尉。霍光还私自调动幕府校尉，可能是要图谋不轨。不如让我赶紧入宫宿卫，保护皇帝。