永和三年(347年),桓温攻灭成汉。此后,他权威日盛,名声大振,连朝廷对他也惧怕三分。司马昱认为扬州刺史殷浩素有盛名,朝野对他也推崇佩服,便以他作为心腹,让他参与朝政,想以此与桓温抗衡。从此殷浩与桓温便逐渐开始互相猜忌,彼此间产生了异心。司马昱在此后大量援引会稽人士及玄学同好进入中央,来制衡桓温。这些人对穆帝、废帝时期对外战争或内政,都产生诸多影响。
永和七年十二月(352年1月13日),桓温多次请求北伐未获准,于是率军四五万人顺长江而下,驻扎在武昌。朝廷十分恐惧,抚军司马高崧为司马昱写信责备桓温,他才返回镇地。同年(352年)七月,司马昱升任司徒,但他推辞不肯担任。
殷浩连年北伐,屡屡被打败,军粮器械消耗殆尽。永和十年(354年),桓温借朝野上下对殷浩的怨愤,趁机上书列举殷浩的罪行,请求将他黜免。司马昱不得已,只得将殷浩贬为庶人,流放到东阳郡信安县。从此,内外大权都集中在桓温手里。
升平二年(358年),当时穆帝已到始冠之年(二十岁),司马昱意欲还政于穆帝,但穆帝不许。
兴宁三年(365年),司马昱听说冠军将军陈佑放弃洛阳,便与桓温在洌洲会面,共同商议征讨事宜。不久,哀帝司马丕驾崩,此事搁置起来。哀帝崩后,由琅玡王司马奕即位,褚太后以琅邪王绝嗣为由,再封司马昱为琅邪王(作为储君),又封司马昱之子司马曜为会稽王。司马昱不肯受封,尽管被封琅玡却未去会稽王之称。
太和元年(366年)十月,司马昱进位丞相、录尚书事,赐“入朝不趋,赞拜不名,剑履上殿”的荣誉,又赐羽葆、鼓吹及持班剑的武士六十人,司马昱又坚决辞让。
太和四年十一月二十五日(370年),在桓温北伐失败后,司马昱与桓温在涂中会面,共同商议之后的行动。
太和六年十一月十五日(372年1月6日),大司马桓温废司马奕为东海王,并于同日率百官到会稽王府奉迎司马昱,司马昱在朝堂更换服装,戴平顶头巾,穿单衣,面朝东方流涕,叩拜接受皇帝的印玺绶带,即日便即位为帝,改年号咸安。桓温临时住在中堂,分派兵力屯驻守卫。
桓温及后写了讲辞,打算向司马昱陈述自己废立皇帝的本意。但司马昱接见他不停流泪,令桓温战战兢兢,居然一句话都说不出来。
司马昱虽处在帝位,垂拱无为、持守常道而已,常惧废黜。当时,司马昱见荧惑入太微垣,因晋废帝被废时亦有同样天象,故此十分不安,对桓温亲信也是自己昔日僚属的郗超问桓温会否再行废立之事。郗超断言道:“大司马正在对内稳定国家,对外开拓江山,臣愿用全家百余口来担保,不会发生不正常的事变。”等到郗超急于请假回去看望他的父亲(郗愔,忠于晋室)时,司马昱说:“告诉尊父,宗族国家之事,竟到了这种地步,是因为朕不能用道德去匡正守卫的缘故,惭愧慨叹之深,怎能用语言来表达!”接着便咏庾阐之诗:“志士痛朝危,忠臣哀主辱。”吟诵得潸然泪下,打湿了衣襟。司马昱也因而忧愤得病。
咸安二年七月甲寅(372年9月7日),司马昱因病重召桓温入朝辅政,一天一夜连发四道诏令,桓温都推辞不到。二十八日(9月12日),司马昱立司马曜为太子。临终前,司马昱写了遗诏,要桓温依周公先例居摄,又写道:“少子可辅者辅之,如不可,君自取之。”王坦之在司马昱面前亲手撕毁遗诏,司马昱说:“晋室天下,只是因好运而意外获得,你又对这个决定有什么不满呢!”王坦之却说:“晋室天下,是宣帝(司马懿)和元帝(司马睿)建立的,怎由陛下独断独行!”司马昱于是命王坦之改写遗诏,写道:“家国事都禀报给大司马,如诸葛武侯(诸葛亮)、王丞相(王导)的旧例。”桓温看到后大失所望。同日,司马昱在东堂驾崩,享年五十三岁。十月初八(11月19日),葬于高平陵,庙号太宗,谥号简文皇帝。