不过在后来的几年里，由于齐氏树大招风，从而招致祸患，最终，齐氏一族被冠上谋逆这项污名，在朝为官的齐氏子弟悉数被贬，余下族人则被流放到荒芜之地。
齐伯晏虽然在朝中极具威望，却还是逃不过贬去兴州这一个天高皇帝远的地方做安抚使的下场。
承朝的第四任皇帝登基后，郑太后看中他的才能，于是特地命人请他回京以帝师的身份辅佐新帝。
他怎么也没料到，新帝才登基不到一年，身子就垮了。
又过一年，新帝驾崩，太后临政，齐伯晏辞官离宫。
几经波折，再加上朝代更迭太快，他如今的心境早已大不如前，辞官后便一直待在京中碌碌无为。
这还没享几年清闲，齐伯晏就收到太后宫里来的密旨，旨中明确交代让他前去煜王府辅佐刚回朝不久的煜王殿下，齐伯晏明知太后此番意图，却碍于身份不好托辞。
在煜王府的那段时间，韩煜修看重齐伯晏过人的能力，而齐伯晏也是极为赏识韩煜修的才识和谋略，他们之间，亦师亦友。
韩煜修登基后，就封了齐伯晏为太傅，并赐予他“进宫面圣时不必通传，且可以随意进出金銮殿”这一项特权。
不过，朝中人人最忌惮的就是那些位高权重的大臣，尤其是像他齐伯晏这种辅佐过三代帝王的角色。
齐伯晏一边顶着那些朝中群臣虎视眈眈的目光，一边尽心辅佐着韩煜修。
直到他顺利亲政的那一年，为了打消那些大臣的顾虑，也为了保全自己的性命，齐伯晏公然上奏，自请解官还乡。
……
齐伯晏抬手捋着胡子，笑呵呵道：“老夫此次也没有其他什么事，只是难得入京一趟，想与皇上叙叙旧罢了。”
魏偲见他态度如此诚恳，便决定冒次险，哪料他这前脚刚进殿，后脚就被韩煜修给轰了出来。
齐伯晏见状，没再说什么，转手拿出一盒糕点交到魏偲手上，并道：“老夫记得皇上年少时最喜食这云片糕，既然皇上现下不便见客，那便劳烦内侍大人替老夫转交吧，记住，一定要亲手交到皇上手上，别负了老夫的一片心意。”
还未等魏偲反应过来，齐伯晏便迈着蹒跚的步子离开了，他想，如果不出意外的话，他是不会再踏入这宫门一步。