嘉靖四十一年(1562年)，有山东道士蓝道行以善于扶乩闻名于燕京，徐阶将蓝道行介绍给世宗，一日蓝道行在扶乩时称“今日有奸臣奏事“，刚好严嵩路过。世宗对严嵩父子日久生厌。最终，严氏父子的权势被蓝道行的几句话推倒。嘉靖四十四年(1565年)严世蕃被判斩首，在行刑前大哭一番，严嵩被没收家产，削官还乡，无家可归。隆庆一年(1567)，严嵩在贫病交加中去世，终年八十七岁。他死的时候，寄食于墓舍，既无棺木下葬，更没有前去吊唁的人。
说道严嵩当然也要顺带提及他的儿子严世藩了。严世蕃(1513年4月27日~1565年4月24日)，汉族，字德球，号东楼，小名庆儿，江西袁州府分宜(今JX省分宜县)人，明代嘉靖朝首辅严嵩之子。
严世蕃未经科举步入仕途，以严嵩的名势，先入国子监读书后为官，历官尚宝司少卿、太常寺卿、工部右侍郎，官至工部左侍郎。
据说，严嵩眉目疏疏，声洪而尖，符合民间百姓心目中刻画的奸臣形象。而严世蕃的相貌与其父并不相像，严世蕃奸猾机辩，通晓时务，熟悉国典，而且还颇会揣摩别人的心意，是而被称为嘉靖朝第一鬼才。
严世蕃，短项肥体，眇一目，由父任入仕。以筑京师外城劳，由太常卿进工部左侍郎，仍掌尚宝司事。剽悍阴贼，席父宠，招权利无厌。然颇通国典，晓畅时务。尝谓天下才，惟己与陆炳、杨博为三。炳死，益自负。嵩耄昏，且旦夕直西内，诸司白事，辄曰:“以质东楼。“东楼，世蕃别号也。朝事一委世蕃，九卿以下浃日不得见，或停至暮而遣之。士大夫侧目屏息，不肖者奔走其门，筐篚相望于道。世蕃熟谙中外官饶瘠险易，责贿多寡，毫发不能匿。其治第京师，连三四坊，堰水为塘数十亩，罗珍禽奇树其中，日拥宾客纵倡乐，虽大僚或父执，虐之酒，不困不已。居母丧亦然。好古尊彝、奇器、书画，赵文华、鄢懋卿、胡宗宪之属，所到辄辇致之，或索之富人，必得然后已。被应龙劾戍雷州，未至而返，益大治园亭。其监工奴见袁州推官郭谏臣，不为起。
御史林润尝劾懋卿，惧相报，因与谏臣谋发其罪，且及冤杀杨继盛、沈炼状。世蕃喜，谓其党曰:“无恐，狱且解。“法司黄光升等以谳词白徐阶，阶曰:“诸公欲生之乎?“佥曰:必欲死之。“曰:“若是，适所以生之也。夫杨、沈之狱，嵩皆巧取上旨。今显及之，是彰上过也。必如是，诸君且不测，严公子骑款段出都门矣。“为手削其草，独按龙文与汪直姻旧，为交通贿世蕃乞官。世蕃用彭孔言，以南昌仓地有王气，取以治第，制拟王者。又结宗人典楧阴伺非常，多聚亡命。龙文又招直余党五百人，谋为世蕃外投日本，先所发遣世蕃班头牛信，亦自山海卫弃伍北走，诱致外兵，共相响应。即日令光升等疾书奏之。世蕃闻，诧曰:“死矣。“遂斩于市。籍其家，黄金可三万余两，白银二百万余两，他珍宝服玩所直又数百万。
嘉靖二十七年(1548)，严嵩再任首辅时，已经年近七旬，逐渐有些年迈体衰，精神倦怠。这时，他还要日夜随侍在皇帝左右，已经没有时间和精力处理政务。如遇事需要裁决，多依靠其子。他总是说“等我与东楼小儿计议后再定“，甚至私下让世蕃直接入值，代其票拟。票拟就是内阁在接到奏章后作出批答，再由皇帝审定，是阁臣权力的重要体现。
世蕃的票拟多能迎合世宗的心意，因此多次得到世宗的嘉奖。严嵩干脆就将政务都交给其子，世蕃一时“权倾天下“。
当时严氏父子把持着朝中官吏的任选、升迁。官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。严世蕃利用各种手段大肆搜刮，家财富可敌国。据说，严世蕃与妻子要将金银埋藏到地窖里，想起这都是仰仗他父亲得来的，于是就请严嵩来观赏，严嵩一见，数量之巨出乎想象，顿时目瞪口呆，隐约感到大祸将至。
一次，严嵩的义子赵文华从江南回来，送给严世蕃的见面礼就是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。就这些礼物，严世蕃还嫌太少，心里非常不满，可见他的贪婪到了何种程度。世宗的第三子裕王朱载垕，按例应被立为太子，但世宗对他不是很亲近。因此，严氏父子对他也很冷淡。就连照例每年该给裕王府的岁赐，户部都因为没有严氏父子的命令而一连三年都没给发放。最后，这位未来的皇帝凑了一千五百两银子送给严世蕃，严世蕃欣然接受，才让户部补发了岁赐。严世蕃每每向人夸耀:“天子的儿子尚且要送给我银子，谁敢不给我送银子?“严世蕃的胆子真是大到了极点。
嘉靖四十三年(1564)，严世蕃又被御史弹劾。世宗大怒，将严世蕃逮捕下狱。第二年案结，严世蕃被斩。