嘉靖三十七年，刑科给事中吴时来，刑部主事张翀、董传策，联手行动，在同一天上疏弹劾严嵩。吴时来说：严嵩辅政二十年，文武官员升迁或罢黜，由他一手包办；纵容儿子严世蕃出入禁地，代行内阁首辅职权。严世蕃因此招权示威，对高官颐指气使，视将帅如奴仆；公然授受贿赂，家中赃财堆积如山；安排亲信万寀把持吏部文选司，方祥把持吏部职方司，按照他的意志来任免官员。如果不除去严氏父子，陛下虽然宵旰忧劳，必将于事无补。张翀说：臣每每经过长安街，见到严府门前充斥着边镇将帅的使者，在见严嵩之前必须先向儿子馈赠厚礼；在见他的儿子之前必须先收买他的管家。他的管家严年的私产已经超过数十万两银子，严氏父子的财富可想而知。
结果是在意料之中的，吴、张、董三人都遭到严惩，吴时来发配陕西横州，张翀发配贵州都匀，董传策发配广西南宁。
严嵩之所以不能扳倒，道理很简单，有皇帝撑腰。一旦失去皇帝的恩宠，情况就大不同了。嘉靖四十年，一向善于阿谀逢迎的严嵩，一言不慎，得罪了皇帝，从此失去恩宠。
嘉靖四十年十一月二十五日夜里，大火把西苑永寿宫化作一片废墟。如何善后？大臣中发生了分歧，有的主张修复永寿宫，有的主张皇帝迁回大内。严嵩不知出于何种考虑，既不同意修复永寿宫，也不同意迁回大内，别出心裁地建议皇帝迁往南苑（重华宫）。这一建议触犯了禁忌——南苑是一个不祥之地，当年被蒙古俘虏的英宗回京时，景帝把他幽禁在南苑重华宫。嘉靖皇帝对此颇为忌讳：严嵩为什么建议我去那个倒霉的地方？
内阁次辅徐阶一向圆滑，从不敢和严嵩对着干，这时敏感到皇帝已经不再宠信严嵩，便反其道而行之，积极主张修复永寿宫；并且以最快的速度竣工，让皇帝搬进心爱的永寿宫，因而博得了皇帝的欢心，眷顾的天平向徐阶倾斜了。
徐阶为了扳倒严嵩，利用皇帝笃信道教的弱点，收买他身边的道士蓝道行，在扶乩时，假借神仙之口攻击严嵩，取得出奇制胜的效果，皇帝“幡然醒悟”，抛弃了宠信二十年的奸臣。据唐鹤征《皇明辅世编》记载，情节很是生动有趣。
某一天，皇帝向蓝道行提问，蓝道行扶乩，请神仙回答。人神之间的对话如下：
皇帝问：今日天下为何不能治理？
神仙答：原因在于，贤能者不能进用，不肖者不能屏退。
皇帝：谁是贤能者？谁是不肖者？
神仙：贤能者是内阁辅臣徐阶、吏部尚书杨博，不肖者是严嵩父子。
皇帝：我也知道严嵩父子贪赃枉法，念及他们奉承玄修多年，姑且容忍。他们果真是不肖之徒，上天真君为何不震怒，予以惩罚？
神仙：严世蕃恶贯满盈，应该迅速严惩，因为他在京城，上天恐怕震惊皇帝。如果把他发配到外地，便可以让他粉身碎骨。
扶乩完毕后，蓝道行马上把这一机密情报告诉徐阶。徐阶唯恐皇帝反悔，半夜三更派人通知御史邹应龙撰写奏疏，弹劾严嵩、严世蕃父子，此日清晨立即呈送皇帝。接到这份奏疏，皇帝当即下旨：勒令严嵩退休，逮捕严世蕃，流放边疆。不久，皇帝就有些反悔，多年积累的感情一时难以割舍，每每想起严嵩“赞修之功”，若有所失，闷闷不乐。写了一道手谕给新任首辅徐阶：“嵩已退，其子已伏辜，敢再言者，并（邹）应龙斩之。”也就是说，今后如果再有官员提及严氏父子的事情，那么就把那个官员连同邹应龙一并处死。
皇帝态度的微妙变化，后果是明显的。严嵩虽然退休，并未伤筋动骨；严世蕃流放海南岛雷州，成了虚应故事的官样文章，行至半路就返回江西老家，威风依旧。他的党羽罗龙文也从流放地逃回江西分宜严府，与严世蕃策划如何翻盘。
管辖分宜的袁州知府了解到这一动向，添油加醋地夸张为严府“聚众练兵谋反”，通报给巡江御史林润。林润先前曾经弹劾严氏父子的党羽鄢懋卿，担心严世蕃如果东山再起，可能遭到报复，立即把这一情况上报朝廷，再度加以夸张：严世蕃、罗龙文“蔑视国法”，“有负险不臣之志”，聚集勇士几千人，图谋不轨，为此还勾结“倭寇”，做着“谋反”的准备。
嘉靖皇帝对于严嵩罢官有点后悔，严世蕃流放途中擅自逃回，也就睁一眼闭一眼，不予追究，况且追究下去对自己也不光彩。不过作为一国之君，可以容忍他们贪赃枉法，绝对不能容忍谋反，接到林润的报告，马上下达圣旨，逮捕严世蕃、罗龙文，押解来京审问。
严世蕃似乎早就做好了预案，胸有成竹。他听说言官们想通过治他的罪，为沈炼、杨继盛平反，很是高兴，得意洋洋地对党羽说：“任他燎原火，自有倒海水。”那么，他的“倒海水”是什么呢？
他们策划的“预案”是这样的：在审讯、定案时，可以接受贪赃枉法罪，好在皇帝对此并不在意；最为可怕的是“聚众”、“通倭”，务必要买通关节，删去这些词句，代之以沈炼、杨继盛的冤狱，来激怒皇帝，藉以脱身。以他昔日的余威，以及在官场的关系网，很容易地买通三法司（刑部、大理寺、都察院）的官员，在定罪文书上写进为沈炼、杨继盛翻案的文句。这是一个很难察觉的阴谋，因为对于沈炼、杨继盛的惩处，实际上是皇帝亲自决定的。为沈、杨翻案，就等于要皇帝承认错误，肯定会激怒刚愎自用的皇帝。这样的话，可能性极小的翻盘计划，或许将由于皇帝的一句话，成为现实。
严世蕃精心策划的险招，被精明过人的徐阶识破了。三法司把严世蕃的定罪书交给内阁首辅过目，徐阶一下就看出了问题，要害是“彰上过”（彰显皇上的过错）。他把刑部尚书黄光升等引入内室，屏退左右，问道：诸君子以为严公子应当生还是死？黄光升答道：死不足以赎罪。又问：那么此案是杀还是生？答道：用杨继盛、沈炼案，正是要严公子抵死。
徐阶慢条斯理地说：恰恰相反，杨继盛、沈炼案件诚然激怒天下公愤，杨、沈二人都是皇上亲自下旨处死的，皇上岂肯“自引为过”？一看到这份定罪书，必定怀疑三法司企图借严氏案件，“归过于上”，必然震怒，你们几位主事者恐怕罪责难逃，严公子却可以得意洋洋离开京城了。
黄光升等惊愕得说不出话来，请教补救良策。
徐阶说：稍迟事机泄露，将不可收拾。说罢，从袖子中拿出一份文稿，把基调定在严世蕃与罗龙文聚众谋反上——“多聚亡命，南通倭，北通虏，共相响应”。议论已定，随即叫书吏誊清，加盖三法司印章密封，送呈皇上。
这一切严世蕃是不知道的，他还在暗自窃喜，自己的计谋已经得逞，对罗龙文说：他们要以你我为杨、沈抵命，奈何？罗龙文不解其意，没有说话。他抓住罗的手，轻声说：且畅饮几杯，不出十日，必定释放而归。皇上因此感念家父，别有恩命，也未可知。到时候再来收拾徐阶，还不晚。
严世蕃诡计多端，殊不知徐阶棋高一着，使得他的如意算盘落空了。
经过徐阶修改的定罪书，强调的重点别出心裁，是皇帝毫不知情的罪状：“谋反”、“通倭”、“通虏”。为此虚构了子虚乌有的情节。例如：严世蕃和罗龙文一起诅咒朝廷，召集亡命之徒几千人，操练兵法，妄图谋反，并且企图勾结倭寇、蒙古，内外呼应。
严世蕃罪大恶极，不杀不足以平民愤。但是，平心而论，把“谋反”、“通倭”、“通虏”的罪状强加于他，是用诬陷不实之词掩盖真正的罪状，用捏造的罪状来定案，显然是在耍弄阴谋诡计。这样一来，避开了“彰上过”的要害，皇帝很平静地接受了，作出这样的批示：仅仅凭林润的揭发，还不足以定案，也不足以昭示后世，必须进一步核实。徐阶和三法司再度耍弄手段，根本没有核实，径直由徐阶代替三法司起草“核实”报告，用肯定的语气回答皇帝：经过核实，严世蕃“谋反”、“通倭”、“通虏”证据确凿。
嘉靖四十四年（1565）三月二十四日，皇帝下达圣旨，批准三法司的拟议，以“交通倭虏，潜谋叛逆”的罪名，判处严世蕃、罗龙文斩首。严、罗二人得到消息，大失所望，抱头痛哭，家人要他们写遗书“谢其父”，竟然“不能成一字”。京城百姓大快人心，各自相约前往西市观看行刑，饮酒庆祝，一时间西市热闹得如同节日。随之而来的是查抄严府，据说有黄金三万余两、白银三百余万两，其他珍宝古玩价值白银数百万两。已经罢官的严嵩，被黜革为民，其孙子充军。曾经不可一世的权奸，精神彻底崩溃，寄食于墓舍，一年之后命归黄泉。
严嵩、严世蕃父子恶贯满盈，罪有应得，留给人们深思的是，以往持续多年的义正词严的弹劾，为何始终不能奏效，而充满阴谋与权术的做法却取得了成功？几年后，史官在编纂《明世宗实录》时，对此表示了质疑：严世蕃凭借父亲的威势，“盗弄威福”，“浊乱朝政”，完全可以用“奸党”罪处死，三法司偏偏要说他“谋逆”。无疑是“悉非正法”的处置。所谓“悉非正法”云云，就是没有以事实为依据，以法律为准绳，而是用一种非法手段处死本该处死的罪犯。
看起来匪夷所思，其实不足为奇，否则的话，就不成其为专制政治了。
严嵩死后，颇有一些人为他婉惜，以为其人很有文才，事情都坏在儿子严世蕃手上。晚明文人何乔远就有类似的看法：“（严）嵩相二十许年，不近女色，精心从上奉玄，别以文章交欢士大夫，而以朝政委其子世蕃。凡九卿科道有所请，则曰：‘小儿识天下大体，可与商。’世蕃以父任为工部侍郎，狡谲有机智，颇记识往牒。是时，四方多故，世蕃遇疑难事，皆能援已然，参所见以对。其父嵩依所对以闻上，时时契上意，嵩益谓世蕃能。世蕃嗜酒凶诞，姬妾满前，倚父宠，窃国柄无忌，受四方财贿累数百万。有不得其意者，明借上旨杀之。”他的意思是，子以父贵，父以子祸。这种似是而非的观点，从明末一直到清初，始终不为有识之士认可，清朝官方编纂的《明史》，仍然把严嵩列入奸臣传，绝非偶然。
