摸底细，说可以暂居南城离宫。南城宫是英宗失帝位时住的地方，世宗因此而不高兴。又问大学士徐阶，徐阶则请修永寿宫。不久永寿宫就拔地而起，且比原先愈发漂亮，改名万寿宫。万寿宫的营造，标志着严嵩政治生涯的结束，从此，世宗遇事就不再找严嵩了。

    严嵩已经失宠，朝廷中想要扳倒严嵩的官员们就加紧行动起来。有一次天下大雨，御史邹应龙就便到一个太监家中躲避，两人闲聊之中，太监不觉提到了蓝道行的乩言以及皇上对严嵩的种种不满。邹应龙见有机可乘，写了一个奏文弹劾严嵩父子，次日就送了上去。世宗展开来看，大抵是弹劾严世藩假父亲权势，贪赃枉法，干乱朝政，不敬不孝，等等，连带着也奏严嵩溺子之过，疏奏最后写道“如有不实之辞，宁愿被斩首以谢严家父子。”世宗读罢奏疏，即召徐阶商议如何处理。徐阶将左右的宦官屏退，小心翼翼地对他说：“严家父子罪恶昭彰，陛下要果断处置，不然可能发生事变。”世宗于是发锦衣卫驰入严府，宣读诏书，勒令严嵩致仕回乡，并逮严世藩入狱，其后谪戍雷州（今广东雷州半岛）。严嵩布在朝中的心腹，尽被弹劾，陆陆续续被罢了官职。

    严嵩倒台之后，徐阶代为首辅。世宗将严嵩值班用的房子赐给了徐阶。徐阶对世宗感恩不尽，研墨挥毫写了3句话，让人装裱起来挂在值房里面：以威福还主上，以政务还诸司，以刑赏还公论。他依照这3句话主持政务，做了一些好事，使嘉靖一朝在最后的5年里稍许有点像样，朝臣们推他为“名相”。世宗对他感到很满意，其信任程度，超过了严嵩。

    世宗自嘉靖中年之后，于热衷方士方术的同时，又添了新的喜好，就是喜欢谈瑞祥。他的这一喜好，一直到了垂暮之年，仍乐此不倦。嘉靖三十七年（公元1558年），总督浙闽的胡宗宪因平倭不见大效，受到内阁的指责，就将在舟山捕获的一只白鹿献给世宗。世宗见此转怒为喜，在玄极宝殿、太庙举行了隆重的告庙礼，百官也都纷纷称贺。胡宗宪听到消息，又将两只白龟献进宫来，还一同带来了5棵奇大无比的灵芝，世宗高兴地将这两样东西命名为“玉龟仙芝”。作为回报，他给胡宗宪提拔了官职，赐给若干银币，并赐金鹤衣一裘。献瑞祥既可讨好，百官何乐不为？

    世宗醉心于瑞祥感应，晚年尤甚，督抚大吏争上符瑞，礼官动辄表贺，举朝重臣包括徐阶对此皆莫敢言半个“不”字。倒是小小户部主事海瑞，斗胆独自上了一疏，给世宗泼了一瓢凉水。嘉靖四十五年二月，海瑞上长疏建言说：“陛下竭民脂膏，滥修土木，二十余年不视朝，法纪坏到了顶点。由于你猜疑戮辱忠臣，使得贪官污吏横行，百姓困苦之极。虽然陛下处置了严嵩等坏人，但社会政治仍然不清明，老百姓说‘嘉者，家也；靖者，尽也。’意思是民穷财尽。陛下试思今日之天下，是个什么样的天下？……人君自古就有犯错误的，但因有大臣匡正，不至一错再错。陛下如今仍修斋建醮，工部尽力经营，户部四处购香，竟无人指出陛下的错误，这也是大臣的失职。陛下的过错很多，其最大的在于求长生。陛下跟陶仲文求仙，连他都不能长生，何况陛下。陛下误信受骗，真是大错特错。”海瑞上疏之后，自知触忤了龙颜，命仆人买了棺材在家待罪，与妻儿留下遗言，并将僮仆一一遣散。世宗见到疏奏，大发雷霆，他将疏奏扔在地上，环顾左右咆哮说：“此人大胆妄言，立即逮捕，不准他逃掉！”宦官黄锦对他说，海瑞为人素有直名，且根本不打算逃走，而是在家等候降罪。世宗听完略有所思，又取疏奏看了一遍。怒气稍平后，他把徐阶找来，说：“海瑞说人不能长生，也可能是正确的。但我长时间生病，不能视事，吃点仙药有什么不可以？”又说：“这也怪我平时不注意爱惜身体，若能出御上殿，何至被他如此毁谤呢？！”徐阶答道：“海瑞虽然言过了，