在朝廷重要职位，权力越来越大。明世宗也渐渐讨厌他。有一次，明世宗请道士蓝道行扶乩（一种迷信活动），蓝道行借乩仙的意旨，劝世宗除掉严嵩，明世宗也有点心动。这件事让御史邹应龙打听到了，觉得这是打击严嵩的好时机，但他想想杨继盛的下场，又有点犹豫。经过周密考虑，决定先从弹劾严世蕃下手。

    严世蕃依仗他父亲权势，作恶多端。邹应龙弹劾严世蕃的奏章一上去，明世宗果然下令把严世蕃办罪，充军到雷州，并且勒令严嵩退休。

    严世蕃和他的同党是一批亡命之徒，他们没到雷州，就偷偷溜回老家，收容了一批江洋大盗，还勾结汉奸汪直和倭寇，准备逃亡到日本去。这一件事又被另一个御史林润揭发。

    昏庸的明世宗看到这份奏章，也大为震惊，立刻下令把严世蕃和他的同党斩首示众，把严嵩革职为民。明朝最大的权奸，终于倒台。