在这之后，他却迅速失去了嘉靖的宠信。
根据史学家的分析，夏言“豪迈有俊才，纵横辩博，人莫能屈”，颇有恃才傲物的士人习气。虽然在往上爬的过程中，一味委屈自己顺从皇帝的兴趣点，但在坐稳首辅的位置后，他的个性自然就流露出来了。用现在的话说，夏言有点飘了。对嘉靖热衷的仪式不再上心，青词也不好好写了，给皇帝的奏章竟然还出现了错别字。
嘉靖也不是吃素的，他常常会通过一些手段来彰显权威，避免首辅专权。在夏言担任首辅期间，嘉靖曾因很小的事发脾气，当场就把夏言的首辅之职撸掉。过几天气消了，再把夏言喊回来，官复原职。
就在夏言日渐失宠的时候，嘉靖已经物色到了牵制首辅权力的新人选。这就是严嵩。
说起来，严嵩（1480—1567年）与夏言是江西老乡。虽然年龄比夏言还大两岁，中进士也比夏言早6年，但在官场的资历却比夏言浅。究其原因，是严嵩这个人比较背。25岁就中进士，名次还很高，二甲第二名，但刚开始做官，母亲去世，本人大病，蹉跎了好些年，混到40多岁，还在南京翰林院任职，感觉一辈子就要在这个虚位上退休了。没想到，人到老年，竟然转运了。先是从南京翰林院调到北京翰林院，接着，夏言出任首辅时，力荐自己这位老乡接任礼部尚书一职，严嵩由此开始显达。
