廖谟案本身并不重要，可这件案子却将杨士奇和杨溥同时牵扯了进去，最后完美解决案子的居然是“三杨”当时的对头——王振。王振的处置不可谓不妥当，更是借机暗示杨士奇和杨溥先前的处置不公，在太皇太后心里留下了阴影。这些事情发生在一起，王振在宫中的威望终于超过了“三杨”。之后王振以靖江王贿赂杨荣为借口对杨荣发难，杨荣只得从地方上返回京师申辩，最终无奈在途中病逝。“三杨”去其一，余下两人又被宫内猜忌，内阁的势力已经渐渐式微。正统七年随着太皇太后的离开，内阁失去了最大的依仗，再也无力与王振互斗。这时王振却抓住杨士奇的儿子为祸乡里的不法事迹攻击杨士奇，迫使杨士奇只能致仕还乡，“三杨”去其二，独留的杨溥彻底失去了与王振对抗的能力。
王振在与“三杨”的关系上，从最开始的唯命是听，到自己羽翼渐丰后在政见上提出反对，最后抓住一切机会将“三杨”斗倒，从而掌控了内阁，稳固了自己对外廷的影响。
第三回合：王振VS六部诸司
明太祖废相之后，外廷职能部门失去了最高领袖，六部地位迅速提高，成为皇帝直属衙门。
出于处理行政事务及完善行政体制的需要，明初诸帝不断探索尝试，直至仁宣时期，内阁体制成熟。内阁在“三杨”的带领下地位迅速提升，力压六部，成为事实上的外廷领袖。可内阁压六部的形势并不稳固，一方面是这种形势实际是“三杨”三人的个人威望，三人一旦失去宠信，内阁也将丢失话语权；另一方面，内阁的职责并没有改变，还是只能作为“顾问”的身份出现在决策层面。英宗冲龄即位时，正是历经四朝的“三杨”朝中威望最高之时，国事的决策都提前拟好，朱祁镇只是程式性地背诵的情况不可避免。随着朱祁镇年龄的增长，心智的成熟，“三杨”却没有适时调整自己的做派，朱祁镇想摆脱这种控制，想将权力实际控制在自己手上，王振便利用朱祁镇的这个心态，提议用重典治理外廷。