后来因为秦桧的挑拨，两人更是势同水火。

在确认淮西军归属的时候，张浚书生意气有心向岳飞示威，表示自己的胜利者，亲自告诉岳飞官家已经决定不将淮西军叫给他统领，而且也收回了将诸路大军交给他节制示的话来。

当时，岳飞是如此说的：“淮西一军由刘相公建立，崇尚金银，多叛亡盗贼，军心不齐，生变在反掌间。王德与郦琼素不相上下，可一但身份相差过句，一人位于另一人之在，则必争先。吕参谋军事虽通才，有谋略，然书生不习军旅，不以足以服其众。飞，认为必择诸大将中能者付之，然后可定，不然，此举福祸未可测。”

张浚心中不服，忍气道：“张宣抚如何？”

岳飞如实道：“张宣抚乃我大宋宿将，飞之旧帅。但他为人暴而寡谋，王德、郦琼素所不服，易生变故。”

张浚恨声道：“杨沂中又如何？”

岳飞道：“杨沂中高傲，视德等尔，岂能御此军！”

张浚更怒道：“韩宣抚如何？”

岳飞道：“韩宣抚智勇双全，但治军不严，难驭此军。”

岳飞直言不讳，但张浚当时却认为岳飞无非是执意扩大自己的实力，勃然大怒，道：“浚固知除太尉，他人不可胜任。”

岳飞刚直，脾气倔强，心底对赵构君臣的出尔反尔，愤慨之极，此刻也说了重话，怒道：“相公发问，飞不敢不如实作答。除飞外，我大宋也只有罗腾飞上将军足以震住淮西军，他人治军不能做到极严，反而生乱。”

最终两人不欢而散。

如此想来，岳飞当真是高瞻远瞩。虽不能预料淮西军真会反叛，但也看出了淮西军潜在的弊端。事实也是如此，一切都如岳飞预料，淮西军军心不齐，容易生变；王德与郦琼因权成仇；而吕祉因书生意气，而导致淮西军人人不满。

“若当时真听鹏举之言，又岂会落入这般田地？”

张浚无力长叹，世上没有后悔药吃，如今说什么也是晚了。

看着门堪罗雀的宰相府外，想着当初门庭若市的景象，张浚忍不住长叹一声：“所谓世态炎凉，便是如此吧！”

便在这时，屋外传来赵构召见的消息。

张浚再度长叹，低声道：“该来的始终要来！”他蹒跚的站起，以颤抖的手拿起桌上的一封奏折，面见赵构去了。

那是他请辞请罪的奏折，与其由赵构亲自下令贬罚，不如痛快一些，自己贬了自己。