百姓闻讯，拦阻在岳飞的马前，哭诉说担心被金兵秋后算帐：「我等戴香盆、运粮草以迎官军，金人全部都知道。岳帅这么一走，我们大家哪还有活路？」岳飞无奈，含泪取詔书出示眾人说：「皇上命令我绝不能擅自决定留下来。」于是哭声震野，人心绝望。
岳飞决定留军五日，以便当地百姓随军南迁，不料愿意跟着南迁的人太多，所以紧急上奏朝廷，以汉上六郡间田来安置他们。
岳飞班师途中，前几天连发的捷报才陆续到达临安，满朝上下都知道这一次阴错阳差，因为讯息往来费时造成的资讯时间落差，同时又不信任前线大将，导致失去中兴的大好良机。可是因为此事是由高宗与秦檜主导，没有人胆敢揭他们的疮疤。
高宗深觉懊恼，于七月二十五日命令杨沂中的殿前司军从临安府开赴淮南西路北上待命，併发手詔，改令岳飞不必急着赶来覲见，暂时留在京西观察金人的动向。
杨沂中的殿前司军于八月中到达宿州，以五千骑兵夜袭柳子镇，却不见金兵踪影。回程遭遇金军的重兵埋伏，一接触就不战而溃。金军乘胜夺回宿州，并因为当地人曾经欢迎过宋军而进行报復性屠城。所以岳飞根本连这份手詔都没接到。
总之，在岳飞前往临安途中，不断接到高宗的手詔，表示他在接到后续战报时的心情一直起伏不定；其中更夹杂着秦檜以三省、枢密院名义递发的省札，其内容经常自相矛盾，颠来倒去，显然有其个人意图在内。不过到最后则是趋于一致，命岳飞以最快速度前往覲见。
岳飞还没到达临安，就听说金兀朮原来已经拋弃汴京北逃，有一位书生骑着快马去追他，告诉他岳飞奉旨班师的事，他才又回到汴京主事。
岳飞不禁苦笑着跟身旁的人说：「这种卖国求荣的臭虫，充斥在我们左右，我们才这么举步维艰啊。」
这时驛馆的人正好传来最新消息，杨沂中兵败中原，宿州再度沦陷，岳飞顿时感到自己的心在绞痛淌血，只能长叹：「天啊！将士们用性命夺回的土地州郡只是一场空！江山社稷中兴无望！乾坤世界也没有机会恢復正常！」
岳飞的第四次北伐，就这样莫名其妙地半途而废，宣告失败。
岳飞气冲冲地走进高宗书房。高宗马上抢先说：「我是皇帝，无论如何都要先让我说完三点声明。第一，这次会造成这种结果，我也十分懊恼，但是只能说是造化弄人，因为最主要的原因是时间差；第二，连发十二道金牌以及上面那些严厉的措词，都是秦檜他们搞的，跟我无关；第三，韩诚跟我说他手中的东西都给你了，若要继续下去可能随时又要断粮了。」
岳飞本来满肚子气，一进来被挡住，接着又听高宗说完，突然觉得不知从哪里开始说起。
「你既然觉得那么有把握，为何不派马成回来说个明白？」韩诚说：「从朱仙镇到临安两千多里路，他不用三天就可到达，只要你能打下汴京，把金兵赶到黄河以北，整个局面就漂亮多了。」
「那时不巧正好让他去河北连络义军，根本不在；而且一切都十分顺利，没打过任何一场败仗，哪里会想到你们会发出班师詔，而且还这么急？」
「都已经声明过这是秦檜他们干的，跟我无关了。」高宗咄咄逼人地说：「而且这只能怪你自己，抗旨违令的前科累累，怎能责难别人？」
「难道被好朋友耍阴吃了暗亏，也不能藉故发一发小脾气吗？」
「那个绝对不是耍什么阴招，所有的来龙去脉待会儿再说给你听。」高宗说：「第一次你说要为母守孝，以表你的孝心，这一点可以理解，即使连续拒受詔命，因为你后来还是以国事为重復出视事，大家也都不太计较。但是后来这一次，你再度以为母守孝来抗命就不高明了；全国上下都知道，你是因为我不准你合併淮西军才摆脸色给我看。我早就知道你的脾气，早晚会耍出这一招，所以才写郭子仪的传记给你看，我当时告诫你的话你都忘了吗？」
「好吧，你就说一说淮西军一事最后变卦的原因吧。」
「我跟张浚一开始都是希望将它併入岳家军，所以才会主动去跟你说；你想想我们总不致于那么无聊，先去撩起你的兴致，然后再拒绝你，故意惹你生气吧？」高宗说：「可是看你事后那么生气，又耍小孩脾气，似乎认为我们是存心耍你，实在是太小看我们了。」
「其实主要是我的意见，」韩诚接着说：「以你们现在十馀万人的规模，后勤补给大概可以支撑三个月，之后就要勉强拼凑，但是顶多也只能再多撑一个半月。如果合併淮西军，由于他们本来的粮餉就有打折，若併进来之后改发全额，一但全部动员北伐，我根本撑不了两个月。」
「再说你们如果合併完成，岳家军总人数可能达到三十万人，且不说你那小心眼的老上司张俊会怎么说，你认为韩大叔也会乐见其成吗？」高宗又说。
「好了，不说了，」岳飞说：「总之我一张嘴说不过你们两张。」
岳飞将郾城与颖昌大捷的过程简单叙述给高宗、韩诚听，顺便告诉他们，这两个战役对女真族绝对已经造成重大的伤害！我估计他们至少一二十年之内无法弥补回来。
「你的能耐，我与皇上还不清楚吗？我统计过，你这一生有参与指挥的大小战役共一百二十六场，未尝一败。这其中包括对阵战、野战、攻坚战、防御战、山地战、水战等，此等成就，绝对是千古未有啊。」韩诚说：「其实也没甚么好奇怪，你是武曲星转世，一般凡人当然打不过你。」
高宗静静地听着，一句话都不说。
「皇上有心事喔。」
高宗说：「刚才说岳帅的孝心天下皆知，朕呢？朕的孝心有人知道吗？太上皇已经驾崩了，我的母后还在北方受苦。如今我註定绝后，母后是我唯一倖存的亲人。根据秦檜之前与金人的协议，他们答应今年之内便会将我母后与太上皇的灵柩还给我。可是经过这一仗绝对又会变卦，成为朕遥不可及的梦想。岳帅，你愿意尽量帮朕达成愿望吗？」
高宗取出一盒象棋与一块棋盘。
他把红方的帅、仕、相、俥、马、砲、兵都按位置排好。
接着排黑方，他取了「将」排在中央：「这是朕。」
接着在「将」的左右各排上「士」：「这是韩世忠。」
接着在「士」的左右各排上「象」：「这是四川吴璘。」
然后摆上五个「卒」：「这是张俊、杨沂中等废物。」
最后安安稳稳摆上一个「车」：「这是岳帅。」
高宗伸手把红方的两个「俥」都拿掉：「不错，我认同当今全天下只有岳帅一人当的了『车』这个角色；岳帅的确纵横天下，无坚不摧，全金国无人能敌，但是士象只能防守，卒的力量薄弱，朕虽拥有一隻车，可惜孤掌难鸣，棋界早有名言曰『单车不杀鬼』；意思是说没有马与包，只有一隻车绝对无法取胜，最多只能勉强求和。还要遭受对方双马双砲的攻击，如果出错还会输。你说朕我手上这盘棋，朕到底应该怎么下呢？」
岳飞看着棋盘，仔细核对现实状况，最后只感到全身无力，几乎连站都站不稳。
「朕知道你箭头所指攻无不克，但是朕没有人可以去守，勉强派了也守不住，所以北伐至少在目前没有任何意义。
「但是你目前所完成的工作太重要了，朕所希望的正好就是这种状况；你动摇了金国的根本，使他们中短期都没有能力再大规模作战，需要休养生息。所以双方都不想再啟战端，相安无事，让之前和议的程序继续走，朕把母后接回来奉养，朕所要的就只有这样而已。」