可说这话的人，很快就被秦桧贬出朝廷。连重开边境贸易，他都态度犹豫，如果再让徐卫出山，此前种种不是白费了么？他甚至怀疑徐卫跟契丹人有勾结，契丹人这是在帮助徐卫，在给他造势，好让他重新出山。

其实，契丹人巴不得徐卫永远不要再出来。萧朵鲁不在接见兴元知府时，尚且有顾忌，一旦得知来人并非徐卫亲信，而且川陕正在“纠正”徐卫的政令，肃清徐卫的影响，便态度突然转为强硬。这固然有徐卫个人魅力的原因，但更重要的是，契丹人忌惮徐卫在川陕巨大的影响力，在西军中无与伦比的凝聚力，以及他决不妥协，决不姑息，决不纵容的行事风格。

如果徐卫还在位，萧朵鲁不决不敢袭击金肃。因为他知道，徐卫是个睚眦必报的家伙。从辽军的大政方针来说，原先宋辽是同盟关系，共同对付女真人。他们希望看到西军有一个强力的领导者。但是，在宋辽联盟破裂之后，就指望不上西军了，从长远看，宋也是辽的潜在敌人，既然指望不上，那徐卫当然也是一个威胁。他去职，非但无损于契丹利益，而且还有好处，所以契丹人对此是“乐见其成”的。

陕西动荡的局势，让皇帝赵谨很闹心，他甚至也在考虑是不是该让徐卫重新出山。因为这些事闹得太大了，徐卫一走，川陕，尤其是陕西问题就不断。而在之前，川陕一直是稳定而平静的。

另外，皇帝考虑此事，还有一个原因。那就是徐秀娘已经从丽泽苑迁回了绣春堂。而朱宸妃所生的女儿，也交给她抚养。对于此事，刘皇后心里肯定是不愿意的。但也没办法，她现在自己怀孕了，根本没有精力再去养育别人的孩子。而朱妃生前又请求过皇帝，女儿要让徐秀娘养育。所以，对于徐秀娘迁回绣春堂，她并没有阻止。

徐婕妤一迁回，其父徐胜就恢复了御营副使的职务。因徐母王氏病着，皇帝亲自过问病情，还派御医前往诊治。朝中请徐卫出山的呼声，也正是在这种背景下产生的。可秦桧坚决不能这么干呀，请徐卫出山，那就不存在打击徐家势力的问题。

徐卫都重新出山了，那徐良是不是也得回来？他回来了，还有我什么事？因此，秦会之也非常纠结，问题不解决，陕西局势持续动荡，刘光世就干不下去。要解决问题，又等于打自己嘴巴，这进也不是，退也不是，真整了个骑虎难下。

就在此时，有人给他出主意了。

靖安四年这一年，宋辽之间在冲突之中度过。但有一方，却至始至终没有发出任何声音，冷不丁的，你都差点忘记了它的存在。没错，就是女真金国。完颜亮得国不正，内部方方面面的势力需要摆平，大环境对金国来说也不太好，所以完颜亮自称帝之日起，就注定一段时间以内他必须夹着尾巴作人。

为此，他作了相当大的忍耐和牺牲。即位之初，徐卫就来趁火打劫，西军大兵压境，以为金帝复仇为名，行勒索讹诈之实。完颜亮暂时惹不起他，于是好话说尽，又是送钱又是送马，最后还赔了太原。

为了示弱于南朝，结其君臣之欢心，完颜亮不惜曲意奉承，认大宋皇帝为兄。隔三差五便要孝敬一番，碰上赵家哪位生日什么的，还要派遣使团，带上厚礼去贺。

契丹人也浑水摸鱼，趁金国内部不稳定之机，出兵攻占了东胜河清等地。完颜亮也只能打碎了牙和血吞，没有报复的举动。

所有这些，为的是什么？为的就是装，装孙子，通过装孙子来为自己赢得时间。像完颜亮这么一个骄傲的人，能作到这步实在不易。不过，他想想古时候那些先贤们，越王勾践不还卧薪尝胆么？这我点委屈算得了什么？

但是，隐忍不发，不代表大金国“闭门思过”，这段时间，他也在密切关注宋辽双方的一举一动。川陕派员到大同府交涉归还土地、城池、降军事宜，他就敏锐地察觉到南朝的内政有变化，川陕的情况也有变化。

以徐卫往日的行事作风，他是绝对不会这么干的。紫金虎什么时候吃过亏，认过怂？后来，辽军居然突袭了金肃，这让完颜亮暗爽了许久。好了好了，这两位打起来了，就该我坐山观虎斗，等着渔翁之利。

可左等右等，不见西军有什么报复行动。这让他很纳闷，徐卫不会吧？这都打上门了，他忍得住？可很快，他就收到消息，在堂兄徐良辞职离开相位以后，徐卫也跟着遭殃，现在已经辞去一切实职，归隐山林了。