可李纲整顿军政的设施，有助于南宋朝廷支撑局面、有助于赵构坐稳皇位，尚能为赵构所接受，但李纲的坚决抵抗，并与宗泽、张所等坚决抵抗的人站在同一战线，甚至是“假公济私”的处处给宗泽、张所等人开绿灯，就是赵构所不能容忍的，尤其是在赵构下定了议和的决心之后。

不久，赵构调李纲任尚书左仆射兼门下侍郎（左相），另委黄潜善接任右仆射兼中书侍郎，以牵制李纲。

接着，赵构又罢免张所、傅亮，撤销河北、河南招抚司及河东经制司，蓄意破坏李纲的抗中部署，迫使李纲辞职。

李纲主政仅七十五天，便遭罢相，为观文殿大学士，提举杭州洞霄宫。

没过多久，受南宋殿中侍御史张浚弹劾，李纲罢观文殿大学士，仍留提举洞霄宫之职，居住鄂州。

也就在那时，燕青找上了李纲。

也不知，燕青用了甚么手段，数日之后，李纲便举家渡江，然后由杨沂中派出的一指挥中军护送到了东京汴梁城，面见李衍。

李衍说到做到，当即就任命李纲为尚书右丞，成为大中的宰执之一，并对左右说：“朕的魏征终于来了。”

李衍将李纲比作魏征，是有深远意义的。

魏征是一个纯臣，不管跟着谁，他都尽心尽力的辅佐，不管政治的对错，不管是否是明主。

魏征先追随的是元宝藏，元宝藏后来被李密打败，就跟随李密，还为李密献上了壮大瓦岗寨的十大政策，不过李密没有采纳，不然瓦岗寨可能就做大了。

魏征又追随过王世充和窦建德。

后来，魏征投靠到大唐太子李建成帐下效力也是一样——魏征曾经建议李建成带兵讨伐山东的刘黑闼，成功平定山东，为李建成的功劳簿上又增加了一笔，鉴于李世民实力强大，魏征还多次建议李建成先下手为强，或者把李世民调离长安，或者杀掉李世民，李建成不听，最后李世民玄武门之变，夺得皇位（后来，李世民问魏征：“你为什么要离间我们的兄弟？”，魏征的回答得很干脆：“如果太子早听我的，或许就不是现在的下场了。”）。

最后，魏征为李世民效力，更是鞠躬尽瘁死而后已，成为千古名臣，其名甚至还在房谋杜断之上。

李衍希望，李纲也能成为魏征这样的纯臣，尽心尽力的为自己效力，而自己也会像李世民一样，让他像魏征一样成为名垂千古的名臣。

李纲似乎是读懂了李衍的意思，一到大中之后，就给李衍上凑了十九条。