唐恪感到情况很不乐观，多次提醒赵桓：“金人今冬必来。”

打不过，又谈不拢，怎么办？

唯一正确的选择，便是三十六计走为上计。

唐恪于是密奏赵桓，力劝赵桓避敌锋芒，早日离开东京前往洛阳或者长安，然后召集天下之兵，与金人开战。

唐恪甚至考虑到，京师诸军可能皆怀恋故土与亲眷，不一定愿意护卫赵桓离京，于是他又建议，速召四道总管领兵护卫而行。

赵桓一开始觉得唐恪言之有理，接受了他的建议。

不久，何栗前来奏事。

拿不定主意的赵桓，向何栗说起了唐恪的建议。

何栗一听，坚决反对，说：“即使当年周室东迁，也没有唐恪这个建议过分。这就好像不肖之子，要将父祖遗留下来的田宅全都卖掉一样。”

赵桓身旁的内侍们也不赞成唐恪的建议，他们都不愿意离开东京。

赵桓见众人都反对离京，幡然而改。

因此，当唐恪再次催促赵桓赶紧离京时，赵桓很生气，并狠狠地用脚跺着地面说：“朕当死守社稷！”

恰在这时，侍御史胡舜陟趁机上奏，弹劾唐恪与聂昌。

胡舜陟说，唐恪智虑短浅，不能经画边事，今国势日蹙，诚不可以备位。又说，朝廷若继续留用唐恪与聂昌，则所有政事不修，威刑不振，人材无一可用，将士不肯用命。

（没过多久，胡舜陟就改口建议赵桓逃出东京，前往洛阳或者长安避难，所以，胡舜陟弹劾唐恪的话，其实是乱弹。）

汴梁城中的军民这时也普遍认为，唐恪是一个俗吏，昏懦无能，人们甚至都想找机会揍唐恪。