对于皇家的事情，在他看来，是他们“家事”，无需询问“外人”。这样，一方面可以巧妙地避开陷入皇权争斗的漩涡，另一方面，也可以保全自己。唐高祖武德九年玄武门政变前夕，秦王“世民犹豫未决，问于灵州大都督李靖，靖辞；问于行军总管李世绩，世绩辞；世民由是重二人。”

永徽六年，唐高宗欲废王皇后，立昭仪武则天为皇后。问李世绩曰：“朕欲立武昭仪为后，褚遂良固执以为不可。遂良既顾命大臣，事当且已乎？”

李世绩对曰：“此陛下家事，何必更问外人！”上意遂决。

而褚遂良呢？

他则与朝中另一位元老重臣长孙无忌强烈反对任何废黜王皇后的企图。根据新、旧《唐书·褚遂良传》的记载，高宗召太尉长孙无忌、尚书左仆射于志宁以及褚遂良进官商议废后立后之事。

褚遂良发了一通议论，给皇帝泼了一瓢冷水。而他的那种不要命的态度，将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血，更使皇帝大为恼火，让士兵把他强行拉了出去。而坐在皇帝后边的武氏则恨不得立刻将他处死。

武则天最终还是在公元655年的阴历十月被册封为皇后，褚遂良也被新皇后赶出朝廷，到潭州任都督。第二年元旦，武后的儿子李弘被立为太子。

新册封的皇后，不失时机地向反对她的人进行打击报复。王皇后与萧淑妃被残忍地害死了。657年春天，她将褚遂良调到离京师极远的今广西的一个州去任都督。而同年晚些时候，武则天则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩缓与在广西的褚遂良共谋反叛。

晚年的褚遂良又一次被贬，这一次是被贬到中国本土以外的越南河内西南一带，褚遂良在绝望之中，写了一封信给高宗，向他求情诉说自己曾长期为高祖与太宗效劳，最坚决地支持高宗继位等等，结果仍是无济于事。

659年，禇遂良在流放之中孤独地死去，时年六十三岁；在他死后的两年多时间里，武则天等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙后代也流放到他死的地方。

直到神龙元年，即褚遂良死后四十六年，他才得到了平反，天宝六载，他作为功臣，得以配祀于高宗庙中，德宗贞元五年，皇帝下诏，将褚遂良等人画于凌烟阁之上，以示他与唐初的开国英雄们有同样的功劳。

褚遂良等人或贬或死，而李世绩却得到了唐高宗、武皇后的信任。

李世绩的审时度势，还表现在他对皇帝意图的深刻领会上。贞观二十三年，亦即唐太宗临终前夕，唐太宗唯恐他身为两朝元老，难以驾驭，特意贬他出任叠州都督。

太宗谓太子曰：“李世绩才智有余，然汝与之无恩，恐不能怀服。我今黜之，若其即行，俟我死，汝于后用为仆射，亲任之；若徘徊顾望，当杀之耳。”

李世绩的审时度势，还表现在他对“盈满则亏”的理解和领悟上。李世绩一生为大唐出生入死，立功无数，建立的赫赫战功；唐朝朝廷也给予李世绩巨大荣誉。

但在李世绩看来，“盈满则亏”