褚遂良发了一通议论，给皇帝泼了一瓢冷水。而他的那种不要命的态度，将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血，更使皇帝大为恼火，让士兵把他强行拉了出去。

而坐在皇帝后边的武媚娘则恨不得立刻将他处死。在关键的时候，善于迎合旨意的李绩却说了一句话：“此乃陛下家事，不合问外人。”

这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。

这场斗争，在中国历史上有着举足轻重的关系。根据后世陈寅恪的研究，对立的两派，分别代表了不同地区的贵族利益集团。

李唐家族从兴起之时，就与集中于中国西北地区的许多大家族建立婚姻纽带，形成所谓“关陇集团”，而他们自西魏以来，就已在北方形成统治阶级的核心。

像反对废后的长孙无忌、褚遂良、韩瑗等人，便是关陇集团中的成员。而支持武则天的那一帮人，却出身于其他地区，或是商人，或通过科举制度而进入官场，他们是被称之为“山东集团”的成员。

这样，武则天与王皇后之间的争斗，就不仅仅是宫廷内部的简单争斗，而是反映了两个政治集团之间争夺最高政治权力之间的斗争。

此后，武媚娘终于还是被册封为皇后，褚遂良也被新皇后赶出朝廷，到潭州任都督。第二年元旦，武后的儿子李弘被立为太子。

新册封的皇后，不失时机地向反对她的人进行打击报复。王皇后与萧淑妃被残忍地害死了。褚遂良被调到离京师极远的今广西的一个州去任都督。而同年晚些时候，武媚娘则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩缓与在广西的褚遂良共谋反叛。

晚年的褚遂良又一次被贬，这一次是被贬到中国本土以外的越南河内西南一带，褚遂良在绝望之中，写了一封信给高宗，向他求情诉说自己曾长期为高祖与太宗效劳，最坚决的支持高宗继位等等，结果仍是无济于事。

公元659年，禇遂良在流放之中孤独地死去，时年六十三岁，在他死后的两年多时间里，武媚娘等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙后代也流放到他死的地方。

直到神龙元年，褚遂良死后四十六年，他才得到了平反，天宝六年，他作为功臣，得以配祀于高宗庙中，德宗贞元五年，皇帝下诏，将褚遂良等人画于凌烟阁之上，以示他与唐初的开国英雄们有同样的功劳。

杜睿欣赏褚遂良这个人，但是却并不欣赏褚遂良在政治斗争当中的表现，只会一味的强硬，而事实证明，无论是太宗，还是原本历史上应该即位称帝的李治，他们都不喜欢这一类的臣子。

其实让杜睿记住褚遂良这个人，究其原因，还是因为褚遂良的书法造诣，前世杜睿就十分喜欢褚遂良的字体，还时常临摹，几乎达到了以假乱真的地步，甚至有一次，他临摹的一副褚遂良的作品，被人偷了去，还在香港拍卖行上，被一个美国人以一千三百万美金的价格，当成宝贝一样，捧了回去。

褚遂良的书法，初学欧阳询，继学虞世南，后取法王羲之，融会汉隶，其特点是，正书丰艳，自成一家，行草婉畅多姿，变化多端。当时与欧、虞齐名，学者甚多，唐代中期著名书法家颜真卿亦受其影响。

《唐人书评》称褚书“字里金生，行间玉润，法则温雅，美丽多方。”传世碑刻有《同州三藏圣教序碑》、《伊阕佛龛记》、《孟法师碑》等。

褚遂良在唐初书家四巨头中，褚遂良算是晚辈了，其书体学的是王羲之、虞世南、欧阳询诸家，且能登堂入室，自成体系。其特色是善把虞、欧笔法融为一体，方圆兼备，波势自如，比前辈更显舒展，深得太宗的赏识。太宗以内府所藏王羲之墨迹示褚，让他鉴别真伪，他无一误断，足见他对王的书法研习之精熟。