在唐朝建立之后，最初对唐发动军事挑战的，正是薛举。他占据了甘肃的大部分地区，企图夺取京城长安。但他从西北向长安推进时，却突然病死，他的儿子薛仁杲继承了他的事业。随后，当时正任秦王的太宗皇帝包围了薛仁杲驻扎在泾州的营寨，薛仁杲的部下纷纷投降唐军，他也不得不投降。

随后，他被押往长安处决，而他手下的人则被收服在太宗的麾下，成为唐王朝的臣民，褚遂良就这样进入了李家王朝，开始了他作为政治家的生涯。

最初，褚遂良是在秦王府那里做铠曹参军，这是一个比较重要的掌管军务的位置。从这也可以看出，太宗对褚遂良怀有好感。后来太宗曾对长孙无忌说过这样的话：“褚遂良鲠亮，有学术，竭诚亲于朕，若飞鸟依人，自加怜爱。”

太宗因战功显赫而名声大振，唐高祖命他掌握东部平原文、武两方面的大权，并且允许他在洛阳开府，设立天策府。

雄心勃勃的太宗立即组成了一个大约五十人的随从集团，其中许多人是来自于被他消灭的敌人营垒中的杰出人物。也就在这一年，太宗成立了自己的文学馆，其中有十八名学士在做他的国事顾问，他们受到了前所未有的礼遇，以致于人们把能够进入文学馆，称为“登瀛洲”。

褚遂良的父亲褚亮便是其中的一员，主管文学。在这样的环境中，褚遂良的学识与日俱进。尤其是书艺，在欧阳询与虞世南的指导下，更是出类拔萃，尽管他的年龄比他们要小一辈，然而褚遂良在初唐的书名不仅不比他们差，而且具备了欧、虞二人所不具备的政治地位与社会名望，这更使他的书法艺术有如猛虎添翼，另外据《唐会要》卷六十四《史馆下》的记载，弘文馆的日常事务，就是由褚遂良来管理的，当时人们把他称作“馆主”，像这种尊称，在以前是没有的。

高祖武德九年，太宗发动了“玄武门之变”，随后被立为太子，阴历八月，太宗便登上了皇位，次年改年号为“贞观”，从此以后，“贞观之治”驰名于世。

贞观二年，太宗在门下省设立起居郎二人，贞观十年，曾为秘书郎的褚遂良在此时又出任起居郎一职，专门记载皇帝的一言一行。

《剑桥中国隋唐史》在提到太宗时，曾这样写道：“太宗的许多公开的举止，与其说是似是出自本心，倒不如说是想得到朝官，尤其是起居注官赞许的愿望。”

从这个角度上来说，褚遂良所占的地位是极重要的，至少，他在某种意义上督促了皇帝在有所做为时，应该考虑到会留给人们一个什么印象。

《唐书》记载说，有一次太宗问褚遂良：“你记的那些东西，皇帝本人可以看吗？”

褚遂良回答说：“今天所以设立起居之职，就是古时的左右史官，善恶必记，以使皇帝不犯过错。我是没有听过做皇帝的自己要看这些东西。”

太宗又问：“我如果有不好的地方，你一定要记下来吗？”

褚遂良回答说：“我的职务就是这样的，所以您的一举一动，都是要写下来的。”

可见褚遂良的忠贞和鲠直。

贞观三年末，太宗下诏书，想把隋未战乱时期的战场改修为庙宇，一是超度在战争中的亡灵，二则是纪念战役的胜利，刻石立碑以铭记功业，并颁布了负责其事之人的名单。名单中，除了虞世南、李百药、颜师古、岑文本、许敬宗、朱子奢以外，还有年仅三十三岁的褚遂良。在太宗大败宋金刚的晋州立慈云寺，寺碑即由起居郎褚遂良书写。

贞观十二年，太宗视同师长的大书法家虞世南逝世，这使太宗感到特别的伤心。太宗曾叹息：“虞世南死，无与论书者！”