直到汉武帝刘彻之时﹐为了进一步强化君权﹐政事不专任二府，尚书因主管文书，省阅奏章﹐传达皇帝的命令﹐地位逐渐重要。

到了汉光武帝刘秀之时，鉴于西汉晚期的权臣专政﹐有意削弱相权﹐太尉、司徒、司空居三公高位﹐名为宰相﹐而实际权力则逐渐移于尚书。

当时﹐尚书机构称台﹐有令、仆射各一人﹐尚书六人﹐分主六曹。令、仆射之下有左、右丞各一人﹐“掌录文书”﹐并检查各项事务是否按时完成。尚书之下有侍郎三十六人﹐分属六曹﹐主起草文书，又有令史十八人﹐主抄誊文书。此时尚书台已成为组织复杂的机构﹐成为政府的中枢﹐号称中台。

所以章帝时韦彪说：“天下枢要﹐在于尚书。”

但是在东汉﹐尚书台仍然算是少府的下属机构。尚书令、仆射、尚书等官的禄秩都较低﹐令秩千石、仆射、尚书秩均六百石。

三国时﹐尚书台已正式脱离少府﹐成为全国政务的总汇。令、仆射、尚书品秩已经很高﹐并为第三品﹐与九卿同级。

汉献帝时﹐曹操执政﹐荀彧为尚书令﹐曹操征伐在外﹐荀彧常居中持重﹐可见此官地位之重要。

但正是因为它威权的升高﹐引起最高统治者的疑忌﹐所以最高统治者又开始剥夺它的权力。

西晋沿袭曹魏﹐以尚书台总揽政务﹐而别置中书、门下二省以分其权。然尚书令、仆射仍是全国行政部门的首脑﹐称为端右、端副﹐地位在中书监、令和侍中之上﹐重臣当国仍必加录尚书事。

东晋以后﹐录尚书之权渐分﹐有时以三四人并录尚书事。宋孝武帝孝建中﹐为防大臣威权过盛﹐遂省去录尚书之职﹐以后置废不常。又自魏晋以后﹐士族崇尚清谈﹐不屑过问琐碎的日常事务。西晋王衍自尚书仆射迁尚书令﹐身居宰辅﹐不以经国为念。梁朝谢安为司徒、尚书令﹐惮烦﹐职事多不览。又自东晋以后﹐高门子弟都以出身作尚书郎为耻辱。高门既不屑就﹐就者也多不办事。故自东晋以后﹐令、仆射及郎中多不奏事﹐当官成为挂名﹐于是﹐尚书台的日常事务多交给令史去处理。这样﹐令史就渐揽事权﹐尚书省内部有权力下移的趋势。由于令史实际作用的增大﹐梁武帝曾拟提高都令史人选﹐不用寒人而改用士族。但士族尚不乐为台郎﹐何况令史﹐所以此法不能推行。加之﹐南朝时中书舍人专任机密﹐尚书省的实际地位更为下降。

西晋灭亡后﹐在北方建立的十六国﹐除前凉、西凉遥奉江南正朔﹐不立尚书台外﹐其余政权均见尚书令、仆射、尚书等官职。

北魏出自鲜卑族﹐本身有部落大人会议决事的制度﹐及魏道武帝拓跋珪破后燕﹐皇始元年始仿魏晋立尚书台﹐置三十六曹。但北魏前期的尚书台是鲜卑旧制与中原制度的糅合﹐与江南制度迥然不同。北魏尚书制度的正式建立﹐实际在太和改制以后。太和十五年魏孝文帝元宏改定官制﹐十七年﹐颁布第一个职员令﹐太和二十三年又颁布第二个职员令﹐尚书省及其它官职都依照魏晋制度﹐主要也是以尚书省总领庶政﹐而中书、门下二省分掌机权﹐门下之权尤重。

文帝杨坚代周称帝﹐于开皇元年恢复了尚书省﹐并使之成为名副其实的全国最高行政机构。隋代不置录尚书事﹐尚书令虽设而常缺﹐尚书左仆射便是首相﹐高颎任此职达十九年﹐综理全国政务。他虽兼任纳言﹐而权力主要来自左仆射之职。

高颎之后﹐杨素亦为此职。大业元年﹐杨素升任尚书令。杨素死后﹐隋炀帝杨广不补尚书令﹐大业三年后﹐左右仆射也不补任。

大唐沿隋制﹐也是三省并置﹐尚书省事无不总﹐是全国行政的总汇机构。尚书令仍是虽设而虚其位，以大行台尚书令以代。

尚书令以下，置左、右仆射﹐仆射之下设左右丞﹐协助仆射分理省内事务。尚书省设六部二十四司﹐及杜睿改制，设总参谋部，则为七部，二十八司，部有尚书﹐侍郎为之副，司有郎中﹐员外郎为之副。