以上所述,是秦及汉初的制度。行之未几,就起变迁了。汉代的丞相,体制颇尊,权限亦广。所谓尚书,乃系替天子管文书的,犹之管衣服的谓之尚衣,管食物的谓之尚食,不过是现在的管卷之流。其初本用士人,汉武帝游宴后庭,才改用宦官,谓之中书谒者令。武帝死后,此官本可废去,然自武帝以来,大将军成为武官中的高职。昭宣之世,霍光以大将军掌握政权。其时的丞相,都是无用或年老的人,政事悉从中出。沿袭未改。成帝时,才罢中书宦官,然尚书仍为政本,分曹渐广。后汉光武,要行督责之术。因为宰相都是位高望重的人,不便督责他,于是崇以虚名,而政事悉责成尚书。尚书之权遂更大。魏武帝握权,废三公,恢复丞相和御史大夫之职。此时相府复有大权,然只昙花一现。魏文帝篡汉后,丞相之官,遂废而不设。
自魏晋至南北朝,大抵人臣将篡位时则一设之,已篡则又取消。此时的尚书,为政务所萃,然其亲近又不敌中书。中书是魏武帝为魏王时所设的秘书监,文帝篡位后改名的,常和天子面议机密。所以晋初荀勖从中书监迁尚书令,人家贺他,他就发怒道:“夺我凤皇池,诸君何贺焉”了。