魏晉南北朝時，三省的規模漸告形成，成為日後隋唐中央官制的濫觴。所謂「三省」者，即中書、門下、尚書三省。
「尚書省」早設於西漢武帝時。至東漢光武帝，其多用尚書協助處理政事，三公權力被削，遂有「雖置三公，事歸台閣」之情況。東漢靈帝時，尚書成為獨立機關，掌握政治實權，但名義上仍屬少府 (即內朝)。至曹操時，改尚書為外朝官，脫離少府，自此尚書成為最高行政機關。尚書台 (南朝的梁時開始稱省) 之長官為尚書令，其下有尚書僕射。
由於尚書由皇帝的私人秘書成為國家行政機關，皇帝必須另置一秘書，中書於是設置。曹操執政時，始設秘書令起草詔令。魏文帝時，改秘書為中書，和尚書並列，稱「中書省」。西晉時，政治中心由尚書移至中書 (近東漢三公權力移至尚書)，中書省長官中書監及中書令成為實際的宰相及副相，決定政令，尚書只受命執行而已。東晉時，中書又成為外朝行政機關。
「門下省」即是用以取代中書原有職務而設。長官為侍中，漢魏以來，侍中權任日隆，南北朝時成為實際宰相。可是，尚書令、中書監令及侍中同有宰相之名。
日後唐代之三省制，中書負責起草詔令，門下可對詔令封駁，尚書受而行之，其權力及職責之分配，實肇始於魏晉南北朝。魏晉南北朝為第二帝國的預備期，於此可見。
補充一點，北朝自魏孝文漢化後方始用三省制。
