三國時期，兵士之地位優於普通農民。然而，晉武平吳後，戰亂已息，其遂悉去州、郡兵，復兵歸農。
八王之亂後，由於諸王互相攻殺，晉室之兵馬已摧毀淨盡。至東晉立國，由於官軍已缺，農民又多為豪強私有部曲兵 (地方豪強以軍事編制部勒所屬宗族、賓客、子弟等，所組成的武裝力量)，政府對士兵之需求，只好用另外的一些形式以解決。於是，有所謂「發奴為兵」(起於刁協、戴淵)、「料隱為兵」、「罪謫為兵」，又強逼世襲兵役，有所謂「兵家」、「營戶」、「軍戶」諸稱 (這些士卒組成之軍隊，力量必弱)。
由於衣冠士族不從軍，士族之佃客、衣食客也逃避從軍之義務，從軍作戰的兵卒又沒有出身 (衣冠士族壓在上面)，軍人之地位同於奴隸、罪犯，政府亦沒有軍隊為國效勞，光復中原。
是時只有荊、襄上流之鎮兵可用，但每為權臣操持以作亂。直至謝玄在京口建「北府兵」，東晉才有正式的軍隊可用 (淝水之戰晉室也因「北府兵」而獲勝)，但東晉既依賴「北府兵」以保國，「北府兵」將領之權力因此坐大，終促成劉裕篡晉。
南朝建立後，一方面豪強、部曲、佃客繼續逃避從軍義務，不為政府服兵役，一方面荊、襄鎮兵為宗室諸王把持，相互誅殺。一隊忠心翊戴中央政府之正規軍隊，歷兩晉、南朝一代，始終無法徹底建立起來。
然而，中央軍隊無法建立的問題在北方很快被解決。解決之道在「府兵制」之施行。
「府兵制」由西魏之蘇綽提出，自此以後，中央即有軍隊可用，且寓兵於農。「府兵制」之內容如下：
籍六等之民，擇魁健材力之士以充之，三丁抽一，合為百府，每府一郎將主之。分屬二十四軍，開府各領一軍。大將軍凡十二人。每一將軍統二開府，一柱國主二大將，將復加持節都督以統焉。凡柱國六員，眾不滿五萬人。自相督率，不編戶貫，盡蠲租調。有事出征，無事則歲役一月 (十五日上，則門欄陛戟，警晝巡夜；十五日下，則教旗習戰，無他賦役)。其甲槊弓弩、衣馱牛驢等，由官府提供。
北齊為全農皆兵，近漢制；北周則是寓兵於農，軍隊質素佳之餘，也不妨礙正常農業之發展 (此見北周優於北齊處)。北周武帝後來又用漢人為府兵，楊堅終利用府兵之力篡北周自立 (由於楊堅之篡奪成功乃出於楊堅自身之懂得利用「府兵」以助成其目的，此和「府兵」自身不忠心翊戴北周無關，於「建立忠心翊戴中央政權之軍隊」上，北朝仍可說是成功的，吾人實不可據楊堅之利用「府兵」奪權，以謂「府兵」亦非忠於北周也)。
從宏觀之角度看，由於「如何建立中央正規軍隊？」在北朝先得到解答，此又為其勝於南方之一面。
