部曲專指隸屬世家大族的儀仗兵、私人武裝。
早在新朝末年農民大起義時，地方豪族大姓曾以軍事編制組織所屬宗族、賓客、子弟等，建立武裝力量，可視作部曲的雛型。
東漢末年，黃巾亂起，自耕農無法維持生活，遂依靠地方豪族大姓以自保。他們向地方豪族大姓租田耕，成為佃農。佃農中的壯丁，與地方豪族大姓的子弟、門生等，被編入帶有自衛性質的軍隊中，擔負起保衛莊園的責任，部曲又稱家兵。
部曲合兵農於一身，且耕且戰。東晉祖逖北伐，「仍將本流徙部曲百餘家渡江，中流擊楫而誓曰：『祖逖不能清中原而復濟者，有如大江！』辭色壯烈，眾皆慨歎。屯於江陰，起冶鑄兵器，得二千餘人而後進。」五胡十六國時，成漢政權的李雄命令范長生的部曲不由國家調租，租稅都直接交給范家，此乃鮮明的將部曲合法化。
不過，北周開始，部曲被規定為「賤口」。《唐律》中有更明確的規定，梁啟超說：「部曲初由投靠而來，且多從事戰爭。至唐始變為賤民，形同奴隸」(《中國文化史稿》)，該是根據《唐律》。作為「賤口」的部曲，已經與軍事組織無關，主要從事土地勞作。
漢末歷魏晉至南朝，部曲所衍生的最大問題是：農民不復擁有國家公民之身份，而淪為地方豪族大姓的私屬。換言之，中央政府缺乏直接隸屬自己、效忠自己的官方正規軍。
關於此點，錢穆論之甚詳：
漢初之時，農民仍是國家之公民，隨著連年的動亂，農民失去土地，不得不依附豪強，豪強將其武裝起來，成為部曲，農民由國家公民淪為豪族私屬。到三國之時，已成只有兵隊，而無農民之局......東晉以來，民歸豪強，因而政府無兵可用，故常常發奴為兵，罪謫為兵，同時強迫世襲兵役，而那些衣冠士族自然不用服兵役，而有衣冠士族的特權階級在上，軍人階級便沒有他們的出身 (否則和士族相衝突)，軍人的身份，只與囚犯和奴隸相當，軍人的地位如此，又如何可以為國效勞，擔當光復中原的重任，軍人只是權臣內亂之利柄。(《國史大綱》)
北朝方面，西魏宇文泰改行府兵制，以體現「為民制產」精神的均田制、租庸調制為基礎，錢穆說：
這是一種兵農合一的制度，而其要者在於有挑選、有教訓；而更重要的，在對兵士有善意，有較優的待遇。將此等兵隊與臨時的發奴為兵、謫役為兵，以及抽丁為兵相敵，自然可得勝利。古人所謂「仁者無敵」，府兵制度的長處，只在對自己的農民已表現了些人道意味。從此軍人在國家重新有其地位，不是臨時的捉派與懲罰......中國的農民，開始再有其地位，而北周亦遂以此完成其統一復興的大任務。(《國史大綱》)
國家軍隊重建，部曲逐漸消亡，是北方能夠順利統一南方的關鍵。
