曹錫遠生於萬曆十年 (1582 年) 前後，自稱是北宋開國大將曹彬的後人。他本名寶，字世選，妻子為張氏，二十多歲誕下兒子曹振彥。
曹錫遠在瀋陽做官，任職明朝瀋陽中衛指揮使。天啟元年 (後金天命六年，1621 年) 三月，努爾哈赤率軍攻瀋陽，瀋陽失陷，錫遠投降，歸附後金。據《八旗滿洲氏族通譜》記載：「曹錫遠，正白旗包衣人，世居瀋陽地方，來歸年分無考。」可見他後來成為正白旗包衣。
正白旗，清代八旗之一，以旗色純白而得名。與鑲黃旗、正黃旗並稱為「上三旗」。正白旗分為滿洲、蒙古、漢軍三部分，由睿親王多爾袞擔任旗主。包衣是服役於皇帝、宗室王公之家的一個奴僕群體，即家奴。合而言之，曹錫遠及其家人成為多爾袞的家奴。
曹振彥初與父親一同駐守遼東，為奉天遼陽人。及後與父親一同投降，編入漢軍正白旗包衣。他不久為佟養性屬下，任紅衣炮隊的教官。天聰八年 (1634 年)，轉入多爾袞屬下，任旗鼓牛錄章京。
曹振彥的家奴身份雖然至微至賤，但由於他年青機敏，勇敢善戰，在長期的征戰中又與主子多爾袞建立了較為親密的感情，因而受到多爾袞的賞識和提拔。
崇禎十七年 (1644 年) 四月，多爾袞應吳三桂之請率軍入關，與李自成農民軍決戰山海關內，獲得勝利。五月，多爾袞率清軍進人北京。十月清世祖福臨在北京稱帝，「號曰大清，定鼎燕京，紀元順治」。在這場戰爭中，曹振彥作為多爾袞的親軍，為大清開國立下汗馬功勞，堪稱「從龍勳佐」。曹氏家族因此揭開「赫赫揚揚，將及百年」的序幕。
多鐸進攻南明政權，曹振彥及其子曹璽隨軍南征。多爾袞統兵征剿大同，曹振彥也有份參與。多爾袞病死，正白旗與正黃、鑲黃兩旗歸順治親自統領，曹氏家族轉為內務府包衣，即皇帝家奴。
曹璽乃曹振彥長子，初名曹爾玉，字完璧，生於天聰三年 (1629 年)，長大後任多爾袞的王府護衛，後改任御前二等侍衛，管鑾儀事，升任內務府工部郎中。他娶孫氏為妻，孫氏是康熙的奶媽。順治十五年 (1658 年)，長子曹寅出生，康熙元年 (1662 年)，次子曹荃出生。
康熙二年 (1663 年) 二月，曹璽獲委任為江寧織造。
江寧織造表面是清朝在江寧府 (南京市) 設置的織造御用和官用緞匹及採買御用物品的皇商衙署，實際卻是監視本地官員、查察明殘餘勢力、籠絡江南士紳、向皇帝匯報江南政治動向的情報機構。此職位通常由皇帝親信擔任，可見曹璽備受康熙重視。
曹璽一家在南京生活，當時曹寅六歲、曹荃兩歲。康熙二十三年 (1684 年) 六月，曹璽病逝於江寧織造任上，享年約五十六歲。
曹氏家族逐步上升，主要依賴與最高統治者關係密切，因其對主子忠誠，本身又有才幹，遂受到信任重用。
然而，曹家畢竟是內務府包衣，一旦失去皇帝寵信，他們的實際身份不僅低於滿洲、蒙古、漢軍等八旗軍民，而且低於同為皇帝家奴的滿蒙包衣，受著雙重的歧視和壓迫。
