房遺愛原本為房玄齡之次子。其因太宗賜婚，遂娶太宗女高陽公主為妻子。然而，高陽公主行為驕恣，玄齡死後，其竟「教遺愛與兄遺直異財，既而反譖遺直」，導致二兄弟不和。太宗對公主之表現甚為不滿，寵愛日減，公主因此怏怏不悅。
散騎常侍房遺愛尚太宗女高陽公主，公主驕恣甚，房玄齡薨，公主教遺愛與兄遺直異財，既而反譖遺直。遺直自言，太宗深責讓主，由是寵衰，主怏怏不悅。（資治通鑑卷一百九十九）
後來，當御史查劾盜賊時，尋得浮屠辯機和尚（《大唐西域記》之筆錄者）之寶枕，盜賊說寶枕乃高陽公主所賜。公主與辯機私通之關係，因而曝光。
會御史劾盜，得浮屠辯機寶枕，云主所賜。主與辯機私通，餉遺億計，更以二女子侍遺愛。（資治通鑑卷一百九十九）
太宗知悉此事後，大為憤怒。其下令腰斬辯機，殺公主之奴婢十餘人。公主由是心生怨望，太宗死，公主竟無憂戚之容。
太宗怒，腰斬辯機，殺奴婢十餘人；主益怨望，太宗崩，無戚容。（資治通鑑卷一百九十九）
高宗即位後，公主令房遺直、遺愛二兄弟互相爭鬥。結果，遺愛被調任為房州刺史，遺直則被調任為隰州刺史。
上即位，主又令遺愛與遺直更相訟，遺愛坐出為房州刺史，遺直為隰州刺史。（資治通鑑卷一百九十九）
公主又不改淫亂放蕩的作風，令浮屠智勖等數人私侍自己。對於宮中之一舉一動，公主則遣陳玄運負責探聽。
又，浮屠智勖等數人私侍主，主使掖庭令陳玄運伺宮省禨祥。（資治通鑑卷一百九十九）
有一薛萬徹，原為駙馬都尉。因坐事除名，被徙為寧州刺史。其奉命入朝，與遺愛交談密切，其更和遺愛合謀，打算擁立司徒荊王元景為君主。
先是，駙馬都尉薛萬徹坐事除名，徙寧州刺史，入朝，與遺愛款暱，對遺愛有怨望語，且曰：「今雖病足，坐置京師，鼠輩猶不敢動。」因與遺愛謀：「若國家有變，當奉司徒荊王元景為主。」（資治通鑑卷一百九十九）
元景之女透過遺愛之弟遺則，與房遺愛有所往來。又有一柴令武，乃柴紹之子，其亦和遺愛謀議，打算一同支持李元景。亂事至此，似乎蓄勢待發。
元景女適遺愛弟遺則，由是與遺愛往來。元景嘗自言，夢手把日月。駙馬都尉柴令武，紹之子也，尚巴陵公主，除衛州刺史，托以主疾留京師求醫，因與遺愛謀議相結。（資治通鑑卷一百九十九）
不料此時高陽公主為了奪取遺直封爵，竟使人誣告遺直對自己無禮。遺直沒有辦法，只好直言遺愛及公主之罪狀。高宗令長孫無忌加以調查，果然發現遺愛及公主之謀反證據。
高陽公主謀黜遺直，奪其封爵，使人誣告遺直無禮於己。遺直亦言遺愛及主罪，云：「罪盈惡稔，恐累臣私門。」上令長孫無忌鞫之，更獲遺愛及主反狀。（資治通鑑卷一百九十九）
房遺愛知自己無法免死，於是只好孤注一擲。其了解長孫無忌深惡吳王恪良久，欲除之而後快，於是，他言謀反一事乃是「與恪同謀」，冀望得僥倖不死。
司空、安州都督吳王恪母，隋煬帝女也。恪有文武才，太宗常以為類己，欲立為太子，無忌固爭而止，由是與無忌相惡。恪名望素高，為物情所向，無忌深忌之，欲因事誅恪以絕眾望。遺愛知之，因言與恪同謀，冀如紇干承基得免死。（資治通鑑卷一百九十九）
可惜事與願違，高宗於永徽四年（癸丑，公元六五三年）二月，甲申，下詔遺愛、萬徹、令武皆斬，李元景，吳王恪、高陽、巴陵公主並賜自盡。房遺愛始終無法逃出生天。無辜的是，吳王恪竟被白白連累了（此荒謬情況換在太宗朝，何嘗會出現？只因高宗不問情由，誤信長孫無忌，終至白白錯殺了吳王恪）。
春，二月，甲申，詔遺愛、萬徹、令武皆斬，元景，恪、高陽、巴陵公主並賜自盡。（資治通鑑卷一百九十九）
不過，高宗畢竟仁厚，對於下令殺害元景、吳王，高宗曾有猶豫。
上潤謂侍臣曰：「荊王，朕之叔父，吳王，朕兄，欲丐其死，可乎？」（資治通鑑卷一百九十九）
只是，在兵部尚書崔敦禮等人反對下，高宗始終未有回心轉意。
兵部尚書崔敦禮以為不可，乃殺之。（資治通鑑卷一百九十九）
對於高宗之殺害自己，薛萬徹、吳王恪皆感到不忿。萬徹主要怨恨高宗未能用自己「為國家效死力」；至於吳王恪，其則痛恨「長孫無忌竊弄威權，構害良善」。
萬徹臨刑大言曰：「薛萬徹大健兒，留為國家效死力，豈不佳，乃坐房遺愛殺之乎！」吳王恪且死，罵曰：「長孫無忌竊弄威權，構害良善，宗社有靈，當族滅不久！」（資治通鑑卷一百九十九）
遺愛謀反一事尚有餘波。太宗朝之遺臣如宇文節、江夏王李道宗、執失思力等，因和房遺愛有交通，其於是被流放嶺表。
乙酉，侍中兼太子詹事宇文節，特進、太常卿江夏王道宗、左驍衛大將軍駙馬都尉執失思力並坐與房遺愛交通，流嶺表。（資治通鑑卷一百九十九）
不過，與其說三人被流放源於三人和遺愛交通，不如說此乃李道宗等人與長孫無忌、褚遂良不和，長孫無忌、褚遂良乘機排斥異己，一網打盡之結果。
節與遺愛親善，及遺愛下獄，節頗左右之。江夏王道宗素與長孫無忌、褚遂良不協，故皆得罪。（資治通鑑卷一百九十九）
後世史家每稱許長孫無忌、褚遂良，觀乎此，其人格之卑鄙、低劣，吾人尚能稱許否？
隨著恪母弟蜀王愔被廢為庶人，房遺直被貶為春州銅陵尉，萬徹弟萬備流放交州，房玄齡配饗亦被罷，事件才總算告一段落。
戊子，廢恪母弟蜀王愔為庶人，置巴州；房遺直貶春州銅陵尉，萬徹弟萬備流交州；罷房玄齡配饗。（資治通鑑卷一百九十九）
由高陽公主之言行、遺愛謀反一事，我們可以看出若干問題：
一、 唐之宮廷婦女（包括宗室女、妃嬪）行為開放，並未嚴守道德規範，私
通沙門、道士更是不時發生。
二、 唐之宮廷婦女頗具政治上的野心，此亦即是日後女禍出現之根本原因。
三、 長孫無忌、褚遂良等人心術不正，每恃機剷除異己，高宗仁弱而不疑長無忌等人，此終令朝廷未能善用人才，甚至出現誣陷忠良，冤案叢生的情況
吾人試細心玩味此一段史事，對於日後武則天之崛起及其作為，自不會感到奇怪。
