昭帝死，霍光一度安排昌邑王劉賀繼位，但劉賀在位短短二十七日，便被廢黜，送回原封地昌邑國。史載他「行淫亂」，但事實是否真的如此？我們不妨從一些蛛絲馬跡窺探一下。
且看《漢書．霍光傳》以下一段：
光曰：「昌邑王行昏亂，恐危社稷，如何？」群臣皆驚鄂失色，莫敢發言，但唯唯而已。
從群臣聽見「昌邑王行昏亂」後皆「驚鄂失色」，可知在群臣心目中，昌邑王要麼未「行昏亂」，要麼「行昏亂」也不至於「危社稷」。霍光的話遠遠超出他們對昌邑王的印象，他們方會有這樣的反應。
查《漢書．楊敞傳》：
楊敞，華陰人也。給事大將軍莫府，為軍司馬，霍光愛厚之，稍遷至大司農……昌邑王徵即位，淫亂，大將軍光與車騎將軍張安世謀欲廢王更立。議既定，使大司農田延年報敞。敞驚懼，不知所言，汗出洽背，徒唯唯而已。延年起至更衣，敞夫人遽從東箱謂敞曰：「此國大事，今大將軍議已定，使九卿來報君侯。君侯不疾應，與大將軍同心，猶與無決，先事誅矣。」延年從更衣還，敞、夫人與延年參語許諾，請奉大將軍教令，遂共廢昌邑王，立宣帝。
據此可知「莫敢發言，但唯唯而已」的群臣之中，有楊敞。楊敞是丞相，外朝的首領，按理他有發言權，足以抗衡霍光。奈何他是霍光一手提拔，「霍光愛厚之」，結果楊敞尚且妥協，遑論百官，換句話說，霍光在廢昌邑王之前，已全面控制外朝，外朝再無異見分子。
再看霍光信任的心腹，田延年入《漢書．酷吏傳》：
田延年字子賓，先齊諸田也，徙陽陵。延年以材略給事大將軍莫府，霍光重之，遷為長史。出為河東太守，選拔尹翁歸等以為爪牙，誅鉏豪彊，姦邪不敢發。以選入為大司農。會昭帝崩，昌邑王嗣位，淫亂，霍將軍憂懼，與公卿議廢之，莫敢發言。延年按劍，延叱群臣，即日議決……
《漢書．尹翁歸傳》：
翁歸為政雖任刑，其在公卿之間清絜自守，語不及私，然溫良嗛退，不以行能驕人，甚得名譽於朝廷。
尹翁歸辦事以重刑法聞名，田延年以尹翁歸為爪牙，其重刑法可知，霍光又重田延年，如是，霍光亦尚刑法可知。有趣的是，儒家孔子早就講過，「道之以政，齊之以刑，民免而無恥；道之以德，齊之以禮，有恥且格」(《論語．為政》)。霍光並非儒家，是相當明顯的。他又用張安世，張安世是酷吏張湯的兒子，張湯也是以刑法見稱，霍光的管治作風近法家，益見清晰。
對比之下，昌邑王在封國時，用龔遂、王吉、王式。《漢書．循吏傳》：
龔遂字少卿，山陽南平陽人也。以明經為官，至昌邑郎中令，事王賀。賀動作多不正，遂為人忠厚，剛毅有大節，內諫爭於王，外責傅相，引經義，陳禍福，至於涕泣，蹇蹇亡已。面刺王過，王至掩耳起走，曰「郎中令善媿人。」及國中皆畏憚焉。
值得注意是「以明經為官」、「引經義，陳禍福」，完全是儒者本色。《漢書．王吉傳》：
王吉字子陽，琅玡皋虞人也。少時學明經，以郡吏舉孝廉為郎，補若盧右丞，遷雲陽令。舉賢良為昌邑中尉，而王好遊獵，驅馳國中，動作亡節，吉上疏諫，曰：
臣聞古者師日行三十里，吉行五十里。《詩》云：「匪風發兮，匪車揭兮，顧瞻周道，中心怛兮。」說曰：是非古之風也，發發者；是非古之車也，揭揭者。蓋傷之也。今者大王幸方與，曾不半日而馳二百里，百姓頗廢耕桑，治道牽馬，臣愚以為民不可數變也。昔召公述職，當民事時，舍於棠下而聽斷焉。是時人皆得其所，後世思其仁恩，至虖不伐甘棠，甘棠之詩是也……
王吉「少時學明經」，引《詩經》、前朝史事以告誡，儘管昌邑王聽不入耳，但耳濡目染，其傾向儒學，可想而知。另《漢書．儒林傳》：
王式字翁思……式為昌邑王師。昭帝崩，昌邑王嗣立，以行淫亂廢，昌邑群臣皆下獄誅，唯中尉王吉、郎中令龔遂以數諫減死論。式繫獄當死，治事使者責問曰：「師何以亡諫書？」式對曰：「臣以詩三百五篇朝夕授王，至於忠臣孝子之篇，未嘗不為王反復誦之也；至於危亡失道之君，未嘗不流涕為王深陳之也。臣以三百五篇諫，是以亡諫書。」使者以聞，亦得減死論，歸家不教授。
王式亦為一儒臣。
霍光與群臣數昌邑王罪狀，昌邑王答以「聞天子有爭臣七人，雖無道不失天下。」這兩句話出自《孝經》，若無一定儒學造詣，他怎能在危急關頭拋出如此兩句話？又當儒學與生命有某種程度的連結，昌邑王「行淫亂」是否可能？
綜合群臣初時的驚訝反應，以及昌邑王搬出《孝經》的話應對，我們基本上可以斷定，昌邑王「行淫亂」行到危害社稷，純屬子虛烏有，全是霍光一人杜撰！至於霍光為何要這樣做？他和昌邑王在施政理念上有分歧乃至衝突，是一個方面。另一方面則涉及「昌邑群臣」欲推翻霍光的意圖，後者直接導致霍光用霹靂手段廢掉昌邑王。
