《漢書》言「昌邑群臣」罪惡有二：
(1) 眼看著昌邑王行惡而不加以勸阻、告知；
(2) 在封國不舉奏昌邑王罪過，令朝廷不聞知，錯立他為皇帝。
然而，昌邑王「行淫亂」純屬霍光杜撰，「昌邑群臣」兩個罪名，何罪之有？霍光實本另一些理由，要置「昌邑群臣」於死地。
《漢書．霍光傳》記載政變發生過程：
光即與群臣俱見白太后，具陳昌邑王不可以承宗廟狀。皇太后乃車駕幸未央承明殿，詔諸禁門毋內昌邑群臣。王入朝太后還，乘輦欲歸溫室，中黃門宦者各持門扇，王入，門閉，昌邑群臣不得入。王曰：「何為？」大將軍跪曰：「有皇太后詔，毋內昌邑群臣。」王曰：「徐之，何乃驚人如是！」光使盡驅出昌邑群臣，置金馬門外。車騎將軍安世將羽林騎收縛二百餘人，皆送廷尉詔獄。令故昭帝侍中中臣侍守王。
從劉賀言「徐之，何乃驚人如是」，他根本意料不到霍光會發動政變，政變出乎他的預期。
車騎將軍不是普通官職，而是典京師兵衞。羽林騎又稱羽林軍，是禁衛軍的一種。出動禁衛軍去收縛「昌邑群臣」二百餘人。假如「昌邑群臣」真只是輔助不力，他們會得到如斯不對稱的待遇？
還有一點要指出，「昌邑群臣」最後全被誅殺，《漢書．霍光傳》：
昌邑群臣坐亡輔導之誼，陷王於惡，光悉誅殺二百餘人。出死，號呼巿中曰：「當斷不斷，反受其亂。」
未能盡輔弼之職，知劉賀壞而不報，決不可能得到這麼慘酷的下場！另外，「當斷不斷，反受其亂」又該如何解釋？
宋人蘇軾讀《漢書》至此，亦覺有問題，撰＜霍光疏昌邑王之罪＞：
觀昌邑王與張敞語，真風狂不慧者爾，烏能為惡？廢則已矣，何至誅其從官二百餘人。以吾觀之，其中從官，必有謀光者，光知之，故立、廢賀，非專以淫亂故也。二百人方誅，號呼於市，曰：「當斷不斷，反受其亂。」此其有謀明矣。特其事秘密，無緣得之。著此者，亦欲後人微見其意也。武王數紂之罪，孔子猶且疑之。光等疏賀之惡，可盡信耶？
按蘇氏見解，「昌邑群臣」中有謀奪霍光之權者，事洩，霍光遂先發制人，廢黜劉賀，肅清「昌邑群臣」。「當斷不斷」是指霍光應被去除而未被去除，「反受其亂」是指朝廷綱紀為霍光所擾亂。
蘇軾的說法較能解釋車騎將軍張安世率羽林騎出動捉人，亦能說明「昌邑群臣」何以全被殺害，無疑為我們提供了一視角更好地理解事件。
考「當斷不斷，反受其亂」出處，《史記．齊悼惠王世家》：
召平曰：「嗟乎！道家之言『當斷不斷，反受其亂』，乃是也。」
可知八字出自道家典籍。
《黃帝四經．兵容》：
因天時，與之皆斷；當斷不斷，反受其亂。
《黃帝四經》是先秦黃老道家的重要文獻。
黃老道家不傾向消極避世，而採取積極入世的態度，力主與民休息、輕徭薄賦、清靜無為。西漢初年，蕭何、張良、曹參、陳平，基本上都以黃老治術治國。換言之，「昌邑群臣」是一群有政治識見、政治想法的智囊，其政治識見、政治想法即為黃老道，故知使用「當斷不斷，反受其亂」。
可以推想，群臣隨劉賀入京，見外朝、禁軍乃至當今太后 (上官氏為霍光外孫女) 都是霍光親信，於是把心一橫，鼓勵劉賀出手扳倒霍光，劉賀卻基於儒家仁愛，不信霍光會對他不利，遲遲不肯出手，卒之消息不幸外洩，傳到霍光耳中，霍光經過精密部署，決定先下手為強，發動政變。
近年海昏侯墓有「孔子屏風」的出土，墓室內還有劉賀生前閱讀的《禮記》、《論語》等儒家經典，凡此種種，皆證昌邑王深受儒學薰陶，不可能「行淫亂」。
劉賀被廢後，霍光改立戾太子劉據之孫，出身民間的劉病己為帝，是為宣帝。劉病己雖感芒刺在背，依舊隱忍不發，即使結髮妻許平君被霍光夫人害死，他始終未有發作。直至霍光病逝，宣帝才不動聲色將其家族翦除。
正因為有昌邑王失敗做反面教材，加上自己的親身經驗，當太子劉奭 (後來的漢元帝) 言：「陛下持刑太深，宜用儒生。」宣帝毫不猶豫地回答：「漢家自有制度，本以霸王道雜之，奈何純任德教，用周政乎！」又歎曰：「亂我家者，太子也！」(《漢書．元帝紀》)
