貞觀十七年，魏徵已離世。然而，太宗卻為著一些事情，以為魏徵生前結黨謀逆。
且說太子李承乾失德，太宗曾對中書侍郎兼左庶子杜正倫表示：如果太子疏遠賢良，狎暱群小，彼可審察之。倘太子未肯受教，彼當直接告訴我。正倫由是屢次向太子進諫。然而，太子對正倫的話聽不入耳，正倫迫不得已，其於是把太宗之叮囑告知太子。
初，太子承乾失德，上密謂中書侍郎兼左庶子杜正倫曰：「吾兒足疾乃可耳，但疏遠賢良，狎暱群小，卿可察之。果不可教示，當來告我。」正倫屢諫，不聽，乃以上語告之。（資治通鑑卷一百九十七）
不料太子承乾竟向太宗講及此事，太宗聽之，遂責備正倫漏洩。正倫將其用心告知太宗，太宗不但沒有體諒，反而大怒，將正倫調為穀州刺史。
太子抗表以聞，上責正倫漏洩，對曰：「臣以此恐之，冀其遷善耳。」上怒，出正倫為穀州刺史。（資治通鑑卷一百九十七）
直至承乾謀反失敗，杜正倫才被重新左遷為交州都督。
及承乾敗，秋，七月，辛卯，復左遷正倫為交州都督。（資治通鑑卷一百九十七）
杜正倫曾為魏徵稱許有宰相之材，侯君集亦被魏徵舉薦為僕射。太宗由正倫、君集之下場猜疑下去，終疑心至他一直相信之忠直的大臣魏徵，以為魏徵結黨營私。
初，魏徵嘗薦正倫及侯君集有宰相材，請以君集為僕射，且曰：「國家安不忘危，不可無大將，諸衛兵馬宜委君集專知。」上以君集好夸誕，不用。及正倫以罪黜，君集謀反誅，上始疑征阿黨。（資治通鑑卷一百九十七）
魏徵又被傳生前自錄前後諫辭以示起居郎褚遂良，太宗為此感到不悅，乃罷魏徵兩個兒子魏叔玉、魏尚主，且打倒所撰之讚頌魏徵之石碑。
又有言征自錄前後諫辭以示起居郎褚遂良者，上愈不悅，乃罷叔玉尚主，而踣所撰碑。（資治通鑑卷一百九十七）
現在，讓我們分析一下這件事。其實，魏徵推舉杜正倫、侯君集是不是表示他和二人結黨呢？不然。蓋太子謀反事件發生前，正倫乃善於直諫，君集則曾先後立軍功於討伐吐谷渾、高昌等戰事中。一擅於文，一精於武。魏徵舉薦二人，更多乃是立足於二人之能力，其何嘗只欲建立黨羽？太宗之疑過矣！尤有進者，魏徵在世，其所為之事哪一件不是為公？其何嘗為私利而為？太宗對魏徵起疑，此疑其實無任何事實理據以作支撐，只是太宗一己之偏見。
至於魏徵把前後諫辭錄起，以示起居郎褚遂良，此只是為了讓褚遂良客觀的、立體的、如實的記載太宗之為人、行事。其並不一定是為了炫耀自己之諫辭如何有效，自己如何偉大。太宗為此感不悅，此多少是「以小人之心度君子之腹」，然此又豈為事實之真相？
至此，吾人可能會問：何以太宗晚年竟有如此之舉措？本文的回答是：蓋因太宗早年之聖君風範乃主要由自然天資之美所致，其實並未進至完全由道德之自覺以持續之。時日一久，天資漸為現世所侵蝕、磨損，美的光輝日益暗淡，其行為於是不再有聖君之風度，而只是日益頹墮。
姑舉一事例以說明之。若太宗之重用魏徵、虛心納諫乃出於全幅的道德自覺心之要求，其晚年當亦仍可不疑魏徵、虛心納諫而無難色，因自覺心本身並不因時、地之轉移而有所變更也。然而，事實恰好相反，太宗晚年以為魏徵結黨營私，又納諫時常有難色，此反映什麼呢？唯一的解釋是他一直以來的聖君風範乃主要得力於稟賦之天然之才質之優良，非本心之徹底的自覺。只有稟賦之天然之才質，才會受時間影響、受環境影響、受人生經歷影響。
近人有以太宗晚年之行為否定太宗初年行為之完美性，指史書上對太宗「聖君」形象之描繪為不合歷史真相者。對此，我們無意否定。可是，除了此一極端看法外，我們對太宗之行為本可有一折衷的、同情的理解。此理解即為：太宗初年之行為乃本心作用於美好、光輝的天資之結果，後期之行為乃是其天資日趨衰敗，加上一連串人生之不幸，致令其自覺心被拖累、窒塞所促成。此解釋之下，太宗之行為轉變既可有一條理路，史書上之記述亦可被保存而不被推翻，此或更近於事實之本來面目。
