貞觀四年（庚寅，公元六三零年），蕭瑀罷御史大夫，為太子少傅，不復預聞朝政。
早在高祖在位時，蕭瑀曾推薦封德彝於高祖，高祖遂用德彝為中書令。
初，蕭瑀薦封德彝於上皇，上皇以為中書令。（資治通鑑卷一百九十二）
及至太宗即位，蕭瑀被任為左僕射，德彝則被任為右僕射。德彝對此安排感到不滿，向太宗表達，二人因此有隙。當時，房玄齡、杜如晦新用事，皆疏瑀而親德彝。蕭瑀感到氣結，其於是上封事論德彝之得失，結果得罪太宗。
及上即位，瑀為左僕射，德彝為右僕射。議事已定，德彝數反之於上前，由是有隙。時房玄齡、杜如晦新用事，皆疏瑀而親德彝，瑀不能平，遂上封事論之，辭指寥落，由是忤旨。（資治通鑑卷一百九十二）
蕭瑀又與陳叔達忿爭於太宗面前，瑀、叔達終因不敬而被免官，事在武德九年。
瑀與陳叔達忿爭於上前，庚辰，瑀、叔達皆坐不敬，免官。（資治通鑑卷一百九十二）
到了貞觀元年六月，蕭瑀復被任命為左僕射。
壬辰，復以太子少師蕭瑀為左僕射。（資治通鑑卷一百九十三）
可是，進入十二月，左僕射蕭瑀再被免官。
十二月，壬午，左僕射蕭瑀坐事免。（資治通鑑卷一百九十二）
何以蕭瑀之官運如此不順呢？此和蕭瑀個人的性格不無關係。
先是，蕭瑀與宰相參議朝政，瑀氣剛而辭辯，房玄齡等皆不能抗，上多不用其言，玄齡、魏徵、溫彥博嘗有微過，瑀劾奏之，上竟不問。（資治通鑑卷一百九十三）
由於蕭瑀為人過分強硬，辭鋒銳利，致令朝中不少大臣不滿。加上蕭瑀又好挑剔同僚之微過，太宗益對之加以嫌棄，甚至厭惡。
東突厥被滅後，蕭瑀劾奏李靖御軍無法，突厥珍物，虜掠俱盡。然而，太宗終未有對李靖加以嚴格的處分。此其實已暗示蕭瑀影響力之消減也。
丁亥，御史大夫蕭瑀劾奏李靖破頡利牙帳，御軍無法，突厥珍物，虜掠俱盡，請付法司推科。上特敕勿劾。及靖入見，上大加責讓，靖頓首謝。久之，上乃曰：「隋史萬歲破達頭可汗，有功不賞，以罪致戮。朕則不然，錄公之功，赦公之罪。」加靖左光祿大夫，賜絹千匹，加真食邑通前五百戶。未幾，上謂靖曰：「前有人讒公，今朕意已寤，公勿以為懷。」復賜絹二千匹。（資治通鑑卷一百九十三）
觀乎種種線索，蕭瑀之罷官，事非偶然。
瑀由此怏怏自失，遂罷御史大夫，為太子少傅，不復預聞朝政。（資治通鑑卷一百九十三）
不過，有趣的是，到了貞觀九年（乙未，公元六三五年）十一月，太宗竟重新起用蕭瑀為特進，復令參預政事、其更賜瑀詩曰：「疾風知勁草，板蕩識誠臣。」，且稱許瑀曰：「卿之忠直，古人不過；然善惡太明，亦有時而失。」。
戊午，以光祿大夫蕭瑀為特進，復令參預政事。上曰：「武德六年以後，高祖有廢立之心而未定，我不為兄弟所容，實有功高不賞之懼。斯人也，不可以利誘，不可以死脅，真社稷臣也！」因賜瑀詩曰：「疾風知勁草，板蕩識誠臣。」又謂瑀曰：「卿之忠直，古人不過；然善惡太明，亦有時而失。」瑀再拜謝。魏徵曰：「瑀違眾孤立，唯陛下知其忠勁，向不遇聖明，求免難矣！」（資治通鑑卷一百九十四）
