吉頊本來甚得武后信任，任職天官侍郎。
臘月，戊子，以左臺中丞吉頊為天官侍郎，右臺中丞魏元忠為鳳閣侍郎，並同平章事。（資治通鑑卷二百零六）
由於吉頊有才幹、謀略，武后待之有如心腹。
太后以頊有幹略，故委以腹心。（資治通鑑卷二百零六）
然而，吉頊犯了一大忌：公然與武氏子姪武懿宗爭功。
頊與武懿宗爭趙州之功於太后前。（資治通鑑卷二百零六）
吉頊疾言厲色，毫無謙遜之態。武后以為吉頊故意「卑（案：指看低）我諸武」，由此對吉頊心感不滿。
頊魁岸辯口，懿宗短小傴僂，頊視懿宗，聲氣陵厲。太后由是不悅，曰：「頊在朕前，猶卑我諸武，況異時詎可倚邪！」（資治通鑑卷二百零六）
終於，武后重述馴服師子驄的故事，以暗示吉頊不要再意圖挑戰諸武的地位。
他日，頊奏事，方援古引今，太后怒曰：「卿所言，朕飫聞之，無多言！太宗有馬名師子驄，肥逸無能調馭者。朕為宮女侍側，言於太宗曰：『妾能制之，然須三物，一鐵鞭，二鐵檛，三匕首。鐵鞭擊之不服，則以檛撾其首，又不服，則以匕首斷其喉。』太宗壯朕之志。今日卿豈足污朕匕首邪！」頊惶懼流汗，拜伏求生，乃止。（資治通鑑卷二百零六）
吉頊不久被貶為安固尉。
諸武怨其附太子，共發其弟冒官事，由是坐貶。（資治通鑑卷二百零六）
天官侍郎、同平章事吉頊貶安固尉。（資治通鑑卷二百零六）
臨行前，吉頊告訴武后「今太子已立而外戚猶為王，此陛下驅之使他日必爭，兩不得安也。」，武后深許其言，但其似無良策阻止太子派系、武氏宗族之間的鬥爭。
辭日，得召見，涕泣言曰：「臣今遠離闕庭，永無再見之期，願陳一言。」太后命之坐，問之，頊曰：「合水土為泥，有爭乎？」太后曰：「無之。」又曰：「分半為佛，半為天尊，有爭乎？」曰：「有爭矣。」頊頓首曰：「宗室、外戚各當其分，則天下安。今太子已立而外戚猶為王，此陛下驅之使他日必爭，兩不得安也。」太后曰：「朕亦知之。然業已如是，不可何如。」（資治通鑑卷二百零六）
站在自身權力、地位之保存言，武后自不能不重用武氏宗族（因她根本不信賴李顯、李旦不會對她不利）。可是，過度信賴武氏諸王，此不免令武氏諸王驕橫跋扈，野心重重。更重要的是，天下士庶多歸心於李唐宗室。由此，為長遠計，武后不得不復立李顯為太子。
但問題來了，太子既立，卻非武氏中人，太子、武氏諸王不能避免必出現鬥爭。
武后雖透過賜太子姓武，並命「太子、相王、太平公主與武攸暨等為誓文，告天地於明堂，銘之鐵券，藏于史館」，以緩和衝突，但這其實是治標不治本。
辛亥，賜太子姓武氏；赦天下。（資治通鑑卷二百零六）
太后春秋高，慮身後太子與諸武不相容。壬寅，命太子、相王、太平公主與武攸暨等為誓文，告天地於明堂，銘之鐵券，藏于史館。（資治通鑑卷二百零六）
因此，當吉頊說到「今太子已立而外戚猶為王，此陛下驅之使他日必爭，兩不得安也」，武后竟回答「朕亦知之。然業已如是，不可何如」。
吉頊一眼看穿武后的心事，這可說是他的卓越之處，他人莫能及也。
