肅宗在位期間，宦官李輔國得以專權，下開中、晚唐的「宦官之禍」。
李輔國，本名靜忠，閑廄馬家小兒。他年少時曾經擔任高力士的僕役，相貌醜陋，粗知書計。四十歲以後開始掌閑廄，以其優秀的畜牧能力，被閑廄使王鉷舉薦入東宮。
李輔國，本名靜忠，閑廄馬家小兒。少為閹，貌陋，粗知書計。為僕，事高力士，年且四十餘，令掌廄中簿籍。天寶中，閑廄使王鉷嘉其畜牧之能，薦入東宮。(《舊唐書‧李輔國傳》)
李輔國本飛龍小兒，粗閑書計，給事太子宮，上委信之。(資治通鑑卷二百一十九)
兩京失守後，玄宗避難入蜀。李輔國一直跟從太子李亨至馬嵬驛，協助其誅殺楊國忠。又李輔國向太子李亨獻計，請分玄宗麾下兵馬，北上朔方，以圖興復，間接助成肅宗於靈武即皇帝位。
祿山之亂，玄宗幸蜀，輔國侍太子扈從，至馬嵬，誅楊國忠，輔國獻計太子，請分玄宗麾下兵，北趨朔方，以圖興復。輔國從至靈武，勸太子即帝位，以繫人心。(《舊唐書‧李輔國傳》)
陳玄禮等誅楊國忠，輔國豫謀，又勸太子分中軍趨朔方，收河、隴兵，圖興復。太子至靈武，愈親近，勸遂即位繫天下心。(《新唐書‧李輔國傳》)
太子不可，曰：「至尊遠冒險阻，吾豈忍朝夕離左右。且吾尚未面辭，當還白至尊，更稟進止。」涕泣，跋馬欲西。建寧王倓與李輔國執鞚諫曰：「逆胡犯闕，四海分崩，不因人情，何以興復！今殿下從至尊入蜀，若賊兵燒絕棧道，則中原之地拱手授賊矣。人情既離，不可復合，雖欲復至此，其可得乎！不如收西北守邊之兵，召郭、李於河北，與之並力東討逆賊，克復二京，削平四海，使社稷危而復安，宗廟毀而更存，掃除宮禁以迎至尊，豈非孝之大者乎！何必區區溫情，為兒女之戀乎！」廣平王俶亦勸太子留。父老共擁太子馬，不得行。太子乃使俶馳白上。(資治通鑑卷二百一十八)
李輔國擁立肅宗有功，他因此得以扶搖直上。史書記載他被「擢為太子家令，判元帥府行軍司馬事，以心腹委之，仍賜名護國，四方奏事，御前符印軍號，一以委之」。他後來更「從幸鳳翔，授太子詹事，改名輔國」。
肅宗即位，擢為太子家令，判元帥府行軍司馬事，以心腹委之，仍賜名護國，四方奏事，御前符印軍號，一以委之......從幸鳳翔，授太子詹事，改名輔國。(《舊唐書‧李輔國傳》)
擢家令，判元帥府行軍司馬。肅宗稍稍任以肱膂事，更名護國，又改今名。凡四方章奏、軍符、禁寶一委之。(《新唐書‧李輔國傳》)
太子詹事李輔國，自上在靈武，判元帥行軍司馬事，侍直帷幄，宣傳詔命，四方文奏，寶印符契，晨夕軍號，一以委之......(資治通鑑卷二百二十一)
關於李輔國的為人，其似甚為懂得矯飾、偽裝，心思細密。
輔國不茹葷血，常為僧行，視事之隟，手持念珠，人皆信以為善。(《舊唐書‧李輔國傳》)
輔國能隨事齪齪謹密，取人主親信，而內深賊未敢肆。不啖葷，時時為浮屠詭行，人以為柔良，不忌也。(《新唐書‧李輔國傳》)
輔國外恭謹寡言而內狡險。(資治通鑑卷二百一十九)
他又極力巴結肅宗的皇后張氏。
皇后寵遇專房，與中官李輔國持權禁中，干預政事，請謁過當，帝頗不悅，無如之何。(《舊唐書‧后妃下》)
后能牢寵，稍稍豫政事，與李輔國相助，多以私謁橈權。(《新唐書‧后妃下》)
見張良娣有寵，陰附會之，與相表裏。(資治通鑑卷二百一十九)
(至德三載，公元七五八年)
二月，癸卯朔，以殿中監李輔國兼太僕卿。輔國依附張淑妃，判元帥府行軍司馬，勢傾朝野。(資治通鑑卷二百二十)
(乾元元年，公元七五八年，三月) 戊寅，立張淑妃為皇后。(資治通鑑卷二百二十)
且譖告建寧王李倓，痛惡山人李泌。
建寧王倓數於上前詆訐二人罪惡，二人譖之於上曰：「倓恨不得為元帥，謀害廣平王。」上怒，賜倓死。(資治通鑑卷二百一十九)
時張良娣與李輔國相表裡，皆惡泌。(資治通鑑卷二百一十九)
他甚至意圖透過「請取契鑰付泌」，暗示李泌權寵過甚，以刺激肅宗對李泌的猜疑，只是未能成功。
而李輔國請取契鑰付泌，泌請使輔國掌之；上許之。(資治通鑑卷二百二十)
肅宗還都長安後，李輔國地位日隆，權勢日盛，被尊稱為「五郎」、「五父」。
肅宗還京，拜殿中監，閑廄、五坊、宮苑、營田、栽接、總監等使，又兼隴右群牧、京畿鑄錢、長春宮等使，勾當少府、殿中二監都使。至德二年十二月，加開府儀同三司，進封郕國公，食實封五百戶。宰臣百司，不時奏事，皆因輔國上決。常在銀臺門受事，置察事廳子數十人，官吏有小過，無不伺知，即加推訊。府縣按鞫，三司制獄，必詣輔國取決，隨意區分，皆稱制勑，無敢異議者。每出則甲士數百人衛從。中貴人不敢呼其官，但呼五郎。宰相李揆，山東甲族，位居台輔，見輔國執子弟之禮，謂之五父。肅宗又為輔國娶故吏部侍郎元希聲侄擢女為妻。擢弟挹，時並引入臺省，擢為梁州長史。輔國判元帥行軍司馬，專掌禁兵，賜內宅居止。(《舊唐書‧李輔國傳》)
及還京師，專掌禁兵，常居內宅，制敕必經輔國押署，然後施行，宰相百司非時奏事，皆因輔國關白、承旨。常於銀臺門決天下事，事無大小，輔國口為制敕，寫付外施行，事畢聞奏。又置察事數十人，潛令於人間聽察細事，卽行推按；有所追索，諸司無敢拒者。御史臺、大理寺重囚，或推斷未畢，輔國追詣銀臺，一時縱之。三司、府、縣鞫獄，皆先詣輔國咨稟，輕重隨意，稱制敕行之，莫敢違者。宦官不敢斥其官，皆謂之五郎。李揆山東甲族，見輔國執子弟禮，謂之五父。(資治通鑑卷二百二十一)
當時，朝廷以李峴、李揆、第五琦深得肅宗重用，位居要職。其中，肅宗「於峴恩意尤厚，峴亦以經濟為己任」，故「軍國大事多獨決於峴」。
(乾元二年，公元七五九年，三月)
以京兆尹李峴行吏部尚書，中書舍人兼禮部侍郎李揆為中書侍郎，及戶部侍郎第五琦並同平章事。上於峴恩意尤厚，峴亦以經濟為己任，軍國大事多獨決於峴。(資治通鑑卷二百二十一)
至於呂諲、崔器等人，由於其為人刻薄寡恩，不得民心，反不如李峴等「獨得美譽」、獲得肅宗的重用。
(至德二載，公元七五七年，十二月)
辛亥，以禮部尚書李峴、兵部侍郎呂諲為詳理使，與御史大夫崔器共按陳希烈等獄。峴以殿中侍御史李棲筠為詳理判官，棲筠多務平恕，故人皆怨諲、器之刻深，而峴獨得美譽。(資治通鑑卷二百二十)
(至德二載，公元七五七年，十二月)
崔器、呂諲上言：「諸陷賊官，背國從偽，准律皆應處死。」上欲從之。李峴以為：「賊陷兩京，天子南巡，人自逃生。此屬皆陛下親戚或勳舊子孫，今一概以叛法處死，恐乖仁恕之道。且河北未平，群臣陷賊者尚多，若寬之，足開自新之路；若盡誅之，是堅其附賊之心也。《書》曰：『殲厥渠魁，脅從罔理。』諲、器守文，不達大體。惟陛上圖之。」爭之累日，上從峴議，以六等定罪，重者刑之於市，次賜自盡，次重杖一百，次三等流、貶。壬申，斬達奚珣等十八人於城西南獨柳樹下，陳希烈等七人賜自盡於大理寺；應受杖者於京兆府門。(資治通鑑卷二百二十)
(乾元二年，公元七五九年，三月)
甲午，以兵部侍郎呂諲同平章事，乙未，以中書侍郎、同平章事苗晉卿為太子太傅，王璵為刑部尚書，皆罷政事。(資治通鑑卷二百二十一)
然而，李輔國並未有積極結交李峴、李揆、第五琦。
其反而因「選五百羽林騎士以巡邏京師」一事，與李揆 (儘管李揆本來稱李輔國為「五父」，對輔國甚尊敬) 有隙。
(乾元二年，公元七五九年，三月)
於是京師多盜，李輔國請選羽林騎士五百以備巡邏。李揆上疏曰：「昔西漢以南北軍相制，故周勃因南軍入北軍，遂安劉氏。皇朝置南、北牙，文武區分，以相伺察。今以羽林代金吾警夜，忽有非常之變，將何以制之！」乃止。(資治通鑑卷二百二十一)
而李峴於乾元二年 (公元七五九年) 四月「論制敕皆應由中書出」，直陳「輔國專權亂政之狀」，致使「輔國所行事，多所變更」，更令李輔國開始忌恨李峴。
及李峴為相，於上前叩頭，論制敕皆應由中書出，具陳輔國專權亂政之狀，上感寤，賞其正直；輔國所行事，多所變更，罷其察事。輔國由是讓行軍司馬，請歸本官，上不許。壬寅，制：「比緣軍國務殷，或宣口敕處分。諸色取索及杖配囚徒，自今一切並停。如非正宣，並不得行。中外諸務，各歸有司。英武軍虞候及六軍諸使、諸司等，比來或因論競，懸自追攝，自今一切須經台、府。如所由處斷不平，聽具狀奏聞。諸律令除十惡、殺人、奸、盜、造偽外，餘煩冗一切刪除，仍委中書、門下與法官詳定聞奏。」輔國由是忌峴。(資治通鑑卷二百二十一)
終於，李輔國借助「謝夷甫被毛若虛歸罪」事件，將李峴及朝中一眾正直官員 (包括：孫鎣、崔伯陽、李曄、權獻) 一網打盡。
鳳翔馬坊押官為劫，天興尉謝夷甫捕殺之。其妻訟冤。李輔國素出飛龍廄，敕監察御史孫鎣鞫之，無冤。又使御史中丞崔伯陽、刑部侍郎李曄、大理卿權獻鞫之，與鎣同。妻猶不服。又使侍御史太平毛若虛鞫之。若虛傾巧士，希輔國意，歸罪夷甫。伯陽怒，召若虛詰責，欲劾奏之。若虛先自歸於上，上匿若虛於簾下。伯陽尋至，言若虛附會中人，鞫獄不直。上怒，叱出之。伯陽貶高要尉，獻貶桂陽尉，曄與鳳翔尹嚴向皆貶嶺下尉，鎣除名，長流播州。吏部尚書、同平章事李峴奏伯陽等無罪，責之太重；上以為朋黨，五月，辛巳，貶峴蜀州刺史。(資治通鑑卷二百二十一)
關於「謝夷甫被毛若虛歸罪」事件，我們不妨補充一下。
事緣鳳翔馬坊押官從事劫掠活動 (鳳翔馬坊隸屬飛龍廄)，天興尉謝夷甫依法將之捕殺。鳳翔馬坊押官的妻子不服，上訴訟冤。李輔國因出身飛龍廄，敕
(「敕」原本由皇帝親自發出，但李輔國因得到肅宗信用、委以大任，其故可下「敕」)
監察御史孫鎣重新審訊，結果宣告判決無誤。輔國復使御史中丞崔伯陽、刑部侍郎李曄、大理卿權獻重新審訊，判決仍然被宣告無誤。直至李輔國使侍御史太平毛若虛加以審訊，由於毛若虛心知李輔國旨在為鳳翔馬坊押官開脫，以保存飛龍廄的清譽，其於是歸罪夷甫判決錯誤。事情外洩，崔伯陽等人大為忿怒，認為毛若虛附會李輔國，審訊案件不公允。肅宗不以為然，對毛若虛處處袒護。尤有進者，他將崔伯陽貶為高要尉，權獻貶為桂陽尉，李曄等人貶為嶺下尉，而孫鎣則除名，流放播州。李峴「奏伯陽等無罪，責之太重」，肅宗反以為其與崔伯陽等人結成朋黨，將之貶為蜀州刺史，事在乾元二年
(公元七五九年) 五月。
平情而論，崔伯陽等人只是依照國家法令辦事，其根本沒有犯上任何錯誤。又李峴為人正直，其見朝中官員被肅宗誤會，施以援手，這亦不能算是什麼結黨營私。肅宗之所以不滿崔伯陽等人，且一口咬定李峴結黨營私，對眾人予以貶抑，其背後乃是受到李輔國之慫恿、煽動。崔伯陽、李峴等同為朝廷之清流、柱石，今卻被李輔國用計迫走，李輔國為一什麼質素的宦官，大家可想而知。
無奈的是，肅宗對自己的做法並未悔改。毛若虛不久升任御史中丞，威振朝廷。
右散騎常侍韓擇木入對，上謂之曰：「李峴欲專權，今貶蜀州，朕自覺用法太寬。」對曰：「李峴言直，非專權。陛下寬之，只益聖德耳。」若虛尋除御史中丞，威振朝廷。(資治通鑑卷二百二十一)
李輔國的地位日益牢固 (毛若虛乃輔國之羽翼)，其權力因而得以進一步擴大，地方上的「節度使皆出其門」。
(乾元三年，公元七六零年，三月)
制以隴州刺史韋倫為山南東道節度使。時李輔國用事，節度使皆出其門。倫既朝廷所除，又不謁輔國，尋改秦州防禦使。(資治通鑑卷二百二十一)
李輔國更因玄宗左右對自己輕蔑，誘使肅宗懷疑自己的父親「圖謀不軌」，從而迫玄宗遷出興慶宮，轉居西內。
(上元元年，公元七六零年，六月)
李輔國素微賤，雖暴貴用事，上皇左右皆輕之。輔國意恨，且欲立奇功以固其寵，乃言於上曰：「上皇居興慶宮，日與外人交通，陳玄禮、高力士謀不利於陛下。今六軍將士盡靈武勳臣，皆反仄不安，臣曉諭不能解，不敢不以聞。」上泣曰：「聖皇慈仁，豈容有此！」對曰：「上皇固無此意，其如群小何！陛下為天下主，當為社稷大計，消亂於未萌，豈得徇匹夫之孝！且興慶宮與閭閻相參，垣墉淺露，非至尊所宜居。大內深嚴，奉迎居之，與彼何殊，又得杜絕小人熒惑聖聽。如此，上皇享萬歲之安，陛下有三朝之樂，庸何傷乎！」上不聽。興慶宮先有馬三百匹，輔國矯敕取之，才留十匹。上皇謂高力士曰：「吾兒為輔國所惑，不得終孝矣。」
輔國又令六軍將士，號哭叩頭，請迎上皇居西內。上泣不應。輔國懼。會上不豫，秋，七月，丁未，輔國矯稱上語，迎上皇游西內，至睿武門，輔國將射生五百騎，露刃遮道奏曰：「皇帝以興慶宮湫隘，迎上皇遷居大內。」上皇驚，幾墜。高力士曰：「李輔國何得無禮！」叱令下馬。輔國不得已而下。力士因宣上皇誥曰：「諸將士各好在！」將士皆納刃，再拜，呼萬歲。力士又叱輔國與己共執上皇馬鞚，侍衛如西內，居甘露殿。輔國帥眾而退。所留侍衛兵，才尪老數人。陳玄禮、高力士及舊宮人皆不能留左右。上皇曰：「興慶宮，吾之王地，吾數以讓皇帝，皇帝不受。今日之徙，亦吾志也。」(資治通鑑卷二百二十一)
高力士被迫與侍奉超過半生的主子分離，亦出自李輔國的毒手 (輔國此舉，用意在孤立唐玄宗)。
(上元元年，公元七六零年，六月) 丙辰，高力士流巫州。(資治通鑑卷二百二十一)
刑部尚書顏真卿率領百官上表「請問上皇起居」，李輔國反促請肅宗奏貶真卿為蓬州長史。
刑部尚書顏真卿首帥百寮上表，請問上皇起居。輔國惡之，奏貶蓬州長史。(資治通鑑卷二百二十一)
直至玄宗有疾，肅宗同時飽受疾病煎熬，其才於病榻中悟透李輔國之陰險毒辣。奈何輔國此時已握有中央禁軍 (即六軍)，肅宗始終不敢輕舉妄動。
然上皇日以不懌，因不茹葷，辟谷，浸以成疾。上初猶往問安，既而上亦有疾，但遣人起居。其後上稍悔寤，惡輔國，欲誅之，畏其握兵，竟猶豫不能決。(資治通鑑卷二百二十一)
是日，輔國與六軍大將素服見上，請罪。上又迫於諸將，乃勞之曰：「南宮、西內，亦復何殊！卿等恐小人熒惑，防微杜漸，以安社稷，何所懼也！」(資治通鑑卷二百二十一)
李輔國的專橫跋扈，代表著唐室「宦官之禍」的開始。
過往，玄宗雖然重用高力士，但力士為人忠義正直，又經常提點玄宗之缺失，其不但未有敗壞朝政，反而對朝政有匡正之功。「宦官之禍」並不始於高力士，事甚明顯。
可是，自李輔國開始，宦官逐漸握有中央禁軍的控制權 / 負責監軍
(魚朝恩出任「觀軍容宣慰處置使」即為宦官監軍的開始)。他們排斥異己，陷害忠良，只考慮自身利益、地位之保存，卻置唐室命運於不顧。「宦官之禍」由是展開。
中、晚唐以後，宦官經常干預君主之廢立，並多次發動政變。唐文宗稱自己受制於家奴，境遇遠不如周赧王、漢獻帝。這局面的誕生，「肅宗對李輔國之過度寵信」實在難辭其咎
(陳寅恪《唐代政治史述論稿》稱唐代宦官多為胡人出身，其因此比歷朝宦官更為驕橫，敢於干預廢立，視君主於無物。這說法值得深思)！
