張說重返朝廷後，日漸獲得玄宗的重用，事見「張說回歸」一章。
然而，張說恃寵專斷。其一方面與朝中的官員有隙，一方面經常提拔自己的親信，貶抑自己不喜歡的人才。他因而開罪崔隱甫。
（開元十四年，公元七二六年，年初）上召河南尹崔隱甫，欲用之，中書令張說薄其無文，奏擬金吾大將軍；前殿中監崔日知素與說善，說薦為御史大夫；上不從。丙辰，以日知為左羽林大將軍，丁巳，以隱甫為御史大夫。隱甫由是與說有隙。（資治通鑑卷二百一十三）
說有才智而好賄，百官白事有不合者，好面折之，至於叱罵。（資治通鑑卷二百一十三）
他又經常貶抑御史中丞宇文融的建議，且譏諷宇文融為「鼠輩」，宇文融自此與張說不合。
惡御史中丞宇文融之為人，且患其權重，融所建白，多抑之。中書舍人張九齡言於說曰：「宇文融承恩用事，辯給多權數，不可不備。」說曰：「鼠輩何能為！」（資治通鑑卷二百一十三）
張說所種下的惡果，終於在開元十四年 (公元七二六年) 四月到來。崔隱甫聯同宇文融、李林甫 (李叔良之曾孫)
等人共同上奏彈劾張說，指斥張說「引術士占星，徇私僭侈，受納賄賂」。
夏，四月，壬子，隱甫、融及御史中丞李林甫共奏彈說「引術士占星，徇私僭侈，受納賄賂。」（資治通鑑卷二百一十三）
玄宗敕令源乾曜、韋抗等人加以審問調查。
敕源乾曜及刑部尚書韋抗、大理少卿明珪與隱甫等同於御史台鞫之......抗，安石之從父兄子也。（資治通鑑卷二百一十三）
然而，源乾曜早因「封禪大典」的問題與張說發生矛盾，調查、審訊的結果，吾人不難推知。
源乾曜等鞫張說，事頗有狀。（資治通鑑卷二百一十三）
慶幸的是，高力士 (玄宗寵信的宦官) 為張說求情，指出張說對國家有功，張說最後只被罷免中書令的職務。
上使高力士視說，力士還奏：「說蓬首垢面，席蒿，食以瓦器，惶懼待罪。」上意憐之。力士因言說有功於國，上以為然。庚申，但罷說中書令，餘如故。（資治通鑑卷二百一十三）
其仍任職尚書右丞相。
張說逃過一劫後，玄宗對他的信任大不如前。這由玄宗不接受他「與吐蕃和親」的建議可見。
（開元十五年，公元七二七年，正月）初，吐蕃自恃其強，致書用敵國禮，辭指悖慢，上意常怒之。返自東封，張說言於上曰：「吐蕃無禮，誠宜誅夷，但連兵十餘年，甘、涼、河、鄯、不勝其弊，雖師屢捷，所得不償所亡。聞其悔過求和，願聽其款服，以紓邊人。」上曰：「俟吾與......議之。」說退，謂源乾曜曰：「......若二國和親，何以為功！吾言必不用矣。」......果請深入討之。（資治通鑑卷二百一十三）
崔隱甫、宇文融方面，二人深恐張說日後復被起用，對自己構成不利，其於是多次上奏詆毀張說，且樹立朋黨。
御史大夫崔隱甫、中丞宇文融，恐右丞相張說復用，數奏毀之，各為朋黨。（資治通鑑卷二百一十三）
崔隱甫、宇文融之所為，漸令玄宗感到不滿。終於在開元十五年 (公元七二七年) 二月，玄宗從問題的根源著手，「制說致仕
(案：指退休)」。又崔隱甫被免官侍母，宇文融則被外調為魏州刺史。
上惡之，二月，乙巳，制說致仕，隱甫免官侍母，融出為魏州刺史。（資治通鑑卷二百一十三）
問題至此可謂得一完滿的解決。
張說退休後，專任文史之職。十六年 (公元七二八年) 二月，他「兼集賢院學士」。
二月，壬申，以尚書右丞相致仕張說兼集賢殿學士。（資治通鑑卷二百一十三）
不過，雖則如此，國家每有大事，玄宗仍派人詢問張說的意見。
說雖罷政事，專文史之任，朝廷每有大事，上常遣中使訪之。（資治通鑑卷二百一十三）
換言之，張說在政治上仍有一定的影響力。
張說後來曾呈上《開元大衍歷》，對中國歷法有大貢獻。
（開元十六年，公元七二八年）八月，乙巳，特進張說上《開元大衍歷》，行之。（資治通鑑卷二百一十三）
其又和諸學士合力編纂《開元禮》(張說死後，由蕭嵩完成之)。
初，上命張說與諸學士刊定五禮。說薨，蕭嵩繼之。起居舍人王仲丘請依《明慶禮》，祈谷、大雩、明堂，皆祀昊天上帝；嵩又請依上元敕，父在為母齊衰三年。皆從之。以高祖配圜丘、方丘，太宗配雩祀及神州地祇，睿宗配明堂。九月，乙巳，新禮成，上之，號曰《開元禮》。（資治通鑑卷二百一十三）
開元十八年 (公元七三零年)，張說患病。玄宗每日派人前來探問最新病情，並手寫藥方賜予張說 (此見玄宗始終關心張說)。
十八年，遇疾，玄宗每日令中使問疾，並手寫藥方賜之。（《舊唐書》之《張說傳》）
惜乎到了十二月，張說始終病逝，享年六十四歲。
十二月薨，時年六十四。上慘惻久之，遽於光順門舉哀，因罷十九年元正朝會，詔曰：
弘濟艱難，參其功者時傑；經緯禮樂，贊其道者人師。式瞻而百度允厘，既往而千載貽範。臺衡軒鼎，垂黼藻於當今；徽策寵章，播芳蕤於後葉。故開府儀同三司、尚書左丞相、集賢院學士知院事、上柱國、燕國公張說，辰象降靈，雲龍合契。元和體其沖粹，妙有釋其至賾。挹而莫測，仰之彌高。精義探系表之微，英辭鼓天下之動。昔侍春誦，綢繆歲華。含舂容之聲，叩而盡應；蘊泉源之智，啟而斯沃。授命興國，則天衢以通；濟用和民，則朝政惟允。司鈞總六官之紀，端揆為萬邦之式。方弘風緯俗，返本於上古之初；而邁德振仁，不臻於中壽之福。於嗟不慭，既喪斯文。宣室余談，泠然在耳；王殿遺草，宛留其跡。言念忠賢，良深震悼。是使當寧撫幾，臨樂徹懸，罷稱觴之儀，遵往襚之禮。可贈太師，賜物五百段。（《舊唐書》之《張說傳》）
與唐太宗時期的房玄齡、魏徵相比，張說固然不可及。即使是與宋璟比較，張說援引黨羽、排斥異己的做法似也令其成就難望宋璟之項背。
可是，從另一觀點看，張說無疑對唐代的軍事制度改革、文化的弘揚和推動有大貢獻，他仍不失為開元年間一重要之宰相。
