開元二十一年 (公元七三三年) 十月，張九齡重新被起用為中書侍郎，並同平章事。
以京兆尹裴耀卿為黃門侍郎，前中書侍郎張九齡時居母喪，起復中書侍郎，並同平章事。（資治通鑑卷二百一十三）
當時，張九齡正在為母親守喪。他希望等待守喪期滿後才進京拜相，惜玄宗不許。
（開元二十二年，公元七三四年）春，正月，己巳，上發西京；己丑，至東都。張九齡自韶州入見，求終喪；不許。（資治通鑑卷二百一十四）
當然，玄宗不答允張九齡的請求亦不是全沒來由的。蓋朝中宰相人才凋零，全國政務繁多，張九齡之盡早就職似乎甚為必要。
張九齡就任後，首倡「不禁鑄錢」(即容許私人鑄幣)。
張九齡請不禁鑄錢，三月，庚辰，敕百官議之。（資治通鑑卷二百一十四）
然而，「不禁鑄錢」將造成「小人棄農逐利」、「貧者益貧而役於富，富者益富而逞其欲」等不良後果。在裴耀卿、劉秩的極力反對下，張九齡的建議未被採納。
裴耀卿等皆曰：「一啟此門，恐小人棄農逐利，而濫惡更甚。」秘書監崔沔曰：「若稅銅折役，則官冶可成，計估度庸，則私鑄無利，易而可久，簡而難誣。且夫錢之為物，貴以通貨，利不在多，何待私鑄然後足用也！」右監門錄事參軍劉秩曰：「夫人富則不可以賞勸，貧則不可以威禁，若許其私鑄，貧者必不能為之；臣恐貧者益貧而役於富，富者益富而逞其欲。漢文帝時，吳王濞富埒天子，鑄錢所致也。」上乃止。秩，子玄之子也。（資治通鑑卷二百一十四）
開元二十二年 (公元七三四年) 五月，九齡晉升為中書令。
五月，戊子，以裴耀卿為侍中，張九齡為中書令，林甫為禮部尚書、同中書門下三品。（資治通鑑卷二百一十四）
在職期間，九齡直言極諫。
他曾指出「宰相者，代天理物，非賞功之官也」，阻止玄宗以張守珪為相，對澄清宰相的質素起著一定的正面作用。
上美張守珪之功，欲以為相，張九齡諫曰：「宰相者，代天理物，非賞功之官也。」上曰：「假以其名而不使任其職，可乎？」對曰：「不可。惟名與器不可以假人，君之所司也。且守珪才破契丹，陛下即以為宰相；若盡滅奚、厥，將以何官賞之？」上乃止。（資治通鑑卷二百一十四）
張守珪的部下安祿山輕敵冒進，以致唐軍為奚、契丹所敗，死傷慘重。張九齡直言「祿山失律喪師，於法不可不誅」。
（開元二十四年，公元七三六年）張守珪使平盧討擊使、左驍衛將軍安祿山討奚、契丹叛者，祿山恃勇輕進，為虜所敗。夏，四月，辛亥，守珪奏請斬之。祿山臨刑呼曰：「大夫不欲滅奚、契丹邪！奈何殺祿山！」守珪亦惜其驍勇，欲活之，乃更執送京師。張九齡批曰：「昔穰苴誅莊賈，孫武斬宮嬪。守珪軍令若行，祿山不宜免死。」上惜其才，敕令免官，以白衣將領。九齡固爭曰：「祿山失律喪師，於法不可不誅。且臣觀其貌有反相，不殺必為後患。」上曰：「卿勿以王夷甫識石勒，枉害忠良。」竟赦之。（資治通鑑卷二百一十四）
除了直言敢諫，張九齡又同情為父申冤、復仇的張瑝、張琇兄弟，帶有儒者之處事作風。
（開元二十三年，公元七三五年）初，殿中侍御史楊汪既殺張審素，更名萬頃。審素二子瑝、琇皆幼，坐流嶺表；尋逃歸，謀伺便復讎。三月，丁卯，手殺萬頃於都城。繫表於斧，言父冤狀，欲之江外殺與萬頃同謀陷其父者，至汜水，為有司所得。議者多言二子父死非罪，穉年孝烈能復父讎，宜加矜宥；張九齡亦欲活之。裴耀卿、李林甫以為如此，壞國法，上亦以為然，謂九齡曰：「孝子之情，義不顧死；然殺人而赦之，此塗不可啟也。」乃下敕曰：「國家設法，期於止殺。各伸為子之志，誰非徇孝之人！展轉相讎，何有限極！咎繇作士，法在必行。曾參殺人，亦不可恕。宜付河南府杖殺。」士民皆憐之，為作哀誄，牓於衢路。市人斂錢葬之於北邙，恐萬頃家發之，仍為疑冢數處。（資治通鑑卷二百一十四）
對於前朝興廢之事，九齡亦提醒玄宗加以注意、審視，撰有《千秋金鏡錄》五卷。
（開元二十四年，公元七三六年）秋，八月，壬子，千秋節，群臣皆獻寶鏡。張九齡以為以鏡自照見形容，以人自照見吉凶，乃述前世興廢之源，為書五卷，謂之《千秋金鏡錄》，上之；上賜書褒美。（資治通鑑卷二百一十四）
唐太宗曾言：「以史為鏡，可以知興替」，張九齡之所為，正好有助玄宗覺知太宗當年之所覺 (即有助唐政權自身之更新)。
可惜的是，其不久漸為玄宗所疏遠，狡詐奸險的李林甫反成為玄宗身邊的寵臣。
（開元二十四年，公元七三六年）冬，十月，戊申，車駕發東都。先是，敕以來年二月二日行幸西京，會宮中有怪，明日，上召宰相，即議西還。裴耀卿、張九齡曰：「今農收未畢，請俟仲冬。」李林甫潛知上指，二相退，林甫獨留，言於上曰：「長安、洛陽，陛下東西宮耳，往來行幸，何更擇時！借使妨於農收，但應蠲所過租稅而已。臣請宣示百司，即日西行。」上悅，從之。（資治通鑑卷二百一十四）
張九齡、李林甫後來又因加封牛仙客為尚書一事而爭持不休。期間，九齡擇善固執的性格令玄宗大為憤怒，對之深感不滿。
朔方節度使牛仙客，前在河西，能節用度，勤職業，倉庫充實，器械精利；上聞而嘉之，欲加尚書。張九齡曰：「不可。尚書，古之納言，唐興以來，惟舊相及揚歷中外有德望者乃為之。仙客本河湟使典，今驟居清要，恐羞朝廷。」上曰：「然則但加實封可乎？」對曰：「不可。封爵所以勸有功也。邊將實倉庫，修器械，乃常務耳，不足為功。陛下賞其勤，賜之金帛可也；裂土封之，恐非其宜。」上默然。李林甫言於上曰：「仙客，宰相才也，何有於尚書！九齡書生，不達大體。」上悅。明日，復以仙客實封為言，九齡固執如初。上怒，變色曰：「事皆由卿邪？」九齡頓首謝曰：「陛下不知臣愚，使待罪宰相，事有未允，臣不敢不盡言。」上曰：「卿嫌仙客寒微，如卿有何閥閱！」九齡曰：「臣嶺海孤賤，不如仙客生於中華；然臣出入台閣，典司誥命有年矣。仙客邊隅小吏，目不知書，若大任之，恐不愜眾望。」林甫退而言曰：「苟有才識，何必辭學！天子用人，有何不可！」（資治通鑑卷二百一十四）
尤其嚴重者，在廢太子李瑛一事中，張九齡不同意玄宗的做法，站在不廢太子的一邊。在李林甫安排的圈套及惡意中傷下，九齡罷相。事在開元二十四年
(公元七三六年)。
上之為臨淄王也，趙麗妃、皇甫德儀、劉才人皆有寵，麗妃生太子瑛，德儀生鄂王瑤，才人生光王琚。及即位，幸武惠妃，麗妃等愛皆馳；惠妃生壽王瑁，寵冠諸子。太子與瑤、琚會於內第，各以母失職有怨望語。駙馬都尉楊洄尚咸宜公主，常伺三子過失以告惠妃。惠妃泣訴於上曰：「太子陰結黨與，將害妾母子，亦指斥至尊。」上大怒，以語宰相，欲皆廢之。九齡曰：「陛下踐祚垂三十年，太子諸王不離深宮，日受聖訓，天下之人皆慶陛下享國久長，子孫蕃昌。今三子皆已成人，不聞大過，陛下奈何一旦以無根之語，喜怒之際，盡廢之乎！且太子天下本，不可輕搖。昔晉獻公聽驪姬之讒殺申生，三世大亂。漢武帝信江充之誣罪戾太子，京城流血。晉惠帝用賈後之譖廢愍懷太子，中原塗炭。隋文帝納獨孤後之言黜太子勇，立煬帝，遂失天下。由此觀之，不可不慎。陛下必欲為此，臣不敢奉詔。」上不悅。林甫初無所言，退而私謂宦官之貴幸者曰：「此主上家事，何必問外人！」上猶豫未決。林甫日夜短九齡於上，上浸疏之。惠妃密使官奴牛貴兒謂九齡曰：「有廢必有興，公為之援，宰相可長處。」九齡叱之，以其語白上；上為之動色，故訖九齡罷相，太子得無動。林甫日夜短九齡於上，上浸疏之。（資治通鑑卷二百一十四）
與九齡相友好的嚴挺之、王元琰、裴耀卿受到牽連，或被貶官，或被流放，或被削去實權。
林甫引蕭炅為戶部侍郎。炅素不學，嘗對中書侍郎嚴挺之讀「伏臘」為「伏獵」。挺之言於九齡曰：「省中豈容有『伏獵侍郎』！」由是出炅為岐州刺史，故林甫怨挺之。九齡與挺之善，欲引以為相，嘗謂之曰：「李尚書方承恩，足下宜一造門，與之款暱。」挺之素負氣，薄林甫為人，竟不之詣；林甫恨之益深。挺之先娶妻，出之，更嫁蔚州刺史王元琰，元琰坐贓罪下三司按鞫，挺之為之營解。林甫因左右使於禁中白上。上謂宰相曰：「挺之為罪人請屬所由。」九齡曰：「此乃挺之出妻，不宜有情。」上曰：「雖離乃復有私。」（資治通鑑卷二百一十四）
於是上積前事，以耀卿、九齡為阿黨；壬寅，以耀為左丞相，九齡為右丞相，並罷政事。以林甫兼中書令；仙客為工部尚書、同中書門下三品，鄰朔方節度如故。嚴挺之貶洺州刺史，王元琰流嶺南。（資治通鑑卷二百一十四）
李林甫、牛仙客、蕭炅等人把持朝政，作威作福。次年 (開元二十五年，公元七三七年)
四月，監察御史周子諒彈劾牛仙客失敗。張九齡因曾舉薦周子諒，被貶荊州。自此，九齡遠離中央朝廷。
夏，四月，辛酉，監察御史周子諒彈牛仙客非才，引讖書為證。上怒，命左右手暴於殿庭，絕而復甦；仍杖之朝堂，流瀼州，至藍田而死。李林甫言：「子諒，張九齡所薦也。」甲子，貶九齡荊州長史。（資治通鑑卷二百一十四）
三年後，即開元二十八年 (公元七四零年) 二月，張九齡逝世，享年六十三歲。
二月，荊州長史張九齡卒。（資治通鑑卷二百一十四）
九齡乃一代良相。其風範、氣度，玄宗非不知之。這由他在日後宰相薦士時，必問「風度得如九齡不？」可見。
上雖以九齡忤旨逐之，然終愛重其人，每宰相薦士，輒問曰：「風度得如九齡不？」（資治通鑑卷二百一十四）
又玄宗本以九齡之擅長文學而對九齡加以重用，九齡文學才華之出眾，吾人不難想見。
初，上欲以李林甫為相，問於中書令張九齡，九齡對曰：「宰相系國安危，陛下相林甫，臣恐異日為廟社之憂。」上不從。時九齡方以文學為上所重，林甫雖恨，猶曲意事之。（資治通鑑卷二百一十四）
惜乎九齡為人剛直不屈、不刻意奉迎，玄宗又隨時日之推移而漸失廣闊的胸襟、氣量，且好聽甜言，親信奸佞。九齡終得到被貶荊州、鬱鬱而終的下場，這既是其個人性格、人生取態使然，也和玄宗心理、行為上的改變不無關係。
不過，孔子曰：「求仁得仁，又何怨？」，九齡剛直敢諫的處事方式當不為他一生帶來任何怨憤、遺恨。反之，玄宗「親佞遠賢」的心態、行為將使唐室的基業毀於一旦，其卻依舊懵然不知。這也可以算得上是歷史的弔詭吧！
最後，僅以司馬光的一番評論，結束全文。
上即位以來，所用之相，姚崇尚通，宋珪尚法，張嘉貞尚吏，張說尚文，李元紘、杜暹尚儉，韓休、張九齡尚直，各其所長也。九齡既得罪，自是朝廷之士，皆容身保位，無復直言。（資治通鑑卷二百一十四）
百官無進諫之心，諫諍之路又絕，唐室距離衰亡，已然不遠。
