開元八年 (公元七二零年) 春，正月，宋璟被罷為「開府儀同三司」。
事緣宋璟將負罪而上訴不已的人繫於獄中，致令人對之多生怨恨。
侍中宋璟疾負罪而妄訴不已者，悉付御史台治之。謂中丞李謹度曰：「服不更訴者出之，尚訴未已者且系。」由是人多怨者。會天旱有魃，優人作魃狀戲於上前，問魃：「何為出？」對曰：「奉相公處分。」又問：「何故？」魃曰：「負冤者三百餘人，相公悉以系獄抑之，故魃不得不出。」上心以為然。（資治通鑑卷二百一十二）
加上宋璟、蘇頲過分打擊「惡錢」，且用人失當，民間被受困擾。
時璟與中書侍郎、同平章事蘇頲建議嚴禁惡錢，江、淮間惡錢尤甚，璟以監察御史蕭隱之充使括惡錢。隱之嚴急煩擾，怨嗟盈路，上於是貶隱之官。（資治通鑑卷二百一十二）
結果，玄宗只好罷宋璟宰相之職，兼及蘇頲，改為起用源乾曜、張嘉貞 (張嘉貞正是在此時進入中央的，關於張嘉貞的事，見前文)。
辛巳，罷璟為開府儀同三司，頲為禮部尚書。以京兆尹源乾曜為黃門侍郎，并州長史張嘉貞為中書侍郎，並同平章事。於是弛錢禁，惡錢復行矣。（資治通鑑卷二百一十二）
丁卯，以源乾曜為侍中，張嘉貞為中書令。（資治通鑑卷二百一十二）
張說。
（開元九年，即公元七二一年，九月）癸亥，以張說為兵部尚書、同中書門下三品。（資治通鑑卷二百一十二）
（開元十一年，即公元七二三年，二月）癸亥，以張說兼中書令。（資治通鑑卷二百一十二）
嘉貞後因援引黨羽、開罪張說、巴結王守一而被貶地方，乾曜卻一直大公無私。
（開元八年，即公元七二零年，五月）乾曜上言：「形要之家多任京官，使俊乂之士沉廢於外。臣三子皆在京，請出其二人。」上從之。因下制稱乾曜之公，命文武官效之，於是出者百餘人。（資治通鑑卷二百一十二）
乾曜又支持監察御史宇文融「檢括天下戶口」的建議，對唐室經濟的恢復有大貢獻。
（開元九年，即公元七二一年）監察御史宇文融上言：「天下戶口逃移，巧偽甚眾，請加檢括。」融，弼之玄孫也，源乾曜素愛其才，贊成之。二月，乙酉，敕有司議招集流移、按詰巧偽之法以聞。（資治通鑑卷二百一十二）
其後來雖因封禪事宜而與張說不和。
（開元十二年，即公元七二四年，十一月）群臣屢上表請封禪，閏月，丁卯，制以明年十一月十日有事於泰山。時張說首建封禪之議，而源乾曜不欲為之，由是與說不平。（資治通鑑卷二百一十二）
可是，玄宗對乾曜仍予以厚待，這由源光裕出任刺史一事可見一斑。
（開元十三年，即公元七二五年，二月）上自選諸司長官有聲望者大理卿源光裕、尚書左丞楊承令、兵部侍郎寇泚等十一人為刺史，命宰相、諸王及諸司長官、台郎、御史餞於洛濱，供張甚盛。賜以御膳，太常具樂，內坊歌妓；上自書十韻詩，命將軍高力士賜之。光裕，乾曜之從孫也。（資治通鑑卷二百一十二）
宋璟罷相後，不久任西京留守。
壬寅，以開府儀同三司宋璟為西京留守。（資治通鑑卷二百一十二）
其一生剛直，老而彌篤。
王毛仲有寵於上，百官附之者輻湊。毛仲嫁女，上問何須。毛仲頓首對曰：「臣萬事已備，但未得客。」上曰：「張說、源乾曜輩豈不可呼邪？」對曰：「此則得之。」上曰：「知汝所不能致者一人耳，必宋璟也。」對曰：「然。」上笑曰：「朕明日為汝召客。」明日，上謂宰相：「朕奴毛仲有婚事，卿等宜與諸達官悉詣其第。」既而日中，眾客未敢舉箸，待璟。久之，方至，先執酒西向拜謝，飲不盡卮，遽稱腹痛而歸。璟之剛直，老而彌篤。（資治通鑑卷二百一十二）
我們可以說，「罷相」一事基本上並未損害宋璟作為一代儒臣之風範，其只是轉變了中央政治核心的領導班子 (由宋璟、蘇頲為首轉成張說、源乾曜為首)。
