張說早年因和姚崇不和，被玄宗外調至相州。
甲辰，獵於渭川。上欲以同州刺史姚元之為相，張說疾之，使御史大夫趙彥昭彈之，上不納。又使殿中監姜皎言於上曰：「陛下常欲擇河東總管而難其人，臣今得之矣。」上問為誰，皎曰：「姚元之文武全才，真其人也。」上曰：「此張說之意也，汝何得面欺，罪當死！」皎叩頭首服，上即遣中使召元之詣行在。既至，上方獵，引見，即拜兵部尚書、同中書門下三品。（資治通鑑卷二百一十）
姚崇即為相，紫微令張說懼，乃潛詣岐王申款。他日，崇對於便殿，行微蹇。上問：「有足疾乎？」對曰：「臣有腹心之疾，非足疾也。」上問其故。對曰：「岐王陛下愛弟，張說為輔臣，而密乘車入王家，恐為所誤，故憂之。」癸丑，說左遷相州刺史。（資治通鑑卷二百一十）
其後來輾轉出任岳州刺史、右羽林將軍等職位，地方行政經驗豐富。《舊唐書》記曰：
俄而為姚崇所構，出為相州刺史，仍充河北道按察使。俄又坐事左轉岳州刺史，仍停所食實封三百戶，遷右羽林將軍，兼檢校幽州都督。（《張說傳》）
開元七年 (公元七一九年)，張說檢校并州大都督府長史，兼天兵軍大使，攝御史大夫，兼修國史。
開元七年，檢校並州大都督府長史，兼天兵軍大使，攝御史大夫，兼修國史。（《張說傳》）
并州長史、天兵軍大使 (為防範突厥九姓新降者反叛而設置) 原本由張嘉貞擔任 (此時張嘉貞已入中央)，至此由張說承繼。
開元八年 (公元七二零年) 年中，王晙
(當時王晙任職鴻臚少卿、朔方軍副大總管，兼安北大都護、朔方道行軍大總管，豐安、定遠、三受降城及旁側諸軍，一律受王晙節度)
利用預先埋伏的唐兵，將突厥在河曲的降戶盡數誅殺 (王晙以為突厥降戶僕固都督勺磨暗中勾結突厥，故先下手為強)。
突厥降戶僕固都督勺磨......部落散居受降城側，朔方大使王晙言其陰引突厥，謀陷軍城，密奏請誅之。誘勺磨等宴於受降城，伏兵悉殺之，河曲降戶殆盡。（資治通鑑卷二百一十二）
（開元二年，即公元七一四年，二月）閏月，以鴻臚少卿、朔方軍副大總管王晙兼安北大都護、朔方道行軍大總管，令豐安、定遠、三受降城及旁側諸軍皆受晙節度。徙大都護府於中受降城，置兵屯田。（資治通鑑卷二百一十一）
這件事震驚拔曳固、同羅諸部。
拔曳固、同羅諸部在大同、橫野軍之側者，聞之皆忷懼。（資治通鑑卷二百一十二）
作為并州長史、天兵軍大使的張說，其有責任安撫突厥降戶。他於是帶領二十多人，到各突厥部落進行慰撫，並宿於其帳下，以示友好。
（開元六年，公元七一八年）二月，戊子，移蔚州橫野軍於山北，屯兵三萬，為九姓之援；以拔曳固都督頡質略、同羅都督毗伽末啜、霫都督比言、回紇都督夷健頡利發、僕固都督曳勒歌等各出騎兵為前、後、左、右軍討擊大使，皆受天兵軍節度。有所討捕，量宜追集；無事各歸部落營生，仍常加存撫。（資治通鑑卷二百一十二）
秋，并州長史、天兵節度大使張說引二十騎，持節即其部落慰撫之，因宿其帳下。（資治通鑑卷二百一十二）
副使李憲止之，未能成功。結果，拔曳固、同羅諸部受張說所感動，變得安心。
副使李憲以虜情難信，馳書止之。說復書曰：「吾肉非黃羊，必不畏食；血非野馬，必不畏刺。士見危致命，此吾效死之秋也。」拔曳固、同羅由是遂安。（資治通鑑卷二百一十二）
張說既有豐富的地方行政經濟，又無畏無懼，玄宗對他日益重視。
開元九年 (公元七二一年) 四月，蘭池州的胡人康待賓引誘諸降戶一同作反，攻陷六胡州，號稱擁兵七萬，威脅夏州。
蘭池州胡康待賓誘諸降戶同反，夏，四月，攻陷六胡州，有眾七萬，進逼夏州。（資治通鑑卷二百一十二）
玄宗命王晙、郭知運聯合平亂，張說則於其中加以協助。
命朔方總管王晙、隴右節度使郭知運共討之。（資治通鑑卷二百一十二）
以太僕卿王毛仲為朔方道防禦討擊大使，使與王晙及天兵軍節度大使張說相知討康待賓。（資治通鑑卷二百一十二）
在平亂的過程中，張說親身經歷王晙生擒康待賓，殺叛胡一萬五千人。
秋，七月，己酉，王晙大破康待賓，生擒之，殺叛胡萬五千人。（資治通鑑卷二百一十二）
這對張說而言可說是一難得的軍事歷練。
尤有進者，張說配合王晙等人的部署，率領步兵、騎兵萬餘人出合河關，大破與黨項人交通、攻銀城和連谷的叛胡。
先是，叛胡潛與黨項通謀，攻銀城、連谷，據其倉庾，張說將步騎萬人出合河關掩擊，大破之。（資治通鑑卷二百一十二）
叛胡後來敗走鐵建山，康待賓則被腰斬。
追至駱駝堰，黨項乃更與胡戰，胡眾潰，西走入鐵建山。說安集黨項，使復其居業。（資治通鑑卷二百一十二）
辛酉，集四夷酋長，腰斬康待賓於西市。（資治通鑑卷二百一十二）
親身的交戰經驗，無疑令張說的視野、眼界變得更為開闊。
不過，骨子裡，他仍然深受儒家思想的影響。這從他不趁著黨項傾覆而加以追擊一事可見。
討擊使阿史那獻以黨項翻覆，請並誅之，說曰：「王者之師，當伐叛柔服，豈可殺已降邪！」因奏置麟州，以鎮撫黨項餘眾。（資治通鑑卷二百一十二）
與張說的仁者之風相對，是王晙、郭知運的各懷鬼胎。
康待賓之反也，詔郭知運與王晙相知討之；晙上言，朔方兵自有餘力，請敕知運還本軍。未報，知運已至，由是與晙不協。晙所招降者，知運復縱兵擊之；虜以晙為賣己，由是復叛。上以不能遂定群胡，丙午，貶晙為梓州刺史。（資治通鑑卷二百一十二）
結果，「康待賓謀反被平定」一事，張說成為立功最多而無缺失者。開元九年 (公元七二一年)
九月，癸亥，張說升任兵部尚書、同中書門下三品，正式進入中央政治核心。
癸亥，以張說為兵部尚書、同中書門下三品。（資治通鑑卷二百一十二）
此事之前，張說舊日的政敵姚崇剛去世。
丁未，梁文獻公姚崇薨，遺令：「佛以清淨慈悲為本，而愚者寫經造像，冀以求福。昔周、齊分據天下，周則毀經像而修甲兵，齊則崇塔廟而馳刑政，一朝合戰，齊滅周興。近者諸武、諸韋，造寺度人，不可勝紀，無救族誅。汝曹勿效兒女子終身不寤，追薦冥福。道士見僧獲利，效其所為，尤不可延之於家。當永為後法！」（資治通鑑卷二百一十二）
開元十年 (公元七二二年) 四月，張說兼知朔方軍節度使。
夏，四月，己亥，以張說兼知朔方軍節度使。（資治通鑑卷二百一十二）
張說一方面盡忠職守。
（開元十年，即公元七二二年，五月）閏月，壬申，張說如朔方巡邊。（資治通鑑卷二百一十二）
康待賓餘黨康願子反，自稱可汗；張說發兵追討擒之，其黨悉平。徙河曲六州殘胡五萬餘口於許、汝、唐、鄧、仙、豫等州，空河南、朔方千里之地。（資治通鑑卷二百一十二）
大幅改革唐室的軍事制度 (如主張「罷兵還農」、施行「長從宿衛」)。
（開元十年，即公元七二二年）先是，緣邊戍兵常六十餘萬，說以時無強寇，奏罷二十餘萬使還農。上以為疑，說曰：「臣久在疆場，具知其情，將帥苟以自衛及役使營私而已。若禦敵制勝，不必多相冗卒以妨農務。陛下若以為疑，臣請以闔門百口保之。」上乃從之。（資治通鑑卷二百一十二）
（開元十年，即公元七二二年）初，諸衛府兵，自成丁從軍，六十而免，其家又不免雜徭，浸以貧弱，逃亡略盡，百姓苦之。張說建議，請召募壯士充宿衛，不問色役，優為之制，逋逃者必爭出應募；上從之。旬日，得精兵十三萬，分隸諸衛，更番上下。兵農之分，從此始矣。（資治通鑑卷二百一十二）
重視農業發展。
（開元十年，即公元七二二年，十二月）上將幸晉陽，因還長安。張說言於上曰：「汾陰睢上有漢家后土祠，其禮久廢；陛下宜因巡幸修之，為農祈谷。」上從之。（資治通鑑卷二百一十二）
另一方面，他又秉持儒家「刑不上大夫」、「士可殺不可辱」的原則，反對杖責前廣州都督裴胄先，因而與張嘉貞不和。
（開元十年，即公元七二二年，十一月）前廣州都督裴胄先下獄，上與宰相議其罪。張嘉貞請杖之，張說曰：「臣聞刑不上大夫，為其近於君，且所以養廉恥也。故士可殺不可辱。臣向巡北邊，聞杖姜皎於朝堂。皎官登三品，亦有微功，有罪應死則死，應流則流，奈何輕加笞辱，以皁隸待之！姜皎事往，不可復追，胄先據狀當流，豈可復蹈前失！」上深然之。嘉貞不悅，退謂說曰：「何論事之深也！」說曰：「宰相，時來則為之。若國之大臣皆可笞辱，但恐行及吾輩。吾此言非為胄先，乃為天下士君子也。」嘉貞無以應。（資治通鑑卷二百一十二）
（開元十一年，即公元七二三年，二月）張說與張嘉貞不平，會嘉貞弟金吾將軍嘉祐贓發，說勸嘉貞素服待罪於外。己酉，左遷嘉貞幽州刺史。（資治通鑑卷二百一十二）
張說於開元十一年 (公元七二三年) 春天升任中書令。
癸亥，以張說兼中書令。（資治通鑑卷二百一十二）
在職期間，他曾支持玄宗「置麗正書院，聚文學之士」(即提倡文教)。
（開元十一年，即公元七二三年，五月）上置麗正書院，聚文學之士。秘書監徐堅、太常博士會稽賀知章、監察御史鼓城趙冬曦等，或修書，或侍講，以張說為修書使以總之，有司供給優厚。中書舍人洛陽陸堅以為此屬無益於國，徒為糜費，欲悉奏罷之。張說曰：「自古帝王於國家無事之時，莫不崇宮室，廣聲色。今天子獨延禮文儒，發揮典籍，所益者大，所損者微。陸子之言，何不達也！」上聞之，重說而薄堅。（資治通鑑卷二百一十二）
主張「改政事堂曰中書門下，列五房於其後，分掌庶政」(即改良政府組織)。
（開元十一年，即公元七二三年，十二月）是歲，張說奏改政事堂曰中書門下，列五房於其後，分掌庶政。（資治通鑑卷二百一十二）
可惜的是，張說為人過於堅持己見，不願接納他人的看法。崔沔、源乾曜相繼與之不和。
初，張說引崔沔為中書侍郎；故事，承宣制皆出宰相，侍郎署位而已。沔曰：「設官分職，上下相維，各申所見，事乃無失。侍郎，令之貳也，豈得拱默而已！」由是遇事多所異同，說不悅，故因是出之。（資治通鑑卷二百一十二）
群臣屢上表請封禪，閏月，丁卯，制以明年十一月十日有事於泰山。時張說首建封禪之議，而源乾曜不欲為之，由是與說不平。（資治通鑑卷二百一十二）
玄宗不計較張說的缺點，堅持對張說委以重任。這既是張說的福氣，也是玄宗知人善任的反映。
（開元十三年，即公元七二五年）夏，四月，丙辰，上與中書門下及禮官、學士宴於集仙殿。上曰：「仙者憑虛之論，朕所不取。賢者濟理之具，朕今與卿曹合宴，宜更名曰集賢殿。」其書院官五品以上為學士，六品以下為直學士；以張說知院事，右散騎常侍徐堅副之。上欲以說為大學士，說固辭而止。（資治通鑑卷二百一十二）
值得一提的是，細心觀察張說的思想取態、處事作風，其明顯近於儒家，遠於法家。張說因此和宋璟有若干相似處，卻與姚崇距離較遠。
