軍事
張說被貶不久，又因他事牽連，再貶為嶽州刺史。蘇頲擢任宰相，張說以與其父蘇瓖為故交，撰《五君詠》獻蘇頲，其中一則是記蘇瓖事。蘇頲讀後很感動，上奏稱張說為“忠貞謇諤，嚐勤勞王室，亦人望所屬，不宜淪滯於遐方”。開元六年（718年）二月，張說遷任荊州長史。不久又遷任右羽林將軍，兼檢校幽州都督。
幽州地與奚、契丹接壤，為北方重鎮。這一年契丹首領李失活死，大臣可突於爭權，發生了內亂。唐朝派兵鎮壓，結果失利。張說上表，陳述利害，說：“臣熟知幽州兵馬寡弱，率欲排比，未可即用，城中倉糧全無貯積。”因此，他請求加強戰備，以防止邊患。
在此期間，張說考慮到“國儲未贍，邊軍未息”，為了“靜人業農”，他上表情求屯田：“臣聞求人安者莫過於足食，求國富者莫先於疾耕。臣再任河北，備知川澤。竊見漳水可以灌巨野，淇水可以灌湯陰，若開屯田，不減萬頃，化萑葦為粳稻，變斥鹵為膏腴，用力非多，為利甚博。”因此，他希望朝廷“不失天時，急趨地利，上可以豐國，下可以廩邊，河漕通流，易於轉運，此百代之利也”。屯田既可增加國庫收入，減輕農民負擔，又方便了水利交通，是一項很有益的措施。
開元七年（719年），張說檢校並州大都督長史，兼天兵軍大使，攝禦史大夫，兼修國史。他再次上表論奏邊事，主張對周邊少數民族實行安撫和睦政策，用兵不過是迫不得已的。後可突於終於立李失活的族弟鬱於為國主，並遣使請罪。玄宗即冊立鬱於，唐與契丹的糾紛終於圓滿解決了。
開元八年（720年）秋，朔方大使王晙密奏原突厥降戶勾引突厥，謀陷軍城，因誅殺殆盡。此事引起了散居在大同、橫野軍附近的拔曳固、同羅諸部的恐懼不安。為了平息事端，張說隻率二十從騎，持節去各部安撫，晚上還住在他們帳中。拔曳固、同羅諸部聽到後深為感動，“由是遂安”。
開元九年（721年）四月，原突厥降將康待賓誘使諸降戶反叛，一時攻陷了蘭池六州。詔令王晙率兵討伐，並令張說知經略。康待賓暗中與黨項通謀，攻破了銀城、連穀，還占據了糧倉。張說率馬步兵一萬人出合河關（今山西興縣）襲擊，康待賓等大敗而逃。張說率軍乘勝追擊，當追到駱駝堰時，黨項部反戈。張說招撫黨項流散人員，使各安其業。討擊大使阿史那獻以為黨項反複無常，請全部誅殺。張說製止了這一濫殺的做法，說：“王者之師，當討叛柔服，豈可殺已降邪！”即奏請設置麟州，“以鎮撫黨項餘眾”。同年九月，召拜為兵部尚書、同中書門下平章事。
開元十年（722年），詔命張說為朔方節度大使，並去朔方巡視邊防，處置兵馬。這時，康待賓餘黨慶州方渠康願子反叛，自立為可汗，劫掠牧馬，西渡黃河出塞。張說率兵追討，至木盤山擒獲了康願子，並俘虜三千人。為了防止這一帶的突厥降戶再次騷亂，於是議請將居住在河曲六州的降戶五萬餘人強行遷往中原的許、汝、唐、鄧、仙、豫等州。這樣，朔方之地，空蕩無人。張說因功賜實封二百戶。
張說曆經邊鎮數年，熟知邊防事宜。當時沿邊鎮兵多達六十餘萬，他以時無強敵，奏請精減兵員，罷免二十餘萬。玄宗對裁減三分之一有些猶豫。張說解釋說：“臣久在疆埸，具悉邊事，軍將但欲自衛及雜使營私。若禦敵製勝，不在多擁閑冗，以妨農務。”
張說還著手對府兵進行了改造。當時諸衛府兵，成丁入伍，六十歲免役，其家又不蠲免雜徭，漸漸貧弱，大都逃亡。先天二年雖然有所改革，規定二十五歲入伍，五十歲放免，屢次征鎮者，則十年免役。但實際上徒有此令，
並未能付諸實施。因此這時府兵之法日漸破壞，番役更替多不按時，衛士逃匿，宿衛之士無法得以保證。鑒於這種情況，張說建議，請召募壯士充宿衛，“不問色役，優為之製，逋逃者必爭出應募。”玄宗同意募兵，不過十幾天，即得到精兵十三萬人，“分隸諸衛，更番上下。兵農之分，從此始矣”。
張說的精減邊兵、改革府兵，有利於減輕人民的負擔，也增強了軍隊的戰鬥力。王夫之評論說：“張說所奏罷之二十萬人，無一人可供戰守之用，徒苦此二十萬之農民於奉拚除、執虎子、築場，供負荷之下。故軍一罷，而玄宗知其勞民而弱國也，而募兵分隸之議行，漸改為長從，漸改為彍騎。窮之必變，尚可須臾待哉？”
政治
開元十一年（723），張說進為中書令。在政治製度上所進行的重要改革是奏改政事堂為中書門下。政事堂在唐初設於門下省，為宰相議政之所。貞觀之後，中書省權力漸重。武周時裴炎由侍中改任中書令，為便於政務推行，遷政事堂於中書省，但仍是宰相議政之所。張說任中書令後，將政事堂改為“中書門下”，並“列五房，一曰吏房，二曰樞機房，三曰兵房，四曰戶房，五曰刑禮房，分曹以主眾務焉”。同時，政事印為“中書門下之印”。這一改製，使政事堂有其所轄部門與屬官，由宰相議政之所變為朝廷最高權力機構。
唐玄宗統治前期，經濟繁榮，政治升平，進入盛世。好大喜功的玄宗粉飾文治，特置麗正書院，聚集文學之士，或修書，或侍講，以張說為修書使總領其事。由於文學之士受到寵遇，對其供給也十分優厚。中書舍人陸堅以為他們“無益於國，徒為糜費”，欲上奏罷免學士。張說反駁其言，說：“自古帝王於國家無事之時，莫不崇宮室，廣聲色，今天子獨延禮文儒，發揮典籍，所益者大，所損者微。陸子之言，何不達也！”玄宗聽到後，“重說而薄堅”。
開元十三年（725），改麗正書院為集賢殿書院，定書院官五品以上為學士，六品以下為直學士，張說以宰相為學士知院事。他雖然地位顯赫，卻很謙遜。玄宗欲授任張說為大學士，他推辭說：“學士本無大稱，中宗崇寵大臣，乃有之，臣不敢以為稱。”後來在集賢院舉行宴會，照舊例，官位高者先舉杯，張說欲打破陳規，便對諸士子說：“吾聞儒以道相高，不以官閥為先後。”於是，眾學士一起舉杯同飲，一時傳為佳話。張說雅重詞學之士，善於用人之長。當時，在文學上有造詣、有名聲的韋述、張九齡、許景先、袁暉，趙冬羲、孫逖、王翰等“常遊其門”，趙冬羲兄弟六人，韋述兄弟六人並詞學登科，張說極口稱讚：“趙、韋昆季，今之杞梓也。”
張說“為文俊麗，用思精密，朝廷大手筆，皆特承中旨撰述，天下詞人，鹹諷誦之”。是當代無人能企及的。他一生著作宏富，除了參與修撰《三教珠英》、主持改撰《開元五禮儀注》以外，還主持編撰了《大唐六典》。又奉玄宗之命，與他人一起類集要事，為諸王子習讀而編寫了《初學記》30 卷。後人收集他的詩詞、文賦、表奏、碑文、墓誌，總成文集30 卷。
文學
張說前後三次為相，掌文學之任凡三十年，為開元前期一代文宗，品評文苑，獎掖後進，深孚眾望。他為文俊麗，用思精密，朝廷大手筆，多特承帝旨撰述，尤長於碑文墓誌。與許國公蘇齊名，號稱"燕許"。皇甫《諭業》論唐文首列二家，謂"燕公之文，如口木口枝，締構大廈，上棟下宇，孕育氣象，可以變陰陽，閱寒暑，坐天子而朝群後。其文駢、散兼擅，《舊唐書·張說傳》載其《諫武後幸三陽宮不時還都疏》等疏表 3篇，皆政論名作。其他題材佳篇，如《起義堂頌》、《西嶽太華山碑銘》、《貞節君碑》、《姚文貞公神道碑》、《齊黃門侍郎盧思道碑》，或淵懿樸茂，或放出奇。沈曾植《菌閣瑣談》認為“燕許宗經典重”，已開中唐古文作家梁肅、獨孤及和韓愈、柳宗元古文運動的先聲。張說又能詩，具盛唐風貌。官嶽州後，詩益淒婉，人謂得江山之助。古體如《鄴都引》，沈德潛以為“聲調漸響，去王、楊、盧、駱體遠矣”(《唐詩別裁集》)；近體如《幽州新歲作》，方東樹以為“情詞流轉極圓美”，“親切不膚”（《昭昧詹言》）。一雲張說又能為小說，相傳《虯髯客傳》為其所作（《說郛》、《虞初誌》等題張作），但無確證。
有文集30卷。今通行武英殿聚珍本《張燕公集》25卷、《四部叢刊》影明嘉靖丁酉本《張說之集》25卷。事跡見新、舊《唐書》本傳。