耶律楚材在金章宗明昌元年六月二十日（1190年7月24日）生於燕京（今北京），他出身契丹貴族家庭，是遼太祖耶律阿保機的九世孫、東丹王耶律倍八世孫、金朝尚書右丞耶律履之子。其名及字均取自《春秋左氏傳》中的“楚雖有材，晉實用之”的典故，蒙古名吾圖撒合裏，意為“長髯人”。
明昌二年（1191年）六月，耶律履去世，耶律楚材時年兩歲（另有明昌元年及明昌三年去世之說），隨母楊氏定居義州弘政（今錦州義縣），受到母親全麵的教育，十二歲時入閭山顯州書院，十三歲時學習詩書。
自耶律楚材的祖父起他們家世代仕於金朝，常居燕京。當時燕京有深厚的漢文化的基礎，這使得耶律氏世代受到漢文化熏陶，形成了讀書知禮的家風。耶律楚材從小就受到了儒家思想的熏陶，他的理想是按照儒家的學說來治理天下。耶律楚材秉承家族傳統，自幼學習漢籍，精通漢文，年紀輕輕就已“博及群書，旁通天文、地理、律曆、術數及釋老醫卜之說，下筆為文，若宿構著”了。
泰和六年（1206年），根據金朝製度，宰相的兒子能夠被賜予省掾之職，耶律楚材沒有到任。想要參與科舉考試，章宗詢問參與考試之人關於審案的多件事。當時有十七人參與考試，而隻有耶律楚材的回答為優等，於是被征召授予掾職，後任開州同知。
貞祐二年（1214年），金宣宗南遷至汴京，耶律楚材之兄耶律辨才、耶律善才均隨行。而耶律楚材留在中都，被留守燕京的丞相完顏承暉任命為左右司員外郎。
成吉思汗十年（1215年），蒙古軍攻占燕京，成吉思汗得知他才華橫溢、滿腹經綸，遂派人向他詢問治國大計。據格魯塞《草原帝國》記載：“占領北京後，在願意支持蒙古統治的俘虜中，成吉思汗選中一位契丹族王子耶律楚材，他以‘身長八尺，美髯宏聲’博得成吉思汗的喜愛，被任命為輔臣。
成吉思汗十四年（1219年），隨成吉思汗西征，常曉以征伐、治國、安民之道，屢立奇功，備受器重。
成吉思汗二十一年（1226年），又隨成吉思汗征西夏，諫言禁止州郡官吏擅自征發殺戮，使貪暴之風稍斂。
窩闊台汗即位後，耶律楚材倡立朝儀，勸親王察合台（太宗兄）等人行君臣禮，以尊汗權。從此更日益受到重用，被譽為“社稷之臣”。初執掌中原地區賦稅事宜，建議頒行《便宜一十八事》，設立州郡長官，使軍民分治；製定初步法令，反對改漢地為牧場；建立賦稅製度，設置燕京等處十路征收課稅所。
窩闊台汗三年（1231年），任中書令（宰相）。此後，他積極恢複文治，逐步實施“以儒治國”的方案和“定製度、議禮樂、立宗廟、建宮室、創學校、設科舉、拔隱逸、訪遺老、舉賢良、求方正、勸農桑、抑遊惰、省刑罰、薄賦斂、尚名節、斥縱橫、去冗員、黜酷吏、崇孝悌、賑困窮”的政治主張。在政治、經濟、文化各方麵殫精竭慮，創舉頗多。主要有保護農業，實行封建賦稅製度；改革政治體製，提拔重用儒臣；反對屠殺生命，保護百姓生命；禁止掠民為驅，實行編戶製度；反對撲買課稅，禁止以權謀私；主張尊孔重教，整理儒家經典。使新興的蒙古貴族逐漸放棄了落後的遊牧生活方式，采用漢族以儒教為中心的傳統思想和製度來治理中原。使戰爭不斷的亂世轉為和平的盛世，使先進的中原封建農業文明得以保存和繼續發展，也為後來忽必烈建立元朝奠定了基礎。
耶律楚材還主張用孔孟之道作為治國之民的原則，還用儒士來擔任各級官吏。耶律楚才不愧為“治天下匠”，為蒙古國的發展做出了重要貢獻，是促進蒙古貴族接受中國傳統文化的第一人。蒙古人為了紀念耶律楚材的功勞，專門為他修建了祭祠，至今還保存在北京頤和園裏。
耶律楚材在成吉思汗、窩闊台汗兩朝任事近30年，多有襄助之功。皇後脫列哥那稱製時，因屢彈劾皇後寵信之奧都剌合蠻，漸被排擠。
乃馬真後三年（1244年）五月十四日（6月20日），耶律楚材悲憤而死。“砥柱中流斷，藏舟半夜移”，消息傳出，傾國悲哀，許多蒙古人都痛哭，如同失去自己的親人。漢族的士大夫更是流著眼淚憑吊這位功勳卓著的契丹族政治家，他們的良師益友。蒙古國數日內不聞樂聲。正如其同時代人暮之謙在《中書耶律公挽詞》中所言：忽報台星折，仍結薤露新，斯民感天極，灑淚叫蒼旻。
元世祖中統二年（1261年），忽必烈遵耶律楚材的遺願，將他的遺骸移葬於故鄉玉泉以東的甕山，即今北京頤和園的萬壽山。
至順元年（1330年），追贈經國議製寅亮佐運功臣、太師、上柱國，追封廣寧王，諡號文正。