嚴武的父親是中書侍郎嚴挺之，為當時名相。嚴武二十歲便調補太原府參軍事，後隴右節度使哥舒翰奏充判官（天國正傳寫的就是這時的嚴武）。
安史之亂發生，嚴武隨肅宗西奔，參與了靈武起兵，隨後陪駕到鳳翔至長安。至德二載（757），任給事中。次年出任綿州刺史，遷東川節度史。不久調回京，任侍禦史、京兆尹。幹元二年（761）十二月，被任為成都府尹兼禦史大夫、充劍南節並使。這時唐室為了對付吐蕃，合劍南、東川、西川為一道，支度、營田、招討、經略等統為一體，權力相當大。寶應元年（762）四月，唐玄宗、唐肅宗父子時隔十四日相繼去世。七月嚴武被召回京，入為太子賓客，遷京兆尹兼禦史大夫。實際是命他充陵橋道使，監修玄宗、肅宗父子的陵墓。
嚴武回長安很不順利。他一離開成都，蜀中便大亂。劍南兵馬使徐知道勾結邛州兵占據西川，扼守劍閣，通往京城長安的道路阻塞，不得前行。直到八月，徐知道與兵發生矛盾，被將所殺，叛亂才被平息。嚴武回京後，在監修二帝陵墓時，頗有魄力，立下功勞。但繼任他成都尹職的高適，治蜀力不能支。裏吐蕃內犯，攻陷隴右，直通長安。蜀郡西北部的鬆州、維州、保州等地都被包圍，後來終於陷落。人們譏諷高適內戰內行（指擊敗永王璘），外戰外行。朝廷於是再命嚴武為成都尹、劍南節度使，於廣德二年初第三次入蜀。
嚴武抵禦外患的本領比高適高明。764年七月，他率兵西征。九月破吐蕃七萬餘眾，拿下了當狗城（四川理縣西南），十月又拿下鹽川城（甘肅漳縣西北）。同時遣漢川刺史崔旰在西山追擊吐蕃，拓地數百裏，與郭子儀在秦隴一帶主力戰相配合，終於擊退了吐蕃的大舉入侵，保衛了西南邊疆。
征戰途中，嚴武寫下了記述這次戰爭的《軍城早秋》一詩：“昨夜秋風入漢關，朔雲邊月滿西山。更催飛將追驕虜，莫遣沙場匹馬還。”詩的前兩名表麵寫景實則暗喻敵軍已經進犯邊關的形勢。後兩句表現出詩人指揮若定的大將風度，抒發了大獲全勝的信念。杜甫稱讚嚴詩說：“詩清立意新”。
實際上嚴武的與杜甫的關係極其密切，在成都，他帶著仆從和酒肉來看望杜甫，杜甫寫道“竹裏行廚洗玉盤，花間立馬簇金鞍。”嚴武邀杜甫作其幕僚時寫道：“莫倚善題鸚鵡賦，何須不著鵔鸃冠。”
漢末詞賦家禰衡，文思敏捷，曾即席作《鸚鵡賦》 ，一揮而就。嚴武以禰衡的故事，勸杜甫不要單純以文才自恃，應該走做官的道路，力求充當侍奉皇帝左右的近臣，充分發揮自己的才能。杜甫則寫《嚴中丞枉駕見過》一詩：“扁舟不獨如張翰，皂帽還應似管寧。”以張翰（晉時人，字季鸞，遇見不相識的賀司空（循），談得投機，沒告訴家人，便登上賀氏的船，同去洛陽）、管寧（東漢時高士，字幼安，於靈帝末渡海避亂至遼東，常戴皂帽，穿布裙，坐木榻，隱居多年，屢征不出，世稱賢者。）婉言謝絕，是說我的行蹤飄泊不定，當效張翰那樣自由，效管寧避亂他鄉過隱居生活。巧於用典，言其情愫，寓意稱妙。
然而，杜甫居成都期間，嚴武數度勸其出仕，杜甫婉言謝絕。後來，因感其誠意，友情難卻，入嚴武幕府任檢校工部員外郎，故又有杜工部之稱。
此後二人詩作往來頻繁，嚴武成了杜甫除李白，高適之外的又一知音。嚴武稱杜甫為“杜二”。
寶應元年四月，肅宗死，代宗即位，六月，召嚴武入朝，杜甫送別贈詩《奉濟驛重送嚴公四韻》：遠送從此別，青山空複情。
幾時杯重把？昨夜月同行。
列郡謳歌惜，三朝出入榮。
江村獨歸處，寂寞養殘生。
永泰元年（765），嚴武不幸突患疾病，死於成都。詩聖杜甫深切悼念，反複詠吟，對嚴武作了高度的評價。
“顏回竟短折，賈誼徒忠貞”。“諸葛蜀人愛，文翁儒化成。公來雪山重，公去雪山輕”
把嚴武的早卒比成顏回、賈誼，給塵世留下了遣憾。把嚴武比成諸葛亮，比成漢武帝時使蜀郡文物開展起來的文翁，他來去使蜀中崇山峻嶺為之載輕載重。杜甫對嚴武達到推崇備至析程度了。
“錦江春色逐人來，巫峽清秋萬壑哀”嚴武死後追贈尚書左仆射，但死者已矣，當年治蜀的政績曆曆在目，時值秋日，杜甫在夔州追憶往事，看到現在的戰亂，真使人悲哀不已。而杜甫也終於失去最後的護恃，舉家東遷，途中留滯夔州二年，出峽。後來漂泊鄂、湘一帶。正是這時寫下著名的《閣夜》 ：歲暮陰陽催短景，天涯霜雪霽寒宵。
五更鼓角聲悲壯，三峽星河影動搖。
野哭千家聞戰伐，夷歌數處起漁樵。
臥龍躍馬終黃土，人事音書漫寂寥。
戰伐，指崔旰之亂。永泰元年四月，郭英繼任劍南節度使兼成都尹；十月，嚴武舊部崔旰起兵攻郭英，郭逃到簡陽，被韓澄殺死。此後，效忠郭的一批武將又聯合起來討伐崔旰，蜀中大亂。然而嚴武已沒，大唐失去了一個將才。