早期事跡
徐彥若是鹹通十二年（872年）進士，累遷至尚書郎、知製誥，拜中書舍人。文德元年（888年），唐昭宗繼位，任命徐彥若為禦史中丞，後又改任吏部侍郎。
初任宰輔
大順二年（891年），宰相張浚因討伐太原兵敗，被罷去相位。徐彥若改任戶部侍郎、同中書門下平章事，成為宰相，後又升任中書侍郎，兼任兵部尚書。
景福二年（893年），唐昭宗改任鳳翔節度使李茂貞為山南西道節度使兼武定節度使，任命徐彥若為鳳翔節度使。李茂貞不肯奉詔，聯合邠寧節度使王行瑜，擊敗護送徐彥若就任的三萬禁軍，兵逼長安。唐昭宗隻得任命李茂貞為鳳翔節度使兼山南西道節度使，並召回徐彥若，改任為禦史大夫。
再登相位
幹寧元年（894年），徐彥若再次拜相，擔任中書侍郎兼吏部尚書、同平章事，後又升任尚書左仆射，並監修國史。
幹寧二年（895年），李茂貞與王行瑜再次兵逼長安，唐昭宗與宰相崔昭緯、徐彥若、王摶逃往石門鎮。十二月，唐昭宗返回長安。徐彥若進位開府儀同三司、司空，進封齊國公，並加弘文館大學士，獲賜“扶危匡國致理功臣”勳號。
幹寧三年（896年），唐昭宗在李茂貞的逼迫下，再次離京出逃，前往華州，並任命徐彥若為大明宮留守，兼京畿安撫製置使。唐昭宗回京後，徐彥若進位太保，兼任門下侍郎。
出鎮嶺南
光化三年（900年），宰相崔胤專權，對官位在自己之上的徐彥若非常憎惡。徐彥若便請求引退，欲接替薛王李知柔出鎮廣州。朝廷遂任命徐彥若為清海軍節度使，並保留同平章事的職務。
天複元年十二月（902年1月），徐彥若在廣州病逝，並推薦行軍司馬劉隱為清海軍留後。