宋順帝升明初年，蕭道成（後為齊高帝）輔政時，荊州刺史沈攸之忠於宋，舉兵反對蕭道成。蕭道成詢問江淹，江淹向他陳說蕭道成必勝而沈攸之必敗的五條原因。第二年沈攸之果然戰敗自殺身亡，江淹也因此而甚得齊高帝賞識。齊東昏侯永元年間，崔慧景造反，率叛軍圍困京城建康，城內士族官僚紛紛投身於叛軍門下，隻有江淹稱病不往。崔慧景很快兵敗，眾皆服江淹有遠見。後來蕭衍帶兵至新林（今江蘇省南京市西南），士族官僚對他並沒有看好，人人安之若素，而江淹卻脫去官服，投奔蕭衍。後蕭衍稱帝，江淹得到重用。
江淹為官清正，不避權貴，直言敢諫。宋後廢帝劉昱即位“多失德”，劉景素又偏聽偏信左右之言，政局岌岌可危。江淹從容直諫，劉景素怒而不納，江淹贈詩十五首以諷諫。江淹任禦史中丞時，彈劾中書令謝朏、司徒左長史王繢、護軍長史庾仲遠。也曾奏前益州刺史劉悛、梁州刺史陰智伯有髒物寶貨成千上萬，並拘捕了他們，交朝廷治罪。其他被檢劾論治的違法官員更是不勝枚舉。齊明帝曾當麵稱讚江淹：“從宋代以來，不曾有嚴明的禦史中丞，君今天可說近代獨一無二了。”