這首詩作於江淹被貶為建安吳興令期間。黃蘖山的地點據舊注說在“吳興府城”（今浙江吳興）附近，這不足為信。因為詩中稱“閩雲連越邊”，是在今福建和浙江交界之地，而吳興則在江浙二省交界處，古人稱之為“吳地”，與詩的地望不符。按：《宋書·謝方明傳》記謝方明在東晉末孫恩、盧循起義中，從浙東取道“黃蘖嶠”經今江西一帶，逃到建康。可見“黃蘖嶠”在今閩浙贛三省交界處，這地方離江淹被貶的建安吳興（今福建浦城）不遠。此詩當是被貶在建安吳興後作。此詩寫作時間，當比《渡泉嶠道出諸山之頂》、《遷陽亭》諸作稍晚。這時他的心情已較遷謫之初稍為平靜，所以不像那些詩有明顯的怨憤之情而傾向於遊仙詩的情調。
江淹的詩風在南朝比較特殊，他的詩一般較具古氣，和謝朓、沈約為代表的永明詩人不同。但較之劉宋初年的謝靈運、顏延之又顯得略見平易。但他有一些寫景詩則用了一些古奧的辭語，似與謝靈運、鮑照等人相近。這首《遊黃蘖山》亦屬此類。詩中“殘杌千代木，廧崒萬古煙”二句就很古奧費解。“殘杌”當指枝葉已盡的枯樹幹，“廧崒”據餘冠英先生說：“疑‘廧’作‘崷’，‘崷崒’，高峻貌”（《漢魏六朝詩選》）。這兩句是借此形容黃蘖山是一個人跡罕到的險僻幽靜之地。從全詩看來，作者是到了一個高峻的深山之中，為那裏的景色所打動而興起了求仙的想法。在詩中，作者以形象的語言寫出了山勢的險峻：“金峰各虧日，銅石共臨天”，這“金”、“銅”都是形容南方閩、贛諸省山區的紅黃色土壤，“金峰虧日”、“銅石臨天”無非形容山石的高峻。“陽岫”、“陰溪”則寫麵臨日光的山峰和背陰的溪穀。山峰在日光下五色繽紛，而溪穀中又有泉水噴流，這一景色也引人入勝。“殘杌”兩句既寫出了這裏的偏僻，因此“禽鳴”、“猿嘯”二句更突出了深山的特點。這兩句詩原是化用鮑照《登廬山望石門》中的“雞鳴清澗中，猿嘯白雲裏”二句。但江淹這兩句所展現的景色與鮑詩頗為不同。“雞鳴清澗中”仍為人境，隻是高山中才為猿猴所居的深山。因為這是廬山，而江淹所寫的黃蘖山則不同，在當時，這裏是人口稀少的深山。所以這兩句詩雖有禽鳴、猿嘯，卻適見其僻靜。正因為這黃蘖山是如此幽僻、險峻之處，就自然而然地給人以一種幻覺即這裏是神仙出沒之處。因為從西漢司馬相如以來，人們總以為神仙是居“山澤間”的。因為想到神仙，作者又聯想起了曆史上秦皇、漢武這些曾熱衷於求仙的帝王。作者說這些人“皆負雄豪威，棄劍為名山”，似乎這些威震一時的帝王尚且求仙，自己當然更有理由持這種觀念了。
當然，秦皇、漢武求仙，到頭來仍不免一死。求仙的無成，江淹當然不是不知道。他所以要求仙，和他早期的不得誌有關。無可否認的是，在江淹的詩文中，有不少篇講到過求仙，如《丹砂可學賦》、《贈煉丹法和殷長史》和《與交友論隱書》等。這是因為江淹在當時雖對仕途頗有企冀，但又備受壓抑，頗知官場的險惡。特別是在建平王劉景素幕下，他深知景素的密謀，屢諫不聽，未免產生悲觀，而幻想在求仙中找尋解脫。這種情緒，早在貶官以前就有所表現，而謫居建安吳興以後之作像《采石上菖蒲》等作，亦然如此。但當齊高帝蕭道成掌握政權，並拔他為自己的參軍，並委以重任之後，這種遊仙之作就很少出現了。
江淹這首詩的風格，是繼承了元嘉詩人顏延之、謝靈運“極貌寫物”的傳統，而且在寫景時，又並有鮑照那種“不避險仄”的作風。所以風格顯得還較古樸。但這種詩風發展到江淹已近尾聲，到了齊代永明（483-493）年間，初開唐音的謝朓等人出來，詩風為之一變。於是就有了江淹“才盡”的故事。其實所謂“才盡”並非指他真的不能寫作，而是他那種奇險古奧的詩體，已不再適合當時文壇的風氣。當然，從江淹自身來說，入齊以後，他在仕途上日益顯貴，不再嘔心鏤骨於文藝創作，也是一個重要原因。