黃遵憲於1848年4月27日生於廣東梅州（梅縣）。他的一生可分為四個階段：即讀書應試階段（1863～1876）；出使階段（1877年～1894年）；參加變法階段（1895年～1898年）；鄉居階段（1899年～1905年）。
1876年中舉人，1877年隨駐日大使何如璋出使日本，曾被日本曆史學界稱為中國“最有風度、最有教養的外交家”。駐日期間，撰寫《日本國誌》（1887年成書），全書共四十卷，五十餘萬字，詳細論述日本變革的經過及其得失，借以提出中國改革的主張。駐日期間，針對日本於1875年派兵占領琉球，建議對日本采取強硬的政策和立場。1882年，調任駐美國舊金山總領事。適逢美國議院製訂了《限製華工條例》15條，舊金山僑民深受其害，多名僑民被當地政府以“不衛生”為借口而被捕入獄。此前，黃遵憲就此已向清政府提出對策，但未被采納。因此，他隻能在自己職權範圍內，盡力保護中國僑民。他在視察舊金山華工聚住地之後，親自探望關押華工的美國監獄，並叫隨從丈量監牢麵積，責問美國人：“這裏人多地窄、空氣汙濁，難道監獄裏的衛生條件要比華僑的住處好嗎。”經過黃遵憲的努力，被拘捕的華僑被全部釋放。黃遵憲動用國際法，爭得了總領事給華工簽發執照的權利。從此，華工來往中美之間，有法可依。
1890年，黃遵憲以分省補用道任駐英國二等參讚，1891年任駐新加坡總領事，從事改善僑胞待遇、保護僑胞財產的工作，發展華僑教育，取得一定成效。1894年中日甲午戰爭期間，黃遵憲被召回國，任江寧洋務局總辦。1895年參與上海強學會、與梁啟超、譚嗣同等人創辦《時務報》，任湖南長寶鹽法道，後署理湖南按察使。戊戌變法期間輔佐湖南巡撫陳寶箴大力推行變革，倡立的湖南保衛局，將近代警政引入中國。1898年8月，被任命為出使日本大臣。戊戌變法失敗後，被清政府列為“從嚴懲辦”的維新亂黨，由於外國駐華公使等幹預，清政府允許黃遵憲辭職還鄉。
黃遵憲回鄉後仍熱心推進立憲、革命等工作，並潛心新體詩創作，被譽為“詩界革命巨子”。同時，他熱心家鄉教育事業，創立嘉應興學會議所，自任會長，積極興辦新學堂。晚年黃遵憲在牆上懸掛興中會會員謝纘泰畫的《時局全圖》。1904年冬，即黃逝世前一年，他在《人境廬詩草》最後一首詩《病中紀夢述寄梁任父》中寫道：“……君頭倚我壁，滿壁紅模糊。起起拭眼看，噫籲瓜分圖……。”1905年3月28日，黃遵憲病逝於家鄉梅州，終年五十八歲。六年後，辛亥革命爆發，封建製度在中國終結。
私人藏書豐富，光緒十年(1884年)開始籌建藏書樓。光緒二十四年（1898）回到廣東之時，一心在其“人境廬”著述和收藏，對於前朝古書和當時實用之書，一並收藏，編撰有《嘉應黃氏人境廬藏書目錄》，著錄有：經部100種，1 291冊；史部253種，5 122冊；子部221種，1 425冊；集部212種，1 523冊；叢書21種，2 468冊、自著書4種，21冊，合計811種、11 850冊。珍本有《修慧寺塔銘》，其餘多為普通實用之本。先後積藏有10餘萬卷圖書，供當地學生閱覽。