此篇寫詞人在縣衙愁坐的情思。開章“秋晚寒齋”一句，寫出了詞人愁坐的時間、地點：寒秋季節，傍晚時分，“齋”指縣衙齋室，點明了地點，呼應了詞題。抒情主人公坐在簡陋的藜木床上愁思悶想，看如篆字的熏香嫋嫋，似輕霧橫飄，“香篆橫輕霧”在詞中既是寫實，更有比興作用，那縈回的篆香如愁緒徘徊，那橫飛的輕霧像悲思幾縷。“閑愁幾許”以直接抒情之筆，寫此時此刻內心獨悲感受。這愁是什麽？是離家背井的鄉愁，是久別妻室的相思，是羈臣遠謫的憂慮……。詞人沒有明指，隻寫了一個“閑”字，令讀者想像，去品味。“夢逐芭蕉雨”一句頗為精妙。“芭蕉雨”是一個悲愁意象，“雨打芭蕉，分明葉上心頭滴”。“香篆橫輕霧”這一視覺形象已將詞人引入夢幻之中，“夢逐芭蕉雨”這一聽覺形象又使詞人在夢幻之中聽到雨打芭蕉的淅瀝之聲，在夢幻中仿佛覺得淅瀝的雨不是滴在葉上，而是敲擊著自己的心頭，這豈不更加濃了幾許愁思？這句中的“逐”字下得好，將詞人追尋“芭蕉雨”的悲愁意象主動化了，從而強調了“芭蕉雨”是情中景，是為表現愁情而設景；如果改為“聽”字，則是強調了“芭蕉雨”的客體存在，其藝術效果是頗不相同的。
下片繼續寫詞人在寒齋內所見所感。“雲外哀鴻，似替幽人語”寫詞人仰望室外，隻見天高雲淡。孤鴻遠去，聽見那雁聲淒厲，如泣如訴，好象替幽人低語，傾訴衷腸。詞人將孤雁與幽人類比，因兩者有可比性，孤鴻獨飛天涯，幽人羈旅他鄉，其孤寂淒涼是相同的。一個“替”字將兩者關係聯係得更緊密了。然而大雁秋去春來，還有歸鄉之時，而自己呢？卻是羈臣遠謫難得返鄉，故詞人感慨道：“歸不去”。這三字有多少悲哀與辛酸，有多少惆悵與憤慨。這種感情曾反複抒發過：“流落天涯，憔悴一衰翁”（《江神子》），“羈懷都在，鬢上眉頭。似休文瘦，久通恨，子山愁。”（《行香子》），“暮暮來時騷客賦”，“天留花月伴羈臣”（《浣溪沙》）。為什麽“歸不去”，詞人未明寫，而是以“亂山無數”的形象出之，“山無數”可見歸程障礙重重，著一“亂”字，更加重了歸程艱險，這“亂山無數”的形象，自然也就蘊含了詞人心緒煩亂與憂愁。這是眼前景，更是心中景。結句“斜日荒城鼓”，暗點詞題“愁”字，照應開頭，寫在深秋的斜暉中，詞人身處一片荒城之中，聽暮鼓聲聲，那遷客羈臣淒涼孤寂的感受何處訴說？最後兩句之妙，在於以景結情，那亂山、斜日、荒城、暮鼓，都染上了詞人的主觀色彩，加深了題旨的表達。
全篇緊緊圍繞“愁”字展開，以富有悲征的景物──晚秋寒齋、芭蕉夜雨、雲外哀鴻、亂山無數、斜日荒城、暮鼓聲聲，勾出了一個典型環境，有力地烘托出一位寒齋愁坐的人物形象，令讀者可以見其景、聞其聲、感其情、悟其心。此真所謂“心之所思，情之所感，寓言假物，譬喻擬象”（錢鍾書語）之佳篇也。