詩的首句“遲日園林悲昔遊”，是因眼前的春光回憶起往昔的春遊。當年，春日遲遲，園林如繡，遊目騁懷，該是心曠神怡的。而這裏追敘“昔遊”時卻用了一個“悲”字。這個悲，是今天的悲，是從今天的悲追溯昔日的樂；而反過來，也可以說，正因為想起當時的遊樂，就更覺得當前處境之可悲。吳喬在《圍爐詩話》中說：“情能移境，境亦能移情。”這一句詩是用現在的情移過去的境，為昔日的歡樂景物注入了此時的悲傷心情。
詩的第二句“今春花鳥作邊愁”，是從昔遊的回憶寫到今春的邊愁。一般說來，鳥語花香是令人歡樂的景物；可是，這些景物卻使詩人更想起自己正在流放去邊疆的途中。鳥語也好，花香也好，在詩人心目中隻構成了遠去邊疆的哀愁。這一句詩是以心中的情移眼前的境。詩人緣情寫景，因而景隨情遷。如果就藝術手法來說，以“花鳥”與“邊愁”形成對比，是從反麵來襯托邊愁。與杜審言的這句詩有些近似的有杜甫《春望》詩中的“感時花濺淚，恨別鳥驚心”一聯，司馬光的《續詩話》評這一聯詩說：“花鳥平時可娛之物，見之而泣，聞之而悲，則時可知矣。”這裏，以花鳥可娛之物來寫“感時”、“恨別”之情，采用的也是反襯法。杜審言是杜甫的祖父，對杜甫有直接影響。“花濺淚”、“鳥驚心”一聯，可能就是從“花鳥作邊愁”這一句化出的。
詩的第三句“獨憐京國人南竄”，是整首詩的中心，起承上啟下作用。上兩句，憶昔遊而悲，見花鳥成愁，以及下一句為江水北流而感歎，都因為詩人遠離京國，正在南竄途中。上下三句都是圍繞著這一句，從這一句生發的。但這一句還沒有點到《渡湘江》這個題目。最後一句“不似湘江水北流”，才提到湘江，點破詩題，而以“水北流”來烘托“人南竄”，也是用反襯手法來加強詩的中心內容。
杜審言渡湘江時，正值春光明媚，綠水映青山，秀麗的異鄉風光撩人意緒，使被貶遷異地的詩人緬懷過去，遐想未來，心中悵惘、失落。因此詩的起句感情深沉地直訴：“遲日園林悲昔遊”。他觸景生情，回憶起從前在這春光晴麗的大好時光裏，盡情遊賞園林景色的樂趣，間或還有朋友與他一同飲酒賦詩，賞春惜春，好不痛快。如今隻身南遷，心中之悲不難想象。“遲日園林”與“昔遊”之間加一“悲”字，使句意曲折而豐富，語勢跌宕而勁健。對句：“今春花鳥作邊愁”。“今春”指出渡江的時間。“花鳥”概括春景，雖沒有直接描繪聲色，而鳥語花香的境界已在眼前。“作邊愁”，是說今春的花和鳥不同往年，它們也含愁帶恨。這裏用了移情入景的手法，以比興表達詩人的愁思。一個“作”字，語意雙關。既象說花鳥，又是說人，亦可理解為人與花鳥同說，婉曲而有機趣。
這句詩色彩清淡，情意濃摯，七個字，淋漓盡致地抒發了詩人遠遊傷春的情懷。“獨憐京國人南竄”，是這首詩的中心所在，從前兩句的憶春、傷春轉入敘事抒情，感慨自己從京都流貶到荒僻的南地。“獨”字下得有力，使全句生神，激活全篇。“不似湘江水北流”，緊承第三句點題作結，出語自然。管世銘《讀雪山房唐詩序例》說：“初唐七絕，味在酸鹹之外，‘人情已厭南中苦，鴻雁那從北地來 ’，‘獨憐京國人南竄，不似湘江水北流’，‘即今河畔冰開日，正是長安花落時 ’，讀之初似常語，久而自知其妙。”所謂“味在酸鹹之外”，即指詩中蘊含的情感複雜豐富餘味無窮。這些詩句的妙處，不僅在於融情於景，而且還通過時間、空間、景物的不同對比，形成一種杳邈迷茫的意境，仿佛有萬般的遊絲爭惹人的離愁，讀者細細體味就能感受其巨大的感染力。“獨憐京國人南竄，不似湘江水北流”，初讀似常語，並無警策之處，仔細品味，就可看到詩人悵惘的形象。他獨立舟頭，思悠悠，無限離愁，正如一江春水向北流。杜審言性格爽朗軒豁，喜直抒胸臆，這自是其詩的特色之一。《載酒園詩話》說他“即作磊砢語，亦猶蘇子瞻坐桄榔樹下食芋飲水，略無攢眉蹙額之態。”這段形象的評語，可幫助我們從多方麵去感受欣賞杜審言詩的風格。
胡應麟對這首詩的評價很高，他說：“唐初五言絕，子安諸作已入妙境。七言初變梁陳，音律未諧，韻度尚乏。惟杜審言《渡湘江》、《贈蘇綰》二首，結皆作對，而工致天然，風味可掬。”這首詩以押韻對起，又以對作結，俱有整齊美、和諧美以及反複詠歎的韻味。初唐時期是七絕初創的階段，杜審言這首《渡湘江》是有相當影響的，說它“具有開啟詩壇新風的作用”，也不為過譽。