《莊子》《列子》二書中都記有這樣兩個有趣而發人深省的故事。一說，列禦寇為伯昬（昏的異體字）無人射，列子技藝精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬無人說“是射之射，非不射之射也”。於是他“登高山，履危石，臨百仞之淵，背逡巡，足二分垂於外”，列子驚怖，伏地汗流至踵。伯昬無人就說：“那些與天道同一的至人，上窺青天，下潛黃泉。揮斥八極，神氣不變。現在你害怕得直瞬眼睛，可見你內心未明自然之理，不夠充實啊。”另一則故事說孔子觀乎呂梁，懸瀑三十仞，流沫三十裏，連黿黽魚鼈之屬都不敢過，然而卻有一個男子在其中戲水，孔子以為他想自殺，命弟子去岸邊救他，那人卻上了岸，披發而歌，遊於塘下。孔子問他：“遊泳有“道”沒有？”那人回答：“並無所謂道。隻因從小生長於水邊，所以能安於水。唯因順從水之道而無我見存在，所以下水就能不知其然而然，與水化為一體。”這兩個故事，曾被曆代詩人無數次地運用過，但是卻很少見有人能像謝靈運《富春渚》詩這樣，用得如此靈活而貼切。
別過了始寧故宅，靈運又浮舟西南行，進入桐廬富陽縣境的富春江。富春江有兩個特色，一是清，二是險。梁吳均《與宋元思書》曾狀其景：“水皆縹碧，千丈見底；遊魚細石，直視無礙；急湍甚箭，猛浪若奔。夾岸高山，皆生寒樹，負勢競上，互相軒邈，爭高直指，千百成峰。”正寫出了這兩方麵的特色。山水是自然形態的東西，而以之入詩文，則不可避免地染上作者的主觀色調。既清且險的富春山水，在卓犖不羈的吳均眼中合成了自由競榮，勃勃生氣的清奇，所謂“奇山異水，天下獨絕”。在遊子羈旅的孟浩然筆下則是“野曠天低樹，江清月近人”，一片清怨；然而在剛為險惡的政治風浪拋擲出來，恃才傲物，一肚子不合時宜的謝客眼中，則是另一番景象。
夜中，詩人渡過了富春東三十裏的漁潭浦，清晨舟抵富陽城外。六七十裏外的定山、赤亭山是富春名勝，但詩人並不往遊，隻是向峰頂那緬渺的雲霧遠遠一望，又匆匆駛去。起四句連下“宵濟”，“旦及”、“無淹薄”三字，可見富春秀色，此時對意興索寞的詩人來說並引不起多大興趣，而遠山上那縈青際白的雲霧，似乎正象征著他不絕無盡的愁緒。忽然水勢突變，逆流而上，驚浪急湍撞擊著去舟；而崖岸曲折，參差凹凸，更處處阻遏著行程。這景象真是驚心動魄，詩人自己也不知如何飄過了這一段險瀧，不禁深自慶幸：盡管自己並沒有伯昬無人那種履險若夷的定力，卻竟然如呂梁男子般驚險地闖過了這難關。待得驚魂稍停，他倒是悟出了一條至理。《易·習卦》：“水洊至習坎”，《艮卦》又說“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，雖有重險懸絕，而水仍相繼而至，這是因為水性已習慣了山坎的緣故。艮即止義，兩山相重，正象征著止息之義，君子當因此而引起思索，行於所當行，止於所當止，不要越過了自己的本位。《易》象正揭示了剛才經曆凶險一舉的內在含義。如果自己真能像伯昬無人與呂梁丈夫一樣，內心元氣充實，與自然合一，完全忘掉物我、利害、險夷之間的差別，順乎自然之理，使行動與之不期而合，那麽雖然多曆風險，也可達到履險若常的境地。推而廣之，生活亦正同於行舟，也當順應自然之理，那麽對不久前經曆的仕途風波正不必如此耿耿於懷，怨天尤人。自己平生之誌本在幽棲養生，二紀之前隻因意誌薄弱而出山，從此就困頓於世俗之事。希求為入仕幹祿已過久了，直至今天總算有了機會實現對友朋許下的遠遊輕舉的諾言。想到這裏，詩人感到蟄伏已久為世事蒙蔽的宿願漸漸得到了舒展生發，頓時眼前的萬事就如枯葉朽枝般零落不足道了。思念及此，詩人感到胸懷開張，心地光明，就如莊子所說的神明虛空無所懷的神人一樣，忘掉了自身存在而任物推移。從此就隻要如那蟄伏以存身的龍蛇，以屈而求伸的尺蠖那樣與世委蛇，善養天年就是了。
經過了富春渚後，謝客其實沒有真能如詩中所說那樣達到超人的境界。甚至就在浮江之際，他恐怕也未曾真正獲得心理上的平衡。詩中所言，充其量，也隻是即景生想，從理念的觀照中得到一種感情的宣泄，這在謝詩其他各篇中不難看到。然而就作詩時一刹那間的感觸而言，他卻確實達到了情景理的圓融無礙。
全詩實分三個層次，前六句紀行寫景；“平生”以下的最後八句是對自身人生道路的檢討與悟參。二者之間本不相涉，但卻因中間四句的四個典故而連成了一體，這四個典，尤其是前麵《莊》《列》二典用得十分巧妙。舟行富春山水際，而伯昬一典為山、呂梁一典為水，聯想十分自然，且同用《莊》《列》更十分工致。山，水之典甚多，不用其它，而偏用這兩個，則是因它們既在形象上深切富春山水的凶險，又暗蘊所以能履險若夷的理念。這個理念在詩中是用“亮乏”、“險過”的形式反說的，更切當時詩人的實感。由反到正，則再接用《易經》中一水一山兩典，從而順理順章地引出了以下對生活曆程的檢討。詩歌用典，從詩騷起即有，建安以後更漸成風氣，但是用得典雅、精嚴，爐錘工致，成為作詩一大法門，卻不能不說自大謝始，當然由此也帶來了謝詩有時稍嫌晦澀之病。得失二方麵在此詩中都反映得甚典型。這又是陶、謝詩風的一大區別。