采用“總—分—總”的結構模式。
開頭是總說：介紹王叔遠在雕刻技術上的卓越成就，指出雕刻品“核舟”的主題。“能以徑寸之木，為宮室、器皿、人物，以至鳥獸、木石”，說明所用的原材料體積很小，而表現的範圍極廣，可見他有多方麵的成就；“罔不因勢象形，各具情態”，說明他構思精巧，技術高超。在這樣的概括介紹之後，接著就指出雕刻品“核舟”的主題：“大蘇泛赤壁”。這就明顯地表示了本文的意圖，即以具體作品來證明作者對王叔遠技藝的評價是合乎實際的。
中間是分說：詳細介紹“核舟”的結構、舟上的人物和題名。可分兩層：
第一層（第2至第4段）介紹舟的正麵，這是顯示雕刻家巧妙構思和精湛技藝的主要部分。又可分為三小層：
第一小層（第2段）先介紹“核舟”的體積，接著寫舟的中間部分即船艙。其中，重點是介紹艙旁的小窗，它不僅可以開關，而且上麵刻了對聯，共十六個字，可見雕工的精細；“啟窗而觀”，還有“雕欄相望”，更顯出雕刻家構思的巧妙。
第二小層（第3段）介紹船頭部分，寫舟上遊覽者——蘇軾、魯直和佛印的外貌和神情。這一層對表現雕品的主題具有重要的作用，作者的介紹也最為詳細。除了細致地寫出人物的衣著、姿勢而外，還著意描述了蘇、黃二人泛舟時的心情。從“蘇、黃共閱一手卷”、東坡“左手撫魯直背”、魯直“右手指卷，如有所語”這些描述中可以看出，他們在這山光水色的掩映之中，完全忘記了現實的煩惱，而陶醉在畫卷的美好意境裏，這是何等豁達、放曠的胸襟！至於佛印的“矯首昂視”，則又給人一種灑脫不群的感覺。這就自然成為蘇、黃二人神情的陪襯，使畫麵顯得不單調。
第三小層（第4段）介紹船尾部分，寫舟子的表情和動作。兩個舟子的神情也“不屬”：一個“若嘯呼狀”，很悠閑自在；一個“視端容寂”，是很專注的樣子。這樣來塑造舟子的形象，更有力地突出了“泛舟”的主題，也渲染了舟中輕鬆、愉悅的氣氛，跟船頭的情景互相呼應。
第二層（第5段）介紹舟的頂部。這一層是略寫，隻介紹了題名和篆章，以“細若蚊足，鉤畫了了”再次顯示了雕刻家的高超技藝。題名用黑色，篆章用紅色，對照鮮明，於此可見雕刻家的細心。
最後總括全文，通計舟上所刻人、窗及其他物品的數量和刻字的總數，又以“計其長曾不盈寸”呼應開頭，用以強調材料體積之小和雕刻的容量之大，然後用“嘻，技亦靈怪矣哉”作結。
本文語言平實、洗練，特別是摹寫舟中人物情狀，句句都出自作者審視所得，毫無誇飾，逼真而又生動，讀罷令人有如同親見“大蘇泛赤壁”之感。
此文體類似於現代說明文。