元代山水畫家倪雲林愛潔成癖。他的香廁是一座空中樓閣，用香木搭好格子，下麵填土，中間鋪著潔白的鵝毛，“凡便下，則鵝毛起覆之，不聞有穢氣也。”潔癖在性問題上都比較謹慎。潔癖和孤高，使這個男人不僅激怒了敵人，也喪失了朋友，作為報複，關於他的死因有多種版本，一說臨終前患痢疾，“穢不可近”，又說是被朱元璋扔進糞坑淹死的。
他的文房四寶有兩個傭人專門負責經營，隨時擦洗。院裏的梧桐樹，也要命人每日早晚挑水揩洗幹淨。一日，他的一個好朋友來訪，夜宿家中。因怕朋友不幹淨，一夜之間，竟親起視察三四次。忽聽朋友咳嗽一聲，於是擔心得一宿未眠。及至天亮，便命傭人尋找朋友吐的痰在哪裏。傭人找遍每個角落也沒見痰的痕跡，又怕挨罵，隻好找了一片樹葉，稍微有點髒的痕跡，送到他麵前，說就在這裏。他斜睨了一眼，便厭惡地閉上眼睛，捂住鼻子，叫傭人送到三裏外丟掉。
“吳王”張士誠之弟張士信，一次差人拿了畫絹請他作畫，並送了很多金錢。倪瓚大怒曰：“倪瓚不能為王門畫師！”並撕絹退錢。不料，一日泛舟太湖，正遇到張士信，被痛打了一頓，倪瓚當時卻噤口不出一聲。事後有人問他，他答道：“一出聲便俗”。倪瓚曾作一詩以述其懷“白眼視俗物，清言屈時英，富貴烏足道，所思垂令名。”
因他太愛幹淨，所以少近女色。但有一次，他忽然看中了一姓趙的歌姬，於是帶回別墅留宿。但又怕她不清潔，先叫她好好洗個澡，洗畢上床，用手從頭摸到腳，邊摸邊聞，始終覺得哪裏不幹淨，要她再洗，洗了再摸再聞，還不放心，又洗。洗來洗去，天已亮了，隻好做罷。後來他因故入獄，到吃飯的時候，卻讓獄卒把碗舉到眉毛那樣高，獄卒問他為什麽，他說：“怕你的唾沫噴到飯裏。”獄卒大怒，把他鎖到馬桶旁邊，後經人求情方得釋放。
倪瓚有個清秘閣，旁人不讓進。還有一匹白馬，愛護備至。有一次他母親病了，他求葛仙翁看病，葛仙翁要求用白馬來接。那天正下著雨，倪瓚是孝子，隻好同意。雨中的白馬弄的一塌糊塗。到了倪家，葛仙翁要求上清秘閣看看。倪瓚隻好同意。葛仙翁在清秘閣亂翻一氣，到處吐痰。倪瓚終身不再進清秘閣。
倪本身也是古怪之人，當他寄住在鄒家的時候，鄒先生有個女婿叫金宣伯，這天來拜訪他。倪瓚聞知金宣伯是個讀書人，連鞋子也沒穿好就出來迎接。可當見到他說話長相都很粗魯後，竟然很是憤怒，打了他一巴掌。金宣伯又是慚愧又是忿怒，也不見鄒先生就走了。鄒先生出來後，很是責怪他。倪瓚說：“金宣伯麵目可憎，言語無味，我把他罵走了！”
倪瓚好飲茶，特製“清泉白石茶”，趙行恕慕名而來，倪用此等好茶來招待他。趙行恕卻覺得此茶不怎樣。倪生氣道：“吾以子為王孫，故出此品，乃略不知風味，真俗物也。”遂與之絕交。