張雨為宋崇國公張九成之後裔。年少時為人瀟灑，不拘小節，英氣勃勃，有隱逸之誌。年二十棄家，遍遊天台、括蒼諸名山，後去茅山檀四十三代宗師許道杞弟子周大靜為師，受大洞經篆，豁然有悟。又去杭州開元宮師玄教道士王壽衍，命名嗣真，道號貞居子，又自號句曲外史。
皇慶二年（1313），隨王壽衍入京，居崇真萬壽宮。由於素有詩名，京中士大夫和文人學士，如楊載、袁桷、虞集、範梈、黃潽、趙雍等，皆爭相與之交遊，因而雖隱跡黃冠道士之中，卻列文士學人之名，被當世名士稱為“詩文字畫，皆為當朝道品第一”。仁宗聞其名，欲官之，張雨堅辭不仕，乃歸句曲。往來於華陽、雲石間，作黃蔑樓，儲古圖史甚富，日以著經作詩為業。延佑（1314—1320）初離京返杭之開元宮。至治元年（1321），開元宮毀於火，次年回茅山，主崇壽觀及鎮江崇禧觀。惠宗至元二年（1336）辭主觀事，日與友人故酒賦詩以自娛。或焚香終日，坐密室，不以世事接目。