李群玉解去天祿的職務後，回歸涔陽，經過二妃廟，題詩二首：“小孤洲的北麵浦雲邊上，二妃的裝束還像從前一樣完好。寂寂春色中荒涼的古廟對著長江，萋萋荒草裏隻有一無字的古老碑碣。春風吹拂墓地芳草，夕陽落入深山，杜鵑聲聲啼哭。仍像皺眉望著舜帝出巡青青的九疑山就在湘水那邊。”又寫道：“黃陵廟前麵的莎草欣欣向榮，黃陵女兒紅裙嶄新。輕舟小槳隨歌遠去，山水遙遠愁壞了人。”以後又題詩：“黃陵廟前春天已去了，子規在鬆風中悲啼至流出血來，不知道魂靈落在哪裏，好似在秋天的行雲之中。”李群玉自認為第二篇，春去很快到了秋來有些不妥，猶豫著想改一改。眼前便出現了兩個女郎，她們說：“我們是娥皇、女英，兩年以後，會和你有一番男女交往。”李群玉就記住她們說的話。一會兒兩個身影消失了。於是李群玉對著神像施禮後也走了。重新度過湖嶺，到達潯陽。太守段成式一向和李群玉是作詩飲酒的朋友，李群玉就詳細說了這件事。段成式於是開玩笑說：“想不到你還是虞舜的辟陽侯。”李群玉題詩後二年，就死在洪州。段成式就寫詩哭悼他的朋友：“飲酒作詩三十年，縱橫紛亂世上喧鬧。醒時不要像彌衡那樣死去，笑傲所有的公侯而後命歸九泉。”又說：“再話黃陵往事，都被光陰催走，到老沒有兒女之累，誰去哭送他呢？”
澧縣城出南門，順澧水河往東走五華裏的二聖灘上，有一座八方七層，十多丈高的石塔，那就是有名的澧州蜚雲塔。這塔做工精巧，樣子嚇人子漂亮，每一層都雕著蠻多石多漢，哭的鬧的喊的叫的，各種樣子都有，簡直跟活人差不多。見過這塔的人，都說它為澧州增添了風采。
提起蜚雲塔，人們都說它和唐朝大詩人吏部尚書李群玉有關係。
李群玉是澧州城裏的人。他自幼好學，聰明過人。城南的仙眠洲和伏牛山，都是他讀過書、習過文的地方。後來他當了大官，也不忘記家鄉父老。有一年，澧州遭了大水，壞了年成。老百姓吃不飽穿不暖不屑說，一想起年年要交的官稅錢糧，個個都急得淚水雙流。
李群玉知道了這件事，真是飯也吃不下，覺也睡不著。有一天，皇上出京巡查，來到澧州。他忽然想出一個巧妙辦法，悄悄地鑽進廁所裏，用蜜糧寫下了“湖南澧州錢糧可免。”八個大字。沒過多久，成千上萬的蒼蠅聞到蜜糖味，在那八個字上歇滿了。碰巧皇上進廁所小便，看見那些蒼蠅排成的字樣，不覺十分奇怪，隨口應道：“湖南澧州，錢糧可免”。哪曉得李群玉在旁邊等著，皇上剛念完，他就當聖旨往下傳了。皇上呢，坐了好多年位，看見蒼蠅排字還是頭一回，以為是天老爺的意思，也就答應了。這樣，澧州的官稅錢糧，就從此免除了。
李群玉告老還鄉，死在家鄉以後，澧州人都特別想念他，留戀他，特地請來風水先生，要為他選個好葬地，來世也做大官，保佑澧州的百姓。
風水先生看了很多地方，最後吩咐把李群玉葬在澧州城東兩裏多的澧水河灘上。墳葬好了，
風水先生當著眾人念道：“貴人葬灘前，澧州風水現，五裏三進士，隔河兩狀元，還有三鬥六長芝麻官哩！”
說來也真奇怪，李群玉安葬的當天晚上，好多人都看見一對金鴨子寶光四射，對著他的墳墓拍翅點頭，叫得特別歡。於是，大家就把這灘叫做金鴨灘，都說李群玉葬到了有福脈的風水寶地。
隔不多久，朝中八府巡按白大人要巡視湖南、湖北。這白大人是解元出身，湖北孝感縣白家莊人。來湖南以前，先看望過他的母親。他的母親要求兒子到澧州後，必須找到李群玉的墳墓，雙膝下跪，誠心三拜。白大人搞不明白這是什麽原因。他的母親對他說：“兒呀！沒有李群玉，也就沒有你。”原來，李群玉十八歲時上京趕考，路經白家莊時，白大人的母親正是二八芳齡，在家守寡，一心想竊脈傳後。這時她暗暗看中了李群玉。李群玉對上京考中是“吃了秤砣——鐵了心的”，對男女色情的事不感興趣，隻是提筆寫了小小的“過脈”二字，用手遞了過去，在寡婦的手心上輕輕地拍了幾下。大概是天意的安排，寡婦從此懷孕了，不久生下了白大人。男人不能摸女人手心的話，而今還有人在說呢。
白大人來到澧州，查訪了州府民情，沒有祭掃李群玉的墳墓，卻來到了新修的盤山廟前。還沒等他下轎，突然一陣旋渦風平地吹起，卷落了他的轎頂。他下次出轎來，四下觀看，隻見李群玉墳墓那一方金光四射，亮通通的。當他問明白那就是金鴨灘時，眼前現出了一行行的金字。白大人仔細一看，那些字原來是一首詩：“白大人白了白，白得不明白，雖是白家子，實為李家脈。”這一下，可把白大人惹怒了，他轉身察看了澧州地勢，連忙下令在李群玉墳墓的上遊修理工了一個文良製。並說：“修起文良製，治死金鴨灘。”自此，水流迂回，金鴨灘也逐漸消失。澧州人民的日子也一天也一天地苦起來了。
為了讓老百姓再過上好日子，安居樂業，澧州人時刻都想恢複澧州的風水。到了明朝末年，有人出了一個主意，提出要修寶塔，鎮河妖，截住澧州風水。地點就選在金鴨灘下麵的二聖灘上。寶塔剛剛隻修了三層，就因為老百姓飯都吃不飽停止了。直到清朝時才接著修起來。這座寶塔就是“蜚雲塔”。