機警平亂
趙葵之父趙方在宋寧宗時任荊湖製置使，有一次朝廷犒賞軍士，賞賜太少，引起軍士不滿，當時趙葵才十二、三歲，察覺軍士不滿的情緒，突然大聲叫道：“這是朝廷的賞賜，本製置司（趙方）另有獎賞。”趙葵的一句話立刻穩定人心，化解了將士的不滿，人們都佩服他的機警靈敏。
詩文趣事
趙葵曾在水亭避暑，作詩說：“水亭四麵朱欄繞，簇簇遊魚戲萍藻。六龍畏熱不敢行，海水煎徹蓬萊島。身眠七尺白蝦須，頭枕一枝紅瑪瑙。”詩還沒作成，趙葵就睡著了。他的侍女續寫道：“公子猶嫌扇力微，行人尚在紅塵道。”
趙葵同知樞密院時，一次上朝結束後回到家中，卻沒見到眾妾室。趙葵前往尋找，原來是群聚一起在摘青梅。其中一位妾擅長賦詩，趙葵讓她作詩一首，其中說道：“柝聲默報早朝回，滿院春風繡戶開。怪得無人理絲竹，綠陰深處摘青梅。”
圈豢四虎
趙葵在溧陽的私宅中，曾經做了一個圈，養了四隻老虎。一天，家中火藥庫烘焙火藥時著火，所有炮迅速爆炸，致使地麵震動、房屋倒塌，四隻老虎全都斃命。
難免眾譏
趙葵年輕時便有經邦濟國的才能，恥於通過科舉入仕。他因戰功卓著而被任命為右相時，給事中徐清臾駁還詔命，說宰相不是用來賞功的官職，並援引“宰相應當要用讀書人”的話作為借口。趙葵因而極力請求辭官回鄉。等到獲準辭官後，在謝表中說：“雖然霍光不學無術，本來就難免被眾人譏諷；但是皋陶所讀的是什麽書，敢用這來自我辯解。”“皋、夔、稷、契所讀的是什麽書”這句話，是趙葵的曾祖趙抃在回答王安石時說的話。
趙葵辭官後，曾在牆壁上作《南鄉子》道：“束發領西藩，百萬雄兵掌握間。召到廟堂無一事，遭彈！昨日公卿今日閑，拂曉出長安。莫待西風割麵寒。羞見錢塘江上柳，何顏。瘦仆牽驢過遠山。”
趙葵回鄉在地方任職時，以誠相待、愛護百姓。一天得閑時經過嶽麓精舍，舍長劉某年紀比趙葵稍大一些，在準備落座時，揖禮道：“請相公（對宰相尊稱）主持宴會！”趙葵搖手說道：“這裏說什麽相公？”最後回到賓位，取酒盡歡後離開。
民間傳說
在南嶽衡山的民間傳說中，趙葵是南嶽聖帝身邊的護法神忠靖王轉世，因此歿後配享南嶽廟。
識人之明
南宋名將呂文德出身平民，但身材魁梧、勇猛強悍，他曾在安豐城中賣柴，趙葵時任淮東製置使，在路旁見到他丟下的鞋子“長尺有咫”，感到非常驚訝，便派人到他家尋訪，正值呂文德出獵，到日暮後他背著打好的鹿回家，留下使者過夜，次日與使者一同去見趙葵，趙葵便將他留在麾下。此後數十年間，呂文德屢建邊功，位至顯宦。
餘玠幼時家貧，在白鹿洞書院和太學上舍讀書，因與茶館老人發生口角，不慎失手推茶翁致死，脫身出逃襄淮，向趙葵獻上長短句一首，投入其幕下。趙葵讚其心懷壯誌，便把他收留在軍中任事。後來，餘玠官至四川安撫製置使，成為南宋四川的抗蒙名將。