巢湖白牡丹的传说源于巢湖南岸银屏山悬崖绝壁上生长着的一丛白牡丹。这丛白牡丹在几十米高的石壁间生长，生命力强，长势良好，基本上年年含苞吐蕊，开硕大白花，十分稀有。由于牡丹本身很娇贵，人们又不知道这丛牡丹为何生长在此，长年累月间，便附会其很多传说。

相传，北宋庆历五年，滁州太守欧阳修被庐州太守李不疑邀请来此看白牡丹花，听说吕洞宾、崔自然修行成仙和牡丹仙子下凡的故事后，有感而发，留下著名诗句：“学书学剑未封侯，欲觅仙人作浪游。野鹤倦飞为伴侣，岩花含笑足勾留。饶他世态云千变，淡我尘心茶半瓯。此是南巢招隐地，劳劳谁见一官休”。

此外，还有传说称，八仙之一的吕洞宾曾云游至此，看到这里的人们生活艰苦，便决定帮助他们，吕洞宾施展法力变出一株牡丹，并告诉人们只要每年悉心照料这株牡丹就能得到好运和丰收。