民间传说双塔是“姑嫂塔”，说有姑嫂二人相嬉而怀孕，因无以自白而死，后人为了纪念好俩的冤情，造了这两座宝塔。

这种说法是毫无根据的，其实双塔是北宋太平兴国七年，当地居民王文罕、王文安、王文胜兄弟为自己和家属祝福而造的，一个叫舍利塔， 一个叫公德塔，建筑形制完全一模一样，所以不妨叫做“兄弟塔”。