据《栟茶镇志》记载，传说栟茶由海水冲积而形成陆地。

早在唐朝，这里长有两棵参天大树，一棵是栟树(即棕榈树)，一棵是茶树。栟茶时为偏僻邻海小镇，没有什么高大建筑，两棵大树成为当地地标。

渔民出海捕鱼归来，都望着两棵大树，驶入港口，回到栟茶。

久而久之，又有不少人在两棵大树下摆摊卖货，形成市场，于是原有的渔民与后来的商民在此搭棚凿井，安居乐业，并将此地定名为“栟茶”。