因为古时栟榈山上上有非常多的栟榈树，故名。据传，在唐代的时候有一得道高僧在此结庐居住，到了后晋时期，这里建造了一座栟榈寺，不知道与那位高僧是否有什么因果关系。有许多历史名人都曾来此赏景，如李白、陶渊明、徐霞客等。

永安桃源洞的主要景点有一线天、观音大士殿、仙人棋盘、凤冠亭、古井寒泉、通天亭、锁洞桥等，在这些景点中，最著名的就是一线天了，据《徐霞客游记》记载：“缝隙一线，上劈山巅，还透山北，中不容肩。所见一线天数处，武夷、黄山、浮盖，曾未见若此大而逼、远而整者”。一线天非常的窄，一隙望天。永安桃源洞周边的景点有石头城、铁树、群玉谷、禅顿庵等。