原名桃源。980多年前，潘姓人从青田沐溪徒此山岙定居后，更名潘岙。

潘岙村总人口1231人，户数370户，其中劳动力892人，外出劳动力674人，党员38人，水田103亩，山林面积2567亩。农业、林业、劳务输出是潘岙村的支柱产业。潘岙村与花竹岭村、方前村、穹口村、潘平村、葛垟村、黄龙村、项坑边村、垟地边村、孔龙村、正塆村、龙五村、柳泉村、稠泛村相邻。文化旅游：

龟背山遗址龟背山遗址位于文成县巨屿镇潘岙村龟背山。遗址分布在山背，面积约5000平方米，发现遗物主要有石锛和石斧两种，系砾石稍加打制而成。根据出土器物及印纹陶片分析，该遗址年代应在新石器时代晚期。历史沿革：解放初称潘岙村，属叶稠乡；1950年转属屿东乡；1952年属潘徐乡；1956年属花前乡；1958年称潘岙生产队，属珊溪公社花前大队；1959年属花前管理区；1961年改称潘岙大队，属花前公社；1984年改称潘岙村，属花前乡；1992年属巨屿镇。