村旁曾有一小山，山旁有一潭，村委会驻此，故名。

潭山村位于潭山镇东南方，东临天宝乡，西靠洑溪、店上两村，南接碓下村和天宝乡，北与店上村毗邻。村部驻地潭山集镇，海拔105米，与镇政府驻地大约0.5华里，全村地势东高西低，依山傍水，景色秀丽，环清园座落于潭山镇潭山村，建于清朝乾隆三十三年（1768年），距今 有两百四十多年历史，是庙下刘氏先祖为教书育人而建。解放后，政府曾在此设立潭山中心小学，办学多年后迁走。环清园占地约八亩，园内原有假山怪石、竹林花园，有房屋数进，两池三桥一阁，疏活水引流入池。其中，石池建筑工艺尤为精湛，石池四周用麻石砌成，上面并围有石拦杆，池底全部铺有麻石，池中建有亭阁，亭阁基础用麻石砌拱桥而成，并用麻条架桥+查看详细潭山村概况>>

谦公祠谦公祠座落于潭山镇潭山村庙下自然村，是庙下刘氏子孙纪念明朝洪武年间，徙居庙下肇基祖刘彦谦而建，经清朝乾隆，嘉庆年间两次修缮，祠堂成庄重宏大，气势宏伟之建筑。谦公祠占地1650多平方米，坐东向环清园环清园座落于潭山镇潭山村，建于清朝乾隆三十三年（1768年），距今有两百四十多年历史，是庙下刘氏先祖为教书育人而建。解放后，政府曾在此设立潭山中心小学，办学多年后迁走。环清园占地约八亩，园内历史沿革：潭山村委会在1950年前原是潭市大队，隶属潭山公社属下行政机构，1983年潭市大队改为潭市村。