以辖区自然村潘山得名。相传，潘仁美在此建花园和假山，得名潘山。

潘美（925年－991年），字仲询，汉族，大名（今河北省邯郸市大名县）人，一说封丘（今河南封丘）人，北宋开国名将。父亲潘瞒。在常山（今河北省正定县）当过军校。潘美与宋太祖赵匡胤素厚，宋朝代周后，受到重用，参加平定李重进叛乱，镇守扬州、潭州，…… 潘美详细信息++基本介绍：

潘山村：位于归仁镇西北5公里处。位于省道121西侧，毗邻安徽省，区域面400公顷，下辖8个自然村庄，户籍数791户，户籍人口3467人。潘山村与江桥社区、泗河村、山河村、苏洼村、张宅村、安河村、七里村、仁园社区、陈怀社区、郭庙村、姜冯村、沙庄村、江韩社区、刘大庄村相邻。荣誉排行：

2023年12月，被命名为2023年江苏省卫生村。

潘山墓群潘山墓群由北向南不规则的分布在大面积农田中，共有五座土墩。土墩高约1.6 米，底径15-20 米左右。1970 年代，曾发现砖室墓一座，长2.10米，宽1.45，高1.35 米。随葬品有釉陶历史沿革：1949年为潘山村。

1978年析出建小柏生产大队。

2001年潘山村与小柏村合并设立潘山村民委员会。