村委会驻地在盘山沟，后取“盘山”谐音“潘山”为名。

潘山村位于悦来镇正东面，东靠玉河村，西与鲇桂村相连，南接群桥、新彭村，北与石庙李枣村接壤。幅员面积2.3平方公里，辖区8个社，472户，共有人口1396人，全村共有耕地面积800亩。通村公路9.32公里，已硬化6.82公里。建档立卡贫困户52户130人，2014年已脱贫9户27人，2015年已脱贫37户87人，2017年计划脱贫6户16人。潘山村与玉河村、群桥村、新彭村、马河村、红灵村、碧池村、宝光村、厚垭村、璧山社区、月耳井村、平安社区相邻。荣誉排行：

2021年1月，潘山村入选2020年四川省卫生村（社区）名单。

历史沿革：1950年成立璧山乡人民政府设立为二村，1958年成立人民公社，体制下放调整二大队，1980年地名普查时命名为潘山大队，1984年改公社为乡、大队改名为潘山村，2006年乡镇行政区划调整属悦来镇。

2020年鲇桂村和潘山村合并，选举产生潘山村村民委员会。