相传早年因潘姓始居当地大茅岗西北面山谷而得名。

潘山村坐落于季宅乡北部，海拔664米，距离乡政府所在地25公里，西北方与缙云县石笕乡朱庄村相连。两村以山界为分线，分水派流，流向潘山村面为青田界，流向朱庄村面为缙云界。潘山共有人口1400多人，现有常住人口460多人，流动人口900多人。潘山村由潘山、章寮、龙后、后村四个自然村组成，共有村民小组14个，村民代表31人，党员22人，其中流动党员12人。2014年，全村人均年收入达6500元。潘山地处偏僻，海拔较高，生态环境优越，村民多以种养殖业为生。因潘山常年气温较低，主要农作物多为一年一季，从每年的5月至11月，是水稻、夏玉米、番薯的主要生长时节。目前，潘山村水稻种植面积达200多亩，+查看详细潘山村概况>>

历史沿革：1961年属季宅公社潘山大队，1983年属季宅乡潘山村。