因以潘姓人氏聚居，且地处山坡，故名。
潘家山村是甘谷县磐安镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为620523102301，居民身份证号码前6位为620523。邮政编码为741000，长途电话区号为938 ，车牌号码为甘E。潘家山村与马家滩村、西坪村、好梢科村、庄儿沟村、董家坪村、新窑村、石沟村、田家庄村、尉家庄村、甄家庄村、莫周兰村、榆林坪村、郭家山村、张家山村相邻。历史沿革：1952年属磐安乡；1958年属磐安公社；1983年复改乡，属磐安乡；1984年属磐安镇；2003年撤乡并镇，属磐安镇潘家山村民委员会至今。
