因首建村庄之乡民姓氏为潘，村落所处地形为“山丘”，故名潘家山。
潘家山村是河曲县土沟乡下辖的行政村，城乡分类代码为220，为村庄。区划代码为140930203212，居民身份证号码前6位为140930。邮政编码为034000，长途电话区号为350 ，车牌号码为晋H。潘家山村与榆立坪村、榆立洼村、村沟村、横梁会村、兔坪村、寨洼村、后下庄村、东上庄村、黑豆洼村、土沟村相邻。历史沿革：1958年人民公社化成立生产大队，1984年成立村民委员会。
