明朝大槐树移民，先移至靖边红石峁，后有霍姓兄弟三人其中一人移至此地，在此建村。因其姓霍，又因其临山建村，故命名为霍家山村。
2016年12月，陕西省爱国卫生运动委员会命名霍家山村为2016年度陕西省省级卫生村。
霍家山村是陕西省榆林市吴堡县辛家沟镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为610829101214，居民身份证号码前6位为610829。邮政编码为719000，长途电话区号为0912 ，车牌号码为陕K。霍家山村与霍家沟村、景家沟村、深砭墕村、尚家坪村、贾家山村、老庄村、高家庄村、李家河村、寇家塔村、辛家沟村、宋家坡村、李常家山村相邻。历史沿革：明朝在此建村，1958年成立霍家山大队，1997年成立霍家山村村民委员会后，一直沿用至今。
