因辖区位于香山庙四周，故名“香山”。
香山村是卢氏县双槐树乡下辖的行政村，城乡分类代码为220，为村庄。区划代码为411224203207，居民身份证号码前6位为411224。邮政编码为472000，长途电话区号为398 ，车牌号码为豫M。香山村与寺合院村、西茄村、东川村、石门村、西川村、向阳社区、北川村、双槐树村、桃花村相邻。历史沿革：1958年成立香山大队，属五里川公社。
1984年香山大队改为香山村民委员会，属双槐树乡至今。
