历代房舍大门一致朝前门山，故取名向山，后演称香山。
2019年4月，香山村被列入浙江省第一批省级传统村落名录。
香山村是三门县珠岙镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为331022102236，居民身份证号码前6位为331022。邮政编码为318000，长途电话区号为576 ，车牌号码为浙J。香山村与岭里村、高枧村、娄坑村、独山村、岭口村、双楼村、下洋村、梅坑村、竹墩村、樟树下村、桐岩李村、珠萃屏村、东谢村、桥下村相邻。文化旅游：
三门宗祠群(香山汪氏宗祠)三门宗祠群(香山汪氏宗祠)位于三门县珠岙镇香山村。为省级文物保护单位级文物保护单位。历史沿革：清名香山汪，属宁海县西乡朱岙庄。
民国时属珠溪乡，民国29年（1940）三门建县时属珠溪乡，后改珠石乡。
1956年2月山岙乡撤销，改属高枧乡。
1957年3月山岙乡恢复，仍属山岙乡。
1958年改称香山生产队，属山岙管理区。
1962年改称香山大队，属珠岙公社。
1983年政社分设，改称香山村民委员会，属珠岙乡。
1985年12月，珠岙乡改制为珠岙镇。
