由上杜山、下杜山、后宅园等三村各取一名。附近有小黄山遗址。
2022年11月，被命名为绍兴市2022年度市级“民主法治村（社区）”。
2020年12月，小黄山村入选2020年浙江省卫生村名单。
小黄山村是嵊州市甘霖镇下辖的行政村，城乡分类代码为112，为城乡结合区。区划代码为330683100287，居民身份证号码前6位为330683。邮政编码为312000，长途电话区号为575 ，车牌号码为浙D。小黄山村与孔村村、大王庙村、东溪村、洋桥村、蔡王村、上路西村、沙地村、罗湖村、梅家村、甘霖村、蛟镇村、白泥墩村、甘霖社区、尹家村相邻。历史沿革：2007年由上杜山、下杜山、后宅园等三村合并而成。
2019年由桂山、孙屋合并而成。
