解放前，此处曾有野黄羊活动，得名黄羊山，后改称黄杨山。
黄杨山村是隆回县荷香桥镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为430524106214，居民身份证号码前6位为430524。邮政编码为422000，长途电话区号为739 ，车牌号码为湘E。黄杨山村与清水村、白山村、开智村、树竹村、茅铺村、雷塘村、建桥村、石湾村、伏龙村、九牛坳村、天马山村、城中社区、桐木冲村、五四村相邻。历史沿革：1949年解放初期时属中和乡第三保；1958年人民公社化时为清水大队；1984年撤社设乡时为树竹乡黄杨山村；1995年为荷香桥镇黄杨山村；2016年建制村合并后为黄杨山村至今。
