村边有一条小溪，泥土是黄色的，故名黄溪山。
2019年9月，黄溪山村上榜2018年广东省“民主法治示范村（社区）”创建单位名单。
黄溪山村是高州市石鼓镇下辖的行政村，城乡分类代码为122，为镇乡结合区。区划代码为440981127217，居民身份证号码前6位为440981。邮政编码为525000，长途电话区号为668 ，车牌号码为粤K。黄溪山村与甘竹村、大水田村、上垌村、黄坡村、坡尾村、塘陂村、合丫埒村、深冲村、祥山村、门前坡村、西基山村、小营村、石鼓村、南茂坡村相邻。历史沿革：1963年由原来的黄溪山，分变两个大队合并而成的，1983年改为黄溪山乡，1986年改为黄溪山农村管理区，1999年改称为黄溪山村民委员会，沿用至今。
