因此地有一小山梁俗称“小山”，依此故名。因村委会坐落于小山村，故名。
2024年3月，甘肃省爱国卫生运动委员会命名小山村为2023年度甘肃省卫生村。
小山村是景泰县红水镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为620423105203，居民身份证号码前6位为620423。邮政编码为730900，长途电话区号为943 ，车牌号码为甘D。小山村与曾家井村、界碑村、谢家梁村、城华村、宋家庄村、泰安村、羊城村、共建村、清河村、永乐村、大咀子村、红砂岘村、靖安村、昌林村相邻。历史沿革：1989年景电二期移民搬迁，1990年由景泰县寺滩乡宽沟、永泰两大队移民搬迁而来，命名为小山村。
建成后原属四个山乡管辖，2004年撤乡并镇后属红水镇管辖，沿用至今。
