据清代碑文记载，此处以前地势“突兀”，时当夏春之际，烟雾缭绕，看去俨然如一座青山。元初，元兵南下路过此地，疑为前有青山挡道而绕行，当地村民未受扰乱。因此，村名为青山。明代称青山村，清代称青山。此处有二村落，因规模此称小青山，沿用至今。
2023年9月，小青山村被确定为河南省第一批乡村建设示范村。
2022年1月，小青山村被命名定为2021年度河南省卫生村。
小青山村是汤阴县宜沟镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为410523104226，居民身份证号码前6位为410523。邮政编码为455000，长途电话区号为372 ，车牌号码为豫E。小青山村与香寺村、马屯村、冯岗村、尚家庵村、陈下扣村、大青山村、棘针庄村、胡勇街村、霍家洼村、前李朱村、后李朱村、前进街村、三里屯村、王老屯村相邻。历史沿革：1950年，设村。
1958年，成立汤阴县宜沟公社小青山生产大队。
1983年，社改乡，队改村，称宜沟乡小青山村民委员会。
1987年，乡设镇，称宜沟镇小青山村民委员会，其名称沿用至今。
