明崇祯年间，黄姓建村，村庄较小，故名。
小黄楼村是新蔡县黄楼镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为411729109201，居民身份证号码前6位为411729。邮政编码为463000，长途电话区号为396 ，车牌号码为豫Q。小黄楼村与石湖村、黄楼村、小徐庄村、鲁庄村、邢庄村、秦桥村、老培寨村、黄寨村、王港村、前李村相邻。历史沿革：1951年属新蔡县三区（砖店）。
1958年8月成立杨庄生产大队，属黄楼人民公社。
1982年更名为小黄楼生产大队。
1983年设小黄楼村民委员会，属黄楼乡。
