明末，王姓夫妇从山西洪洞县逃荒至此，以打烧饼为生，繁衍生息，以姓取名小王庄。1947年建了楼房，为与大王楼区分，改名小王楼。

2021年8月，国家卫生健康委老龄司公布小王楼社区为2021年全国示范性老年友好型社区。

小王楼社区是沈丘县槐店回族镇下辖的社区，城乡分类代码为121，为镇中心区。区划代码为411624100012，居民身份证号码前6位为411624。邮政编码为466000，长途电话区号为394 ，车牌号码为豫P。小王楼社区与大王楼社区、海楼社区、东城社区、马楼社区、高营社区、船民社区、左庄社区、河南社区、贾寨社区、沙南社区、西关社区、蔡河社区、北关社区、中心社区相邻。历史沿革：1958年设立小王楼生产大队，属白集人民公社。

1983年改为小王楼村民委员会，属槐店回族镇。

2016年改为小王楼社区居民委员会，属槐店回族镇至今。