明末，吴姓从山西洪洞县迁此，庄小，取名小吴庄。
2022年1月，吴庄村被命名定为2021年度河南省卫生村。
吴庄村是遂平县玉山镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为411728102212，居民身份证号码前6位为411728。邮政编码为463000，长途电话区号为396 ，车牌号码为豫Q。吴庄村与柴庄村、吴寨村、悦庄村、苏庄村、坡李村、培楼村、刘庄村、康庄村、贾庄村、火龙庙村、黄庄村、高竹园村、初徐村、玉山村相邻。历史沿革：明、清属遂平县。
1936年属三区（区署驻诸市镇）。
1959年9月属祁庄生产大队，归文城人民公社。
1959年设立吴庄生产大队，队部驻小吴庄。
1981年9月更名小吴庄生产大队，属文城人民公社。
1983年12月改为小吴庄村民委员会，属文城乡。
