相传，此地适种胡麻，与大胡麻原为一村，后村庄扩大，分为二村，是村人少，故名小胡麻。
小胡麻村是洪洞县大槐树镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为141024100237，居民身份证号码前6位为141024。邮政编码为041000，长途电话区号为357 ，车牌号码为晋L。小胡麻村与北辛堡村、三阳堡村、董家沟村、西池社区、冯张村、大胡麻村、秦家庄村、秦堡村、沟东村、秦壁村、姚庄村、上纪落村、庄园社区、下纪落村相邻。历史沿革：1949年属洪洞县一区。
1987年设立小胡麻村民委员会。
2001年行政区划调整属大槐树镇管辖至今。
