明初，齐姓由山西洪洞县迁至扶沟县。明天顺年间，又有扶沟迁此，因村建于岳王寺西，西为下，取名小岳寺。
小岳寺村是上蔡县小岳寺乡下辖的行政村，城乡分类代码为210，为乡中心区。区划代码为411722215200，居民身份证号码前6位为411722。邮政编码为463000，长途电话区号为396 ，车牌号码为豫Q。小岳寺村与时庄村、郭七村、杨炉村、双河村、边张村、坡吴村、赵集村、陈集村、大岳寺村、望东湖村、朱寨村、大明村、西伍张村、大屯村相邻。历史沿革：清属党段图。
1958年设立小岳寺生产大队，属华陂人民公社。
1976年划属小岳寺人民公社。
1983年底改称小岳寺村民委员会，属小岳寺乡。
