因村民原聚居在小衢山岛得名。小衢山，别称小朐山、小均山。

小衢山位于岛扎北面，由红山岙、大南岙、小南岙及红毛岗墩，大、小凉帽山组成。小衢山隶属岱山县衢山镇，故名。小衢山于光绪年间属蓬莱乡衢山庄，民国年间先后属定海县，赢洲县之岛斗乡。解放后，除1954-1958年间置小衢乡外，余皆属岛斗乡或岛斗公社，2001年7月并入衢山镇。丘陵走向：呈东西走向。陆域面积为1.837平方公里，其中大部分为丘陵。海岸线长8.77公里。最高点海拔200.8米。小衢山岛海岸线曲折，有5个岙口，其中东北的红山岙，纵深300米，宽200米，南部有大南岙，长120米，宽200米。岛南岸有水深10米以上的岸线1.2公里，后方有小片海涂可围。土坯粗骨土，坡度15°。植被硬阔树种，种植+查看详细小衢村概况>>

2024年1月，入选浙江省2023年度省级“民主法治村（社区）”名单。

历史沿革：1934年设小衢乡，1935年后并入衢一乡（岛斗乡）。

1984年，撤队析设为红山岙、大南岙2个村民委员会。

1986年改称小衢红山岙、小衢南岙村民委员会。

2003年合设小衢村民委员会。

2016年改称小衢社区村民委员会。