以境内象牙庙得名，“象牙”二字意即庙做在前山上山形像象牙。

全村共有16个自然村、14个村民小组；有407户，1770人，男性954人，女性816人，70周岁以上老人156人，留守学生10人、学龄儿童15人，外出务工人员1239人。在资源与收入方面，有耕地面积2583.34亩，其中旱地300亩、水田2283.34亩；有林地面积5200亩；去年，村民人平纯收入30000元，主要来源于种植水稻、油菜、外出务工等几大块。全村共有党员50名，我们设立了党支部，支部下面设立了1个党小组。村“两委”干部4人，其中支委委员3人、村委委员4人、“两委”交叉任职3人。象牙村与展山村、桥东社区、路边村、明星村、蓝田村、栗花村、株桥村、葛塘村、朱坊村、上青村、下青村、上车村、七里村、杜坊村相邻。历史沿革：1949年中华人民共和国成立前属桥西乡，中华人民共和国成立初期属南山乡，1958年为象牙、展山二大队，1968年合并为象牙大队。

1984年成立桥东乡政府，改名为象牙村村民委员会，一直沿用至今。