因其境内原有兖山自然村，且自然村旁边有一山名为兖山，村以山得名，且为社居委驻地，故得名。

位于阳湖镇东南，洽阳河东侧，东与歙县的横关乡马鞍岭交界，西至洽阳山，南至高速公路，北至广宇新城，所辖2个自然村，5个居民小组。共314户、741人。点地面积89.07公顷，其中：耕地346亩，山场641亩，茶园50亩，以养猪、种植为主。1961年建立大队，以大队驻地兖山命名。1966年并入黄口大队。1969年划出，仍恢复为兖山大队。1983年政社分开，建立乡人民政府后，改建为兖山村民委员会。2004年4月撤村建居后为兖山居民委员会。境内驻有南阳石雕工艺厂、百鸟亭建筑队等单位。兖山社区与洽阳社区、兖溪村、阳湖社区、三充村、紫阜村、黄口社区、稽灵山社区、柏山社区、迎宾社区、黄山学院社区相邻。荣誉排行：

2023年11月，被确定为2022年安徽省卫生村（社区）。

历史沿革：1961年8月成立阳湖公社，设兖山大队；1966年并入黄口大队；1969年划出恢复兖山大队；1983年9月公社改乡制时，改置兖山村，属阳湖乡；1992年2月阳湖乡撤乡建镇，属阳湖镇；2004年兖山村改为兖山社区，属阳湖镇至今。