境内有自然村五渡，原先有渡口，后建桥，渡废，得名无渡，后演变为五渡，故得名五渡村村民委员会。

五渡村位于北岸镇东南部，大深线穿腹而过，交通便利。由原五渡、大岭二个村规模调整合并后的五渡村，全村分为三个自然村，辖4个村民组，共有441户，1296人，全村劳动力有929人，其中女劳动力有590人，外出务工劳力达458人。该村方圆5.2平方公里，其中水田面积522亩，旱地740亩，油料种植面积403亩，产量37吨，粮食播种面积842亩，产量299吨，茶园522亩，茶叶产量19吨，产值达304万元，桑园面积140亩，年产茧量10吨，产值达24万元，今年春茧产量达5吨，收入21万元，该村林地面积5880亩，森林覆盖率达68%，公益林面积3671亩，茶叶、劳务收入是村民的主要来源， 2010年全村+查看详细五渡村概况>>

2022年11月，被命名为2022年度黄山市市级卫生村（社区）。

2021年7月，黄山市农业农村局认定五渡村为2021年黄山市“一村一品”专业示范村（乡镇），主打主品：茶叶。

2019年6月，五渡村被列入第五批中国传统村落名录。

方璧故宅方璧烈士故宅位于北岸镇五渡村。为安徽省第九批省级文物保护单位。展区分为方璧烈士“出生五渡就学浙沪、教书做工投身革命、奔赴延安抗大学习、模范社员巾帼英雄、青松不语忠魂不朽”五个部分，生动地讲述历史沿革：民国前，属孝女乡，三十一都。

1952年置北岸乡，五渡、大岭村属之。

1961年成立北岸公社，1983年公社改乡，仍属之。

1992年，白杨乡、北岸乡合并置北岸镇，五渡、大岭村属之。

2008年，大岭村并入五渡村，隶属不变。