据当地《雷氏宗谱》载，清顺治十一年(1654年)，雷氏祖先从莒溪（今属苍南县）迁此定居。后三子分家，为争山权，殴死人命。经判决，将此山余下以供后人鉴戒，因称余山。

余山村简介余山村平均海拔310米，全村总面积2.8平方公里，辖4个自然村，全村户数130户，总人口573人，其中汉族200多人，畲族300多人。低收入农户85户，260人。党员22人。耕地面积298亩（其中旱地60亩），山林面积135亩。村两委班子健全，凝聚力强，责任心强，能为群众办实事。余山村与岭降村、进士村、中柱村、吴垟村、杨光村、朱垟村、南田村、余思坑村、戈场村、岭后村、望眉村、下顺溪村、溪北村、溪南村相邻。历史沿革：1949年为晓阳乡余山村。

1956年为维新乡余山高级社。

1958年为维新大队（管理区）余山生产队。

1961年称维新公社余山大队。

1984年称余山村委会，属维新乡。

2011年随维新乡并入顺溪镇。