嵊州市贵门吕姓来此定居发族，村以姓名。以驻地吕家山命名。
吕家山村情概况位于玉山镇人民政府驻地北5公里，属山区。有187户，538人。设有村党支部、村民委员会，4个村民小组。村级公路与老怀万线接轨。耕地面积713.08亩，山林面积2200亩，茶园500亩，生产经营以茶叶、高山蔬菜为主，并有少量水稻、玉米、药材。吕家山村与张村村、珍溪村、向头村、玉峰村、浮牌村、黄里村、月坑村、中湖村、佳村村、林宅村、方塘村、孔畈村、元里村、岭口村相邻。历史沿革：解放初属新东乡六村，1956年属利民高级社，1958年为岭口管理区吕家山生产队，1961年为吕家山大队，1983年改称吕家山村村委会。
