约2000年以前，刘、陈、曾三大家族，在此居位，人烟稀少，土地肥沃，刘氏家庭文才兼备，私设私塾，育英才辈出，远近闻名，故而得之书堂山美称。
书堂山村是邵阳县塘渡口镇下辖的行政村，城乡分类代码为122，为镇乡结合区。区划代码为430523100208，居民身份证号码前6位为430523。邮政编码为422000，长途电话区号为739，车牌号码为湘E。书堂山村与向阳村、桂花村、岐山村、五星村、楠木村、大坝村、梅子院村、罗吉村、红石社区、玉田村、峡山社区、良山村、桂竹山社区、榨木桥村相邻。历史沿革：1949年解放初期时武冈东部划为邵阳县，1956年划为和平公社中山高级社；1958年人民公社化时为红旗人民公社，1961年归属和平人民公社；1963年划归塘渡口人民公社黄山、中山合并建中心大队；1975年遵照上级指示命名中心大队改命为书堂山大队；1984年撤社设乡时为塘渡口乡书堂山村；1995年塘渡口镇书堂山村村民委员会；2015年撤乡合镇时原塘渡口镇书堂山村村民委员会。
