因解放后，乐山村原来是两个单位，一个是乐群村，一个是山林村；1961年合人民公社后，取名乐山大队，故而得名。

乐山村是邵阳县蔡桥乡下辖的行政村，城乡分类代码为220，为村庄。区划代码为430523204205，居民身份证号码前6位为430523。邮政编码为422000，长途电话区号为739，车牌号码为湘E。乐山村与杨桥村、桂花村、双龙村、南林村、陡山村、石河村、龙口村、求山村、德云村、城塘村、回龙村、柘双村、福林村、水口村相邻。历史沿革：清代属武冈州长溪乡蔡桥团，民国属武冈县唯一乡第六保；1949年属武冈县唯一乡第八保，1958年人民公社化时为金星人民公社乐群大队和山林大队；1961年为蔡桥乡公社乐山大队；1984年撤社设乡时为蔡桥乡乐山村；1995年撤区并乡时为蔡桥乡乐山村；2015年撤乡合镇时为蔡桥乡乐山村至今。