清末此地建有一庙，求神求佛的人看到山下稻谷一片山上桃树遍地而得名。
桃谷山社区是桃江县桃花江镇下辖的社区，城乡分类代码为121，为镇中心区。区划代码为430922112012，居民身份证号码前6位为430922。邮政编码为413400，长途电话区号为737 ，车牌号码为湘H。桃谷山社区与半稼洲社区、花园洞村、近桃社区、打石湾社区、富民社区、崆峒村、桃花江社区、杨家坳社区、梨树桥村、资江路社区、桃花路社区、栗树嘴村、金凤社区、罗家潭村相邻。历史沿革：1961年称桃谷山村公社，1981年称桃谷山村小组，2008年并村后由原来的桃谷山村，观桃村，猴栗岭村，三村合一改称桃谷山村，2016年村改居，成立桃谷山社区居民委员会。
