古为来往行人的歇脚点，开有饭店，有一东西向小山横亘于店南，名横山，取庄名横山店。明万历年间，有一道士路过，指着横山对村民说：“此山有玉，何不名为玉山”，遂改横山店为玉山。

2022年1月，玉山村被命名定为2021年度河南省卫生村。

玉山村是遂平县玉山镇下辖的行政村，城乡分类代码为121，为镇中心区。区划代码为411728102200，居民身份证号码前6位为411728。邮政编码为463000，长途电话区号为396 ，车牌号码为豫Q。玉山村与初徐村、高竹园村、黄庄村、火龙庙村、贾庄村、康庄村、刘庄村、培楼村、坡李村、苏庄村、吴寨村、吴庄村、柴庄村、悦庄村相邻。文化旅游：

景家林古松景家林古松位于临沭县玉山镇玉山村东，年代为明，类别为古树，为第一批县级文物保护单位。历史沿革：1931年属五区。

1936年属第四区（区署驻玉山镇）。

1941年分属玉山镇一保、二保。

1959年9月建玉山生产大队，属玉山人民公社。

1983年12月改设玉山村民委员会，属玉山乡。