古为来往行人的歇脚点，开有饭店，因有一东西向小山横亘于店南，山名横山，村名横山店。明万历年间，有一道士路过，指着横山对村民说：“此山有玉，何不名为玉山”。故改称玉山。村因以更名。
玉山镇位于遂平县城西偏北l8公里。镇域面积共69平方公里，辖15个行政村，90个自然村，183个村民小组，全镇总人口3.2万余人。镇政府紧临遂嵖公路，居遂平西部中心位置。镇政府驻地建设区占地2.5平方公里，辖苏庄、玉山两个行政村，镇政府驻地人口7568人，占总人数的24%，其中农业人口4256人，非农业人口33l2人。玉山居于永寺河上游，依山傍水，全景地貌特征呈东西分布，西靠风景优美、奇峰迂迥的嵖岈山，南有资源丰富的玉石山、长岭山，石英石资源丰富，含量达99%以上，储量超亿吨。全境除刘庄、培楼、柴庄、玉山四村外，都是平原，土地肥沃。永寺河自西向东贯穿全境，西部山区开发潜力很大的马家沟水+查看详细玉山镇概况>>
2022年8月，入选2022—2024届期驻马店市文明村镇名单。
2021年12月，河南省爱卫办命名玉山镇为2021年度河南省健康乡镇。
2019年9月，玉山镇被确定为2019年度河南省”平安农机”示范乡（镇）。
1949年分属二区（沈寨）、三区（玉山）。
