镇政府原驻地青山店，明万历年间成集，因位于青山脚下并筑寨墙得名青山寨，后寨毁，改称今名。
罗山县辖镇。1956年建青山中心乡，1961年改公社，1983年建乡，1996年建镇。位于县境西部，距县城27公里。面积106.6平方公里，人口3.1万。伍(家坡)涩(港)公路过境。辖双桥街、双桥、童桥、王岗、岳山、寨里、夏寨、陈洼、青山、孙岗、洪河、冲口、周湾、孙楼、冯楼、五里棚16个村委会。矿藏丰富，有珍珠岩、膨润土、沸石、瓷石、金、银、铀等。乡镇企业有农机、陶瓷、造纸、建材、精米加工等。农业主产水稻、小麦、棉花、茶叶等。
1958年3月撤区置青山乡，8月撤乡并入涩港公社。
1961年再由涩港公社析置青山公社。
