域内有铁山，富含铁矿石，故名。街道因路得名。

铁山乡位于舞钢市中部，地处市郊，政府建制于1981年元月， 铁山乡因境内富含铁矿而得名。早在春秋战国时期，这里便以铸造“龙泉剑”闻名于世。现辖15个行政村，91个村民组，人口2万人，区划面积34平方公里，耕地面积2.3万亩。行政辖区铁山乡代码：410481203。2006年，辖15个村委会：找子营村、水坑赵村、冢李村、薄冲村、韩庄村、扁担李村、舞钢市铁山乡傅庄村、营街村、阎楼村、王大苗村、上曹村、中曹村、小刘庄村、乔庄村、前张村。地理环境铁山乡属半山区，舞钢最高蜂———马鞍山,位于该乡西南部山区，马鞍山于平原突兀而起，形似马鞍，山势雄伟，风景秀丽，好鸟相鸣，涓涓细流+查看详细铁山街道概况>>

2012年12月，环境保护部授予铁山街道2010—2011年度国家级生态乡镇称号。

2010年5月，河南省环境保护厅命名铁山街道为第四批河南省省级生态乡镇。

1948年属八台（舞阳县六区）。

1955年撤销八台区，并入武功区。

2016年设铁山街道，属舞钢市。