一说：古运粮河（古贾鲁河）经此，明清时期张市是远近闻名的水旱码头。有张氏女子在此摆渡并舍茶，深得乡里赞誉，故村名张氏。后村庄沿河发展为集市，改称张市。二说：南宋时期，古运粮河经此，因有水人长得水灵，此地出了两个美女，一个姓张，一个姓杨，后居住的人越来越多，形成渡口叫张杨渡口，又形成集市叫张杨集市，简称张市。
尉氏县辖乡。1958年建张市公社，1983年改乡，1996年建镇。位于县城东南，相距12公里。面积36.8平方公里，人口4.5万。尉扶公路过境。辖张市、石潭、南谢、北谢、郑岗、郭家、沈家、小寨、东万、西万、冯岗、沙门、边岗、崔庄、孔庄、尹庄、刘庄、前大-庄、后大-庄、王老、高庄、老集、吴岗、陆口、坡庄25村委会。工业以化工、香料、棉纺、农副产品加工为主。农业主产小麦、棉花、玉米。荣誉排行：
2022年9月，张市镇被确定为2022年度河南省”平安农机”示范乡（镇）。
2021年9月，张市镇入选2021年河南省特色生态旅游示范镇。
2021年4月，张市镇入选农业农村部、财政部2021年农业产业强镇创建名单。
2014年12月，第九批河南省省级生态乡镇名单公布，张市镇榜上有名。
1949年属陈留专区，称张市区。
神秀(公元606～706）唐代高僧，为禅宗五祖弘忍弟子，北宗禅创始人。俗姓李，汴州尉氏(今尉氏县张市镇沙门村）人。少习经史，博学多闻。年轻时博览群书，隋朝末年出家当和尚。后来碰上蕲州双峰山东山寺和尚弘
