清康熙年间，邳郯大地震，村南塌陷一条大沟，该村居沟的北沿，故称沟上。

沟上村位于铁富镇镇区东南，距主城区约20公里，紧靠南京路两侧，地理和交通条件较好。全村共有8个村民小组，总人口658户，3010人，其中一般贫困户17户、56人，低保户24户、59人，五保户10户、10人。全村个耕地面积1940亩，水域面积100亩，主要经营银杏树。2011年、2014年、2016年被评为镇信访稳定村。 2015年被评为铁富镇电子商务先进村。2016年获镇综合考评三等奖。2018年被评为徐州市田园乡村。沟上村与小营村、胡滩村、四合村、油坊村、米滩村、南冯场村、周楼村、响水流村、姚庄村、石庄村、朱埠村、吕骆家村、半店村、宋庄村相邻。荣誉排行：

2022年1月，江苏省爱国卫生运动委员会命名沟上村为2021年江苏省卫生村。

2020年12月，沟上村入选2020年度江苏省卫生镇（村）名单。

历史沿革：建国前后属山东省邳县三区沟上乡，1954年划归江苏仍属三区沟上乡，1957年撤区并乡属铁佛乡，1958年，属铁佛公社为沟上大队。

1983年，属铁富乡为沟上村村民委员会。

1995年属铁富镇为沟上村村民委员会，沿用至今。