因从五台古城迁来一部分村民居于此地耕种定居，山前山后都有池潭，依山傍水，故名潭上村；自建村时启用地名至今。

潭上村村情概况建安乡潭上村地处滹沱河以南，全村总面积1.55平方公里，总耕地面积549亩，其中水浇地479亩，水田70亩。潭上村属暖温带大陆性气候，全年干旱少雨。农民以种植玉米、水稻、外出劳务为主要收入来源，2009年底粮食总产量达到217吨，农民人均纯收入为2402元。近年来潭上以绿化西汇别墅、打造建安旅游龙头为目标带动全村产业转型，促进全村跨越发展。潭上村与瑶池村、苏家庄村、刘家寨村、西建安村、神西村、大建安村、东建安村、段家庄村、张家庄村、红山崖村、檀村村、坪上村、南湾村、边家庄村相邻。荣誉排行：

2023年11月，山西省爱国卫生运动委员会命名潭上村为2023-2025年山西省卫生村。

2020年8月，山西省爱国卫生运动委员会命名潭上村为2020—2022周期山西省卫生村。

西汇兵工厂旧址西汇兵工厂旧址，位于五台县建安乡潭上村西500米处。民国十九年(1930)由阎锡山创办，日军入侵后停办。现仅存四合院落旧址，坐西向东，占地面积约1040平方米。 西面为双五孔石券窑洞，中三间潭上村公所旧址潭上村公所旧址，位于五台县建安乡潭上村西。民国八年（1919）开始，阎锡山整理村落，实行区村制，民国二十四年（1935）潭上设村公所。旧址坐东向西，占地面积97平方米。现存建筑为五孔石券窑洞造产救国水池造产救国水池，位于五台县建安乡潭上村村西100米的龟山顶。为阎锡山西汇别墅“小杭州”之遗存，民国二十年(1931)建。水池长14米，宽10米，深2.6米。池中砖砌水泥抹面“造产救国”四个字。历史沿革：1958年8月，设立潭上生产大队；1983年10月，我国实行政社分设；1984年9月，撤销潭上生产大队，设立潭上村村民委员会。