相传古时曾有本地潘姓商人，在湘江左岸修建商埠码头，得名潘家埠。后又先后更名为潘家乡、潘市镇。

位于祁阳县境中部稍北，距县城22公里。东与梅溪镇相接，南临湘江与黄泥塘、进宝塘、白水三镇隔江相望，西与观音滩镇相连，北与七里桥镇、羊角塘镇接壤。镇政府驻周家湾居委会，辖木埠头、许家岭、下堡桥、杨柳、多喜塘、岐竹、丁家坪、侧树坪、杨梅园、广济桥、下七渡、夭竹、双江、石峡洲、龙江、柏家、枫树、谢家湾、阳家歧、曾家歧、毛家埠、八角岭、老司里、高山、苏木、东江、乐园、深皇、白果、盘古、榔树、源星、新民、陆家、桐木、塘弦湾、中洲、董家埠、龙溪、古形、仙人坪、灵官甸、合洲、铜锣山、大洞源、赤一、赤二、钢铁、鲁冲、丫冲、东桥、荷花、享塘、新屋、龙潭、建溪56个村和周家湾、上街、下街3个居委会。潘市镇+查看详细潘市镇概况>>

2022年11月，潘市镇被确定为第二批湖南省乡村旅游重点镇（乡）。

2017年11月，潘市镇入选第三批湖南省美丽乡镇示范名单。

陶铸故居陶铸故居位于永州市祁阳县潘市镇陶家湾村一半山腰中。1908年1月16日,陶铸就出生在这里。1926年,他入广州黄埔军校第五期学习,同年加入中国共产党。1927年参加南昌起义和广州起义,192龙溪李家大院建筑面积7100平方米的具有典型湘南民居特色的老宅子，是目前祁阳乃至永州年代久远、保存完好、规模最大的古民居，叫李家大院。李家大院背山面水而筑，体现了建筑与山水和谐相处的湘南民居特色。现保存潘市杨氏宗祠杨氏宗祠坐落在潘市镇侧树坪村，为始建于清乾隆四十八年（1783年）的宗教祭祀建筑，历史悠久，完整地保留了明清时代宗祠建筑风格和历史文化信息，是集建筑、历史、科学、艺术价值于一体的历史文化遗产历史沿革：民国时期，先后属第四区和潘家乡。

1952年7月，区划调整，为第六区。

1956年7月，撤区并乡改为潘市乡。

1958年9月，改为灯塔人民公社。

1959年5月，更名为潘家埠人民公社。

1961年8月，改为潘家埠区公所，辖潘家埠、下七渡、塘弦湾等7个公社。

1964年3月，撤潘家埠公社，建石洞源公社。

1985年1月，改塘弦湾乡为潘市+查看详细潘市镇历史沿革>>