世居潘姓，据《古溪潘氏宗谱》载，潘姓为吴越国婺州望族，其中一支为清潘，其祖于宋皇二年（1050）自婺州迁居兰溪大堰口落户，原名上宅，因建村迟于古溪桥头潘姓，改称下潘。

下潘村坐落于兰溪市、毗连花塘村、田畈村,英才辈出,天蓝水清,山清水秀主要农产品：山药、甜菜、四季豆、酸橙、茄子企事业单位：中心卫生院建设分院，-子酥饼厂，农业综合服务公司建设经营部，下潘加油点，外贸工艺制品厂下潘村与女埠村、里王村、郎山村、舒村村、午塘村、楼塘村、勤俭村、竹塘村、上新屋村、泉湖村、泽基村、垷坦村、渡渎村、虹霓山村相邻。文化旅游：

女埠双塔女埠双塔位于兰溪市女埠街道，年代为明。女埠双塔，即前塔永龄塔和后塔仁寿塔，位于金华市兰溪市女埠街道下潘村及见坦村。双塔均建于明代。其中，永龄塔坐落在下潘村东南约五百米的白露山上，俗称前塔，建历史沿革：1958年公社化时由虹霓山、下潘、里王合并为第19大队，1961年为下潘大队。

2016年行政村规模调整，原下舒行政村并入。