古时，与殿前均称鹿石，上半村多杨姓，下半村多潘姓，潘氏据此最早。解放初，鹿石分设三个村时，取名下潘。
下潘村位于镜岭镇南部，东与殿前村相连，南临兴云村，西接大畈村。有村民小组5个，农户372户，人口925人。现有党员31人，村两委成员6人。下潘村有土地面积1789.9亩，其中耕地441.88亩，园地3.4亩，林地951亩，水面83亩。这些年来，下潘村在上级党委、政府的正确领导和有关部门的大力支持下，以党支部为领导核心的村两委一班人站在群众前沿，走在群众前列，带领全村群众，同心同德，锐意进取，勇作群众利益的维护者、群众致富的推动者，走出了一条与村情实际相结合的发展路子，村域经济和社会各项事业得到了快速发展，相继了兴办了许多惠民实事，下潘村面貌得到了较大程度的改变。2011年，下潘村集体经济收入6+查看详细下潘村概况>>
2022年11月，被命名为绍兴市2022年度市级“民主法治村（社区）”。
民国24年属镜屏乡，1958年属镜岭公社下潘生产大队。
1961年属镜屏公社下潘大队。
1966年文革中改名为红卫大队。
1983年政社分设后为镜屏乡下潘村委会。
