村委会驻地沙坵潘家，以“潘家”二字命名，故名。

潘家村地处国家风景名胜区梅岭脚下，属丘陵地带。全村辖12个自然村，包含沙丘潘家、老基村、大房潘家、胡坊村、王家村、陂头闵家、陂头余家、江家、凌家、魏家村、许家新村、侯家新村等聚落。该村聚落形成始于明代，建国前夕属新建县乔乐乡，1952年划归安义县第六区岭下乡。公社化时期属石鼻公社为潘家大队（1961-1968年属乔乐公社），1968年复归石鼻公社。作为产粮大村，潘家村主产水稻、花生等农作物。潘家村与赤岗村、东庄村、燕坊村、向坊村、邓家村、赤石村、京台村、堎上村、对门村、联合村、果田村、古楼村、邹家村、石鼻村相邻。历史沿革：1949年前属新建县乔乐乡，1949年后属新建县岭下乡。

1952年底划归安义县为第六区岭下乡。

合作化时，建为岭下等3个初级社，后并为石马高级社。

公社化时为潘家大队，属石鼻公社。

1961年为潘家大队，属乔乐公社。

1968年为潘家大队，属石鼻公社。

1984年为潘家村民委员会，属石鼻乡。