村以村委会驻地五家山得名。五家山：以刘一英与子分五家居住得名。
五家山村是江山市双塔街道下辖的行政村，城乡分类代码为112，为城乡结合区。区划代码为330881001225，居民身份证号码前6位为330881。邮政编码为324000，长途电话区号为570 ，车牌号码为浙H。五家山村与召石村、路垄村、丰足村、灵泉村、塔东村、乌木山社区、陶村村、文苑社区、凝秀社区、书院社区、学府社区、迎宾村、大夫第村、金家村相邻。历史沿革：解放初为陈村乡二村，1956年为武高社乡展建和建丰农业社，1958年为陈村管理区五家山生产队，1959年为武高社管理区五家山生产队，1961年为赵家公社五家山大队，1983年底改赵家乡五家山村民委员会，1992年5月改须江镇五家山村民委员会，2005年11月改双塔街道五家山村民委员会。
