山有白石，似象故名白象山，村以山名。

2023年1月，四川省爱卫办确定白象山村为2022年四川省卫生村（社区）。

白象山村是西充县凤鸣镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为511325107222，居民身份证号码前6位为511325。邮政编码为637200，长途电话区号为817 ，车牌号码为川R。白象山村与金龟庵村、大玉皇宫村、袁塘坝村、南北垭村、马川井村、罗树沟村、月儿湾村、复安社区、上坊寺村、桂枝垭村、神通庵村、金铧寺村、中岭社区、龙宝宫村相邻。历史沿革：民国时期，为观凤乡第5保。

1981年，为观凤公社白象山大队。

2019年，撤销观风乡、中领乡、复安乡，划归凤鸣镇管辖（南府函〔2019〕76号）。

2020年4月，白像山村、杨家庙村，设立白像山村（西府发〔2020〕7号）。