因管辖范围位于太湖县小龙山一带，故名。

龙山社区成立于2015年11月，由于区域调整，由原来的站前社区划分为龙山社区和站前社区。社区地理范围东到法华路，南至人民西路，西到花凉亭电站，北至火车站，面积5平方公里，常住人口6000余人，辖区党员191余人。其中预备党员1名，长年外出务工72名；男性党员139名，女性党员52名；60岁以上党员130名，60岁以下党员61人。社区现有工作人员8名，两委成员3名，其中高中以上学历3名，大专以上学历5名，见习人员1名，临聘人员1名。主要管辖小区：天龙景园小区，花凉亭电站，站西小区，烟草公司、供电局、小水电公司、妇幼保健院、县医院宿舍等。社区建设情况：社区活动场所约600平方米，其中为民服务+查看详细龙山社区概况>>

2024年1月，被认定为安徽省2023年度“三公里”充分就业社区。

历史沿革：由于区域调整，由原来的站前社区拆分为站前社区和龙山社区。

2005年在原站前居委会的地址直接改名为龙山社区居委会。