祖居柴姓，村处山岭之下，故名。清光绪《仙居县志》已载此名，属二五八都。村委会以驻地柴岭下而得名。

柴岭下村地处南峰街道东部，全村共有8个村民小组，共有356户，1291人，党员34人。全村耕地面积200亩，2015年度村级集体收入59.82万元。近年来，柴岭下村正在进行全村搬迁改造，对新村建设作了科学规划，实施完成后将实现“道路硬化、村庄绿化、路灯亮化、卫生洁化”，使村容村貌得到彻底改变，人民生产生活条件得到进一步提升。柴岭下村与赵岙村、清口园村、黄坦树社区、下郭社区、下新屋村、船山村、石板路村、南门社区、水孔头社区、管山社区、浮石园社区、下垟底社区、城南村、省耕社区相邻。历史沿革：现辖地域，解放初属东岭乡，1958年为柴岭下生产队，1961年建为柴岭下大队，1970年并入城关镇，仍称柴岭下大队，984年改称柴岭下村民委员会，1992年“撤、扩、并”后仍沿用此名。

2003年南峰街道成立起用仙居县南峰街道柴岭下村村民委员会，2013年行政村规模调整柴岭下村村建制保持不变。