因地处山上早年为曹姓集居村庄故命名。

曹山村共有158户，467人，党员15名，耕地面积163亩，水田面积123亩，旱地面积40亩，山林面积1314亩。该村村人均收入2542元，村民主要经济收入来源：务工、务农。该村主要特点：1、山高路远信息闭塞，移动通信基站去年刚建立；2、土地平瘠，山少林稀；3、该村有很大规模的茶叶基地，种植乌牛早茶。该村近年主要打算：扩大黑木耳的种植规模。曹山村与百花村、安山村、大园村、麻车坑村、仁庄村、金竹溪村、塘弄村相邻。历史沿革：现辖地域，解放初属缙云县陈庄乡。

1958年为曹山生产队，1961为曹山大队，1962划归仙居管辖，1984改称曹山村民委员会，1992年并入溪港乡后仍沿用此名。

2013年行政村规模调整，撤销曹山村、里坑里村村建制，合并后设立新的曹山村，村委会驻址设原曹山村。