明朝永乐二年（公元404年}，刘、杨二氏自山西洪洞县迁此立村，因村建于小山东麓，故名小山村。
小山乡地处沧州市海兴县县域东北部，东与香坊乡接壤，南邻海兴县经济开发区，西邻海兴县中心城区，北邻黄骅市渤海新区，乡域总面积234.40平方公里，现辖19个行政村，到2017年底，人口28872人。乡政府驻地位于乡域中部偏西，距海兴县城8.7公里，西北距沧州市66.8公里，东北距黄骅港20.8公里。乡域内有沿海高速、省道正港公路和省道中辛公路、地方铁路（货运）。其他为联村路。小山原名马骝山，元代称为小山，是沧州市境内唯一一座山丘，海拔36.18米，现为沧州市最高点。小山由2-3万年前的火山喷发物堆积而成。小山火山地质公园位于小山上，2004年8月被评为省级小山火山地质公园。小山乡水资源丰+查看详细小山乡概况>>
小山战国地道小山战国地道位于海兴县小山乡小山西村西，年代为战国、现代。为沧州市第四批市级文物保护单位。保护范围：以地道口为基点向东扩10米、向北扩10米、向西扩10米、向南扩20米。建设控制地带：以保护历史沿革：抗日战争时期，小山乡境域属无棣县第四区（小山区）。
民国三十四年（1945年）9月，属无棣县小山区。
1963年12月，析出建小山公社。
1965年6月，为海兴县小山公社。
