2002年原北杨、吴家两村合并，辖区取旧村各一字，故名。

吕山乡杨吴村吕山乡东部，区位交通条件优越，全村区域面积约3.6平方公里，有10个自然村，21个承包组，户籍人口2265人。全村以平原为主，矿产资源和水田资源丰富，农户以养殖渔业、务工为主。近年来，该村按照乡党委、政府打造“幸福、秀美、宜居”的山水活力小城镇，积极发展高效生态农业，先后获评年获“基层组织先锋建设五好党组织”、“市民主法治村”、“法制宣传示范村”、”县卫生村”、“县充分就业村”、“县优秀型团组织”、“示范性便民服务中心”、“春泥计划示范村”等荣誉称号。2011年，全村经济总收入9472万元，村人均纯收入11908元，村集体总收入69万元，人均可支配收入312.08元。杨吴村与吕虹村、金村村、南杨村、吕山村、龙溪村、斗门村、胥仓村、雁陶村、吕蒙社区相邻。荣誉排行：

2024年1月，入选浙江省2023年度省级“民主法治村（社区）”名单。

2021年12月，杨吴村被命名为2021年浙江省卫生村。

历史沿革：北杨村中华人民共和国成立初属吕山乡第七、八村；1956年建吕山乡第二高级社，1958年建北杨大队，时属虹溪公社吕山管理区，1961年属吕山公社。

吴家村解放初属吕山乡第六、七村；1956年与北杨合建吕山乡第二高级社，1958年独建吴家大队，隶属虹溪公社吕山管理区，1961年改属吕山公社。