传说此地原为一海，芦芽山有一对水鸟，鸟叫水涨。水从四面汇合于此，人们称这里为“湖汇”。这对水鸟后被猎人击毙，从此水干海枯。人们在此建村后，便取村名为胡（湖）会（汇）。另传，前人视此地宽阔，欲在此建成，测定方位，定好碑桩，却被狐精把碑桩拔在现五寨城驻地。人们便说此地被狐害了，以后起“狐害”。后雅化为“胡会”。
五寨县辖乡。1958年设胡会公社，1984年建乡。位于县境中部，距县城10公里。面积87.9平方公里，人口0.7万。辖大胡会、小胡会、西鸡儿洼、东鸡儿洼、石嘴头、张家坪、桑家洼、前赵和庄、东坪、夏家洼、包家湾、安子、川口、方城、水槽、王家庄16个村委会。农业以种植土豆、莜麦、豆类为主。
历史沿革：1952年，始设区辖大胡会乡。
1956年4月，设县辖大胡会乡。
1958年11月五寨、神池、岢岚县合并，公社化初期属南峰人民公社。
1961年3月分县，1966年3月增加胡会人民公社。
1984年10月，更名为胡会乡，沿用至今。
