武乡县历史悠久，早在新石器时代，这里就有人类居住，据1972年石门村牛鼻湾出土文物考证，已有7800年历史。

西周时期称皋狼之地；春秋时代属晋；战国时代名涅，城邑在今故城镇，先属韩，后属赵。

秦代属上党郡；西汉置涅县，属并州上党郡，县城在今故城镇；东汉称涅县，属并州上党郡；西晋，武帝泰始年间（公元265年- 274年），涅县分为三县，即武乡县、镣阳县和涅县，始有武乡县之名。境域大约包括今榆社和武乡县中东部地区，古城址在今榆社县城北15公里的社城镇。西晋时，武乡县、涅县都属并州上党郡。石勒于公元330年建立后赵，遂置武乡郡。北魏延和二年（公元433年），武乡郡改为乡郡，武乡县改为乡县，属并州乡郡。北魏太和十五年（公元491年），乡县县治迁至南亭川（今武乡故县村）。至北齐，将乡郡改为南垣州、丰州、戎州，北周时恢复乡郡。隋开皇三年（公元583年），废乡郡，乡县属上党郡；西部涅县先后更名为阳城县、贾水县，隋大业元年（公元605年）拆分并入铜鞮县和乡县；隋义宁元年（公元617年）乡县分置榆社县，至此，武乡境域形成现在的规模。唐初乡县属河东道韩州；唐贞观十七年（公元643年），韩州废，乡县归属潞州；唐景云元年（公元710年），恢复武乡县名至今。

抗日战争时期，1937年阎锡山政府将山西划分为7个行政区，武乡县属第三行政区，1940年6月改属太行区第三专员公署。同年7月，由于对敌斗争需要，武乡县分为武乡县、武西县。1945年9月，武乡、武西合并恢复原建制。1947年秋，武乡县城迁至段村镇。1948年5月改隶太行区第二专员公署。

新中国成立后，武乡县属长治行政督察专员公署管辖。1958年，长治行政区改为晋东南专区，专署仍驻长治。1958年 11月，榆社县和武乡县合并，称武乡县，属晋东南专区。1959年7月，榆武再次分治。1985年，撤销晋东南专区，分设长治市和晋城市，武乡县属长治市管辖至今。