临武古属楚地，战国时期设临武邑。

汉高祖五年（前202），置临武县。

新莽始建国元年（9），改名大武。

东汉建武元年（25），复称临武。

隋开皇九年（589），南平并入临武。

五代后晋天福四年（939），临武并入桂阳监，南宋绍兴十一年（1141），复置临武县。

明崇祯十二年（1639），划临武及桂阳各一部分，新设嘉禾县。

1949年，临武解放，属郴县专署。

1952年11月，撤郴县专署，设湘南行政公署，临武属湘南行署。

1954年7月，湘南行署撤销，临武复归郴县专署管辖。

1961年7月，临武县恢复建制，隶属郴州行署。

1994年12月17日，设立郴州市，临武隶属关系不变。