夏商时期为淮夷之地。

春秋时期属宋。

战国时期属楚。

秦代属泗水郡。

汉初始置谷阳县（今谷阳城遗址）。

东汉时期谷阳县设置未变。

北朝东魏武定六年（548），取梁之阳平郡，更名谷阳郡。

隋开皇六年（586），废高昌县，降谷阳郡为谷阳县。

显庆元年（656），省谷阳县入蕲县。

五代十国时期，境域北部先后隶属后梁、后唐、后晋、后汉的宿州蕲县，南部先后隶属吴、南唐的泗州虹县。

明洪武十二年（1379），割虹县南八都入凤阳县。

清代分属宿州、灵璧县、凤阳县和怀远县，隶属安徽省凤颍六四道（道尹驻凤阳）之凤阳府。

1948年11月27日，固镇地区解放，置固镇市。

1949年9月撤销固镇市。