秦、汉、晋国时期，属江乘县。

隋朝时期，属江宁县。

唐代先后，属江宁县、归化县、金陵县、白下县、江宁郡、上元县等。

宋至清朝时期，属上元县。

民国元年（1912年）后属江宁县；民国三十八年（1949年）4月，分属南京市第十三区和江宁县第六区。

1953年，属江宁县第六区。

1955年，属江宁县汤山区。

1957年，为江宁县汤山镇、上峰乡。

1958年，为江宁县汤山人民公社、上峰人民公社。

1961年，析汤山人民公社置汤山镇。

1982年，汤山、上峰2人民公社改乡。

1983年5月，汤山乡并入汤山镇。

1996年2月，上峰乡改镇。

2005年12月，汤山镇改置街道。

2010年5月，原麒麟镇区域析出。