1950年属杉山等乡，1956年合并置杉山乡，1958年属娄底公社，1961年分置杉山公社和恩口公社，1968年合并为杉山公社，1984年复改乡，1986年建镇。

2015年11月23日湖南省民政厅办公室印发《湖南省民政厅关于同意娄底市娄星区乡镇区划调整方案的批复》（湘民行发〔2015〕65号），同意小碧乡与杉山镇成建制合并设立杉山镇。

新设立的杉山镇辖19个建制村和恩口社区，总面积66.38平方千米，总人口4.39万人，镇人民政府驻石垣（原杉山镇政府驻地）。