清光绪二十九年（1903），中东铁路建成通车，于此设山市站。

1913年，隶属宁安县自新乡管辖。

1933年属第五区，为山市保。

1939年改设山市村。

1946年8月划归新海县，隶属山市区。

1948年8月，新海、五林两县合并为海林县后，仍隶山市区，1949年10月改称第八区。

1956年3月撤销海林县，划归宁安县，同年5月设置山市中心乡。

1958年1月改称山市乡。

1958年9月，并入横道河子人民公社。

1962年10月，划归新恢复的海林县管辖。

1964年5月，从横道河子公社划出，成立山市人民公社。

1984年4月，撤销山市公社改设山市镇。

名称沿用至今。