清宣统元年十一月（1909年12月），于金山口（亦称库口）设置呼玛尔河总卡官，管辖上下卡伦，由瑗珲兵备道统辖。

中华民国初年，划归呼玛厅设治局管辖，并为治城。

1914年7月，呼玛“改局为县”，将金山口改为金山镇。

东北沦陷时期，为金山镇保。

1947年设置金山区，后改为第二区。

1956年撤区划乡，设置金山乡。

1958年9月，改称金山人民公社，翌年并入兴华公社。

1961年从兴华公社划出，恢复金山公社。

1984年初，改为金山乡。

名称沿用至今。