清代，属宁古塔副都统辖区。

清光绪二十八年（1902），在呢吗口（今虎头镇）设招垦分局。

清宣统元年七月（1909），设置呢吗厅。

同年5月，将呢吗厅改为虎林厅，隶属吉林行省东北路道。

中华民国成立后，1913年3月，改为虎林县，仍驻呢吗口（称虎林县城）。

1914年6月，隶属依兰道。

1929年2月，撤销道区，由吉林省直辖。

东北沦陷后，初隶吉林省，1934年12月划归滨江省管辖。

1937年7月，改归新设之牡丹江省。

1938年8月5日，伪虎林县公署移驻安乐镇，并将安乐镇改为“虎林”（今虎林镇），原县公署驻地改为“虎头”。

1939年6月，划归新设之东安省管辖。

1943年10月，隶属东满总省，1945年5月改隶东满省。

1945年，划归合江省管辖。

1946年6月，划归东安专区管辖。

1947年10月，改隶牡丹江省。

1948年7月，复由合江省直辖。

1949年5月，改隶松江省管辖。

1954年8月，松、黑两省合并，由黑龙江省直辖。

1956年3月，划归牡丹江专区管辖。

1960年1月，将虎林、饶河两县合并为虎饶县，县人民委员会驻虎林镇，隶属牡丹江专区。

1962年11月，改隶合江专区。

1964年6月，撤销虎饶县，恢复虎林县和饶河县。

虎林县址设于虎林镇，仍隶于合江专区。

1970年4月，划归牡丹江地区管辖。

1983年9月，撤销牡丹江地区，改由牡丹江市领导。

1993年8月，划归鸡西市。

1996年，撤销虎林县，设立虎林市。