明景泰前属瑞安县义翔乡五十七都。

1934年属泰顺县荣城乡，1938年属第二区横山乡，1946年属百丈区翁山乡，1948年属山垟乡，7月划归文成县管辖，乡名仍之。

1952年分为山垟、桂库2乡。

1956年3月2乡合并称桂山乡，同年9月，复分为山垟、桂库2乡；1958年2乡改称大队、管理区。

1959年两个管理区合并称桂山管理区。

1961年改称桂山公社，1984年复称桂山乡；1992年，撤区归县直辖。

2011年3月桂山乡并入珊溪镇。

2016年1月从珊溪镇分立，复称桂山乡。