唐蕃时期，古玉就有历史记载。

明朝洪武四年（1371年），帕竹政权的释迦坚赞当政后，在此设宗，宗址设在科麦（今塔巴寺附近）。

明崇祯十五年（1642年），甘丹颇章地方政权建立后，西藏地方政府在此设桑昂曲宗（宗址未变）。

清康熙五十九年（1720年），因此地距拉萨较远，交通不便，划归驻昌都的帕巴拉呼图克图管理。

雍正年间，桑昂曲宗重归西藏地方政府管辖，并设有三个“协伍区”和四个直属“得卡”，古玉为桑昂曲宗直接管辖的古玉三级直属得卡。

雍正三年（1725年），雍正皇帝将此地交给七世达赖喇嘛作为香火地。

喝厦时期，古玉为桑昂曲宗管辖的古玉三级直属得卡，后改划昌都“萨翁”领导管辖。

1951年9月，成立桑昂曲宗解委会，下设察瓦龙、竹瓦根、林嘎、察隅4个分会，古玉属竹瓦根分会的一部分。

1962年，成立古玉区（从竹瓦根区划出）。

1972年，改公社。

1978年，复置区。

1987年，改乡。