南朝梁时，光雾山属难江县。
明朝时，属南江县域。清朝时，置桃源寺、白头滩两场，属崇清乡。
川陕苏区时期，建村，属寨坡乡苏维埃。
民国二十四年 (1935 年)，属第一区官两联保，民国二十九年 (1940 年)，属官两乡，民国三十三年 (1944 年)，析置桃源乡，民国三十七年 (1948 年)，设桃源寺特编乡为乡治所。
1951 年 6 月，置桃源乡。1952 年 1 月，桃源乡析置槐树乡。1958 年 9 月，槐树乡改为槐树公社，属上两区。1966 年 12 月，桃源更名桃园。
1984 年 3 月，桃园公社改为桃园乡 (上两区辖)，全乡共辖 5 个村 14 个村民小组413 人，面积 96.8 平方公里，耕地面积 157 公顷。
1998 年 7 月，槐树、桃园两乡合并为桃园镇，东邻关坝、玉泉乡，西接旺苍县、北与陕西南郑区毗邻，全镇辖原桃园乡、槐树乡地域的铁炉坝、焦家河、龙王坝、普陀、九角山、岩房、大营、白滩等 8 个村 28 个村民组 (合作社)，面积 417.18 平方公里，耕地 320 公顷，镇政府驻桃园，距县城 110 公里。
2005 年 4 月，将玉泉、大江口、大坝、魏家坝 4 个国有林场部分及关坝石羊村、大坝村民小组所属的行政区域划入，桃园镇更名为光雾山镇。
2005 年 7 月，成立巴中市光雾山国家重点风景名胜区管理处，与光雾山镇党委、政府合署办公。
2019 年 12 月 23 日，寨坡乡撤并，划归光雾山镇管辖。