北魏宣武帝正始二年，即梁武帝天监四年（505年）。北魏宣武帝任命时为汉中太守的梁朝降将夏侯道为平南将军、豫州刺史，率兵入蜀，占据梁州十四郡地，于今四川平武县南坝设置江油县，为同时设置的江油郡治所。北魏宣武帝正始五年（508年），梁复得其地，撤销江油郡、县。
西魏废帝二年（553年）秋，西魏占领蜀地复置江油郡、县，江油郡隶龙州。
隋文帝开皇三年（583年）撤江油郡，江油县隶龙州。隋炀帝大业三年（607年）改龙州为平武郡，江油县隶平武郡。隋恭帝义宁二年（618年）改平武郡为龙门郡，后又再改为西龙门郡。
唐高祖武德年间（618－626年），江油县所隶之西龙门郡改名为西龙门州。贞观元年（627年）西龙门州改为龙门州。唐太宗贞观八年（634年）撤平武县并入江油县。武后垂拱年间（685－688年）江油县隶正州。唐玄宗天宝元年（742年）改正州为江油郡，江油县隶江油郡。唐肃宗至德二年（757年）江油郡改称应灵郡；乾元元年（758年）应灵郡改称龙州，江油县隶龙州。
北宋徽宗政和五年（1115年），龙州改称政州，江油县隶政州。南宋高宗绍兴元年（1131年）政州复称龙州，江油县隶龙州。南宋宝祐六年（1258年），江油县随龙州迁治雍村（今四川江油市大康镇旧县坝）。
元世祖至元二十二年（1285年），撤江油县入龙州。元顺帝至正二十三年（1363年），大夏政权复置江油县于今江油市兴教镇，隶龙州宣慰司。
明太祖洪武十年（1377年），撤江油县入梓潼县。洪武十三年（1380年）以兴教镇为治地复置江油县，隶剑州。明世宗嘉靖四十五年（1566年）江油县改隶龙安府。
清顺治十年（1653年）撤江油县并入平武县。康熙元年（1662年）于今江油市武都镇复置江油县，隶龙安府。
中华民国3年，江油县隶西川道。
中华民国24年4月至6月，红四方面军进驻江油、彰明期间，建立济时（驻雁门）、重华（驻重华）、彰明（驻彰明）三个县苏维埃政权和中坝市苏维埃政权。
中华民国25年，江油县隶四川省第十四行政督察区（驻今剑阁县）。
1949年12月22日，江油县解放，隶剑阁专区。
1950年1月，在中坝镇设立中坝市。因建市条件不具备，当月末即改建为江油县第三区。
1951年5月，江油县治由武都镇迁中坝镇。
1952年12月30日，剑阁专区更名为广元专区。1953年3月10日，撤广元专区，江油县改隶绵阳专区。
1958年9月5日，撤销江油、彰明两县，合并设立江彰县，县治设中坝镇。1959年4月30日，国务院批复江彰县更名为江油县。江油县仍隶绵阳专区。1968年，江油县隶由绵阳专区改名的绵阳地区。
1985年2月，江油县隶撤销绵阳地区后设立的绵阳市。
1988年2月，撤销江油县，设立江油市（县级），由绵阳市代管。
