阿维尼翁的举世闻名与城中的这座教皇宫有着脱不开的联系。公元320年，君士坦丁大帝皈依基督教后在梵蒂冈建造了大教堂，教会的权威一度高居世俗权力之上。但是在13世纪末，法王菲利普与罗马教皇因争夺什一税的控制权而产生了矛盾，双方力量各自为营，一方面法王宣布没收教会财产，另一方面教皇颁布谕令宣布神权高于世俗权力。1303年，双方彻底决裂，法王腓力四世派密使前往罗马囚禁了教皇，受到惊吓的老教皇于一个月后去世。1305年腓力四世拥立法国波尔多大主教为新教皇克雷芒五世。1309年，受法国王室控制的教延从罗马迁到了阿维尼翁。不过，直到1334年贝努瓦十二世就任教皇后才在阿维尼翁开始了被称作“旧宫”的前一半教皇宫的建设，这位教皇曾在当选后很牛叉地对红衣主教团宣称：你们选出了一个畜牲。1342年，教皇克莱蒙六世就任后完成了教皇宫后一半，也就是“新宫”的建设。说是宫殿，教皇宫其实更像一座城堡，高大的外墙厚4米、高50米，而且窗子很少，之所以要弄这么结实，是因为当时正值英法百年战争时期，教皇家也不得不提防横行的盗匪。

阿维尼翁教皇宫前后住过七任法籍教皇。1377年，教廷曾返回罗马，但不久教皇乌尔班六世便与红衣主教团爆发冲突。为此主教团准备罢黜乌尔班六世，并选出了新任教皇克雷芒七世。但一时间新教皇没能斗过老教皇，结果出现了罗马与阿维尼翁各有一位教皇的局面。两边的教皇对峙半个世纪后，红衣主教团于1409年在比萨举行会议，宣布废黜这两位教皇，选举了亚历山大五世为新教皇。没想到，亚历山大五世也没有实力压住阵脚，反而出现了三个教皇并存的局面。最终，意大利籍教皇马丁五世的登基解决了这个问题，并把教廷迁回了梵蒂冈，但此后阿维尼翁一直还是教廷属地并驻有特使进行管理，直到法国大革命爆发后的1792年，法国才收回对阿维尼翁的管辖权。1793年，激进的革命委员会一度决定摧毁这座象征封建势力的宫殿，所幸这个命令最终并没有执行。