En lieu et place de l'actuel Musée Calvet était autrefois la résidence d'un cardinal - Livre de Cambrai, nommé en l'honneur de la fois vécu ici D'ayli Pierre Cardinal, évêque de Cambrai. En 1719, le bâtiment a été vendu à François-René de Villeneuve, le marquis de seigneur d'Arzele et Martignano.

En 1734, son fils Jacques-Ignace-de-Villeneuve a décidé d'étendre leurs avoirs et de construire un nouveau palais. La construction a été commencée sous la direction de Thomas Lainé, mais a ensuite changé ses architectes Jean-Baptiste Francesco Frank et Frank. Les travaux de construction a été achevée en 1749. En 1802, il acheta une maison Deletro marchand, qui à son tour remis le bâtiment à louer Avignon autorités de placer la collection ici Esprit Calvet. 3 mars 1833 le bâtiment a été acheté par la municipalité d'Avignon pour le musée. Sur Octobre 1, 1963 maison de ville Villeneuve-Martignano sur la liste des monuments historiques de France.

Il abrite l'une des plus grandes collections de peintures en France. Recueillir collection a commencé un médecin local (numismate, bibliophile et archéologue) Esprit Calvet, et plus tard, en 1810, il a légué sa collection de peintures du musée et une bibliothèque. Des expositions de musée sont des œuvres des arts appliqués, des sculptures, de la porcelaine, mais département de peinture très intéressante, couvrant la période allant du XVIe au XXe siècle - par Vasari et Luca Giordano à David, Corot, Manet, Bonnard et Soutine.

Ici, dans la maison de ville de Villeneuve-Martignano, à laquelle ont été ajoutés à des bâtiments modernes, il est la collection principale. Bibliothèque, Calvet et rassemblé une importante collection de près de 12 000 pièces de monnaie et des médailles ont été déplacés vers d'autres lieux.