Le plateau des Puys est occupé dès la période romaine : des tombes antiques ont été découvertes à l'occasion de sa restauration à la fin du 19e siècle, et des pièces de monnaie de l'époque d'Agrippa y ont été trouvées au cours de sondages. Ce site perché, sur la rive gauche du Lez, est un emplacement de choix pour l'édification d'une forteresse. La construction du château est due à la famille de Chamaret, l'une des plus importantes du Tricastin, connue dès le début du 12e siècle (1107), en la personne de Dodon de Chamaret, coseigneur de Valréas. C'est dans le cartulaire de Richerenches que le château fort est mentionné pour la 1ère fois, en 1157 : un acte de donation y est signé, en présence de Dodon (II) et Amalric de Chamaret. Le site est aménagé en éperon barré, séparé du plateau par un vaste fossé. Une chapelle castrale est édifiée au sud-est du donjon ; dédiée à Saint-Barthélemy, elle comprenait une nef de deux travées, terminée par une abside semi-circulaire voûtée en cul-de-four. La construction d'un second logis, au sud-est, intervient sans doute à la suites du partage des biens entre les descendants de Dodon et d'Amalric de Chamaret, en 1254, qui nécessite l'extension du château fort. Le site se trouve alors divisé en deux ensembles confrontés, et probablement rivaux. L'ensemble castral est à l'origine du village qui s'est développé à ses pieds, vers le nord. Dès 1202, l'évêque de Saint-Paul-Trois-Châteaux possède le haut domaine de la moitié du castrum ; en 1255, les Adhémar de Grignan et l'évêque se partagent la suzerainté de la plus grande partie de la seigneurie, puis la totalité en 1270 : au cours des 14e et 15e siècles, de nombreux différends opposent les deux personnages, l'évêque sera finalement évincé de la co-seigneurie à la fin du 15e siècle. Ainsi, jusqu'à la Révolution, la terre de Chamaret reste unie à la baronnie de Grignan. Au 16e siècle, les Adhémar, seuls seigneurs de Chamaret, transforment le second logis en colombier. Une partie des murs du château s'écroule en 1669 et la chapelle, menaçant ruine, est démantelée. Le tremblement de terre de 1772 ébranle encore l'édifice. En 1894-1895, est réalisée une restauration partielle du donjon, ainsi que la consolidation des murs de soutènement de l'ensemble ; la tour est alors convertie en beffroi. A la suite de l'inscription du site à l'inventaire supplémentaire des Monuments historiques, en 1992, une opération d'archéologie est effectuée (fouille de sauvetage,1995) et la municipalité fait restaurer la tour sud-ouest, appelée le Pigeonnier, par l'atelier valentinois d'architecture et d'urbanisme Aries.