L'édification, au début du 12e siècle, d'un castrum sur le plateau des Puys, possédé conjointement par la puissante famille de Chamaret et par l'évêque de Saint-Paul-Trois-châteaux, est à l'origine du village. Cette coseigneurie est en effet détenue en partie par l'évêque, qui, en 1202 et jusqu'au début du 15e siècle, possède le haut domaine de la moitié du castrum. Le bourg fortifié, aggloméré au pied du château du côté nord, est déjà important lors du partage entre les héritiers de Dodon de Chamaret en 1254 ; il dispose une enceinte qui vient d'être agrandie, puisqu'il est fait mention, dans l'acte, des anciens et des nouveaux murs (les anciens étant peut-être ceux du château fort ?), et de trois portes : le portail des Vital, la porte de Colonzelle qui ouvrait vers l'est, celle de la Fontaine vers l'ouest, ainsi que de deux poternes, dont celle de la maison de Barast. Les habitants assistent aux offices religieux dans la chapelle castrale, dédiée à Saint-Barthélemy. Cependant, dans le village, commence en 1405 la construction d'une église dont la nef ne sera édifiée qu'en 1492. Les fortifications sont démantelées en 1586 par les Adhémar de Grignan ; seule subsiste en partie la porte de la Fontaine (et des traces d'une autre porte, au nord). La chapelle castrale, s'étant éboulée en partie en 1696, est démantelée. L'église, sous le vocable de Notre-Dame puis de Saint-Barthélemy s'élève en bordure du chemin de grande communication de Bollène à Grignan, qui traverse l'agglomération et qui deviendra la rue principale. Le plan cadastral de 1835 montre qu'elle débouche, à l'ouest, sur une place publique où se situent la maison commune, la forge et les bâtiments communaux ; sur cette place, à peu près au centre du village, se dresse une croix, et plusieurs autres croix de chemin marquent les carrefours. Il y avait également deux écoles, une pour les garçons et une pour les filles. Au milieu du 19e siècle, il y a peu de commerces, excepté cinq cafetiers ou hôteliers. A la fin du 19e siècle, Xavier Sylvestre, habitant de Chamaret, fait un important legs à la commune, qui permit de restaurer la Tour, de construire la mairie-école en 1900 et un lavoir public en 1905 (l'ancien lavoir, daté de 1781 et appelé "la grande Fontaine", était un peu à l'écart du village) ; le bureau de poste s'installe alors dans l'ancienne école.