La maison est insérée dans le noyau fortifié du Pègue (14e siècle ?) dont elle englobe une tour de fortification. L'époque de sa construction n'est pas restituable, mais des éléments architecturaux (baies segmentaires) montrent qu'elle a dû être reconstruite ou remaniée au 18e siècle. C'est alors une maison particulière appartenant à un notable, François Doux. En 1829, la municipalité du Pègue décide d'échanger son ancienne maison commune (qu'il n'est pas possible de situer, les numéros de parcelle ayant changé avec l'établissement du cadastre de 1835) contre celle-ci, proposée par F. Doux. Cette demeure pourrait recevoir le presbytère, la mairie et les écoles. La demande en est faite au préfet de la Drôme en 1831, et des plans des trois étages de la maison sont dressés en 1835. Deux murs de refend transversaux la divisent ; au rez-de-chaussée se situent, à droite, un cellier (« cave ») et un bûcher donnant sur un passage à l'arrière (nord), ainsi que l'escalier, au centre la cuisine par où l'on rentre, à gauche un salon et un petit cabinet derrière, au 1er étage l'escalier et une ancienne cuisine au-dessus des communs, puis deux chambres contiguës, le 2e étage est en greniers (« galetas »), mais une petite pièce au nord, contre l'escalier, peut servir de chambre à coucher. La tour abrite un clapier (lapinière) au rez-de-chaussée, un petit cabinet bibliothèque au-dessus, un colombier au dernier niveau. L'échange réalisé, la maison est finalement destinée au seul presbytère. En 1864, il est agrandi d'une partie de maison voisine : l'adjonction se voit nettement sur la façade principale, où la 1ère travée de gauche est différente des autres. Peu après, en 1869, avec l'aménagement d'un cabinet (pièce de travail ?) côté rue, l'édifice fait l'objet d'une restauration partielle. En 1873, le curé Caffiero décrit l'état du presbytère, convenable dans l'ensemble, mais sale ; l'entrée se fait par la rue de la Tournelle à l'est. Le curé demande des réparations, car toute la partie nord-est de la maison est endommagée par les ruissellements d'eau venant de la rue de la Tournelle. Cinq ans plus tard, il renouvelle sa demande, car il semble que, sauf la clôture du jardin en 1875 (terrasse actuelle), les réparations concernant le bâtiment n'aient pas été effectuées. En revanche, à son initiative, d'autres travaux d'amélioration urbaine, voirie et arrivée d'eau, ont bénéficié à tous les habitants : à la place du sentier rocheux et glissant montant à l'église, la municipalité a construit une rue à degrés (rue de la Tournelle), et canalisé les eaux en établissant, en 1876, une fontaine à l'angle des deux rues, servant autant au presbytère qu'à tout le quartier. Dans le courant du 20e siècle, les curés n'habitant plus le Pègue ont abandonné ce logement ; des années 1960 jusqu'en 1986, les combles du presbytère ont été utilisés comme dépôt de fouilles archéologiques. L'édifice, restauré, est aujourd'hui habité par des particuliers.