La maison est construite à l'intérieur de l'enceinte du castrum. Parallèle à celle-ci, un passage couvert (ou "soustet") assez profond traverse le bâtiment, qui est peut-être l'emplacement d'une rue intérieure longeant la courtine, sur laquelle la maison a été bâtie. Elle a été aménagée au 18e siècle, comme l'attestent certaines baies et deux dates portées, l'une, 1748, en façade sur cour, l'autre, 1757, sur un linteau de cheminée. Le plan cadastral de 1835 montre que la maison actuelle est recomposée à partir de plusieurs parcelle, une parcelle au nord-est (A 717), avec deux cours au sud, une partie d'une autre, côté ouest (A 719 partie) où est porté en pointillé le passage couvert, et un espace non bâti (A 720) à exproprier. Sur un plan levé en 1867 pour créer une petite place devant l'église, les parcelles appartiennent à la veuve Vergier, et l'on voit que le bâti de la parcelle nord-est a été prolongé vers le sud, à l'emplacement d'une des cours. Une adjonction de construction vers la fin du 19e siècle a fait disparaître la 2e cour. Deux campagnes d'agrandissement de la maison ont donc eu lieu au 19e siècle. La parcelle bâtie au nord sur l'ancien cadastre est aujourd'hui un jardin.