L'ancienne église paroissiale Notre-Dame, attenante à l'enceinte et au château fort attesté en 998, était sans doute à l'origine une chapelle castrale. A cette époque, la seigneurie de Colonzelle est ecclésiastique ; les seigneurs en sont les doyens du prieuré Saint-Pierre établi dans la plaine, qui, au moment des périodes médiévales d'insécurité, durent se réfugier sur un site perché à l'abri d'un ensemble défensif. Au 13e siècle, le bourg castral de Colonzelle comprend un château avec chapelle, tours et remparts, dont est seigneur le doyen Sylvis en 1249. Il ne reste rien du château fort, seuls subsistent quelques vestiges de l'église et de l'enceinte, datables, d'après le type de construction et des baies subsistantes, de la 2e moitié du 12e siècle ; les remaniements du pan de courtine situé à l'ouest de l'église (parc. B 255) indiquent qu'il a servi de façade, dès la fin du Moyen Age et plus tard, à une construction civile (ancien presbytère ?), dont témoignent les éléments intérieurs, tel un évier. L'église était dédiée à Notre-Dame, et apparaît sous le vocable de Sainte-Marie dans plusieurs testaments des 15e et 16e siècles ; elle est qualifiée d'église paroissiale dans un acte de prise de possession du doyenné en 1533. Elle abrita les corps de garde lors des guerres de Religion et fut sans doute endommagée ; en 1654, il était question de reconstruire le choeur de l'église, quand un glissement de terrain menaça l'édifice de s'écrouler. Des conflits entre les paroissiens et le chapitre sur le financement retarda l'exécution des travaux. En 1686, l'évêque ordonne de rebâtir l'église Notre-Dame en partie ruinée. Ce n'est qu'à la suite de cette ordonnance et d'un accord entre les parties en 1688, que débute la reconstruction, dont témoigne le portail d'entrée à bossages, seul vestige apparent de cette campagne. En effet, une des élévations reposant sur la pente ne tarda pas à se lézarder et une visite épiscopale de 1746 constate alors que l'édifice menace ruine. La dégradation s'amplifia, et il fallu étayer au début du 19e siècle ; malgré ce, les voûtes s'écroulèrent peu après (vers 1805-1806). L'église Notre-Dame ne fut pas relevée ; il fut décidé de construire dans le bas du village une nouvelle église dédiée à Saint-Pierre, qui fut ouverte au culte en 1808.