Village perché, Colonzelle s'est implanté durant le haut Moyen Age. Son existence est attestée à la fin du 10e siècle dans une charte de Cluny : en 998, Rodolphe, roi de Bourgogne, confirme à l'abbaye de Cluny les donations faites antérieurement, parmi lesquelles le « castrum Colonzellas ». Colonzelle est donc une propriété ecclésiastique dont le seigneur, au temporel comme au spirituel, est jusqu'au début du 14e siècle le doyen du prieuré Saint-Pierre, établi dans la plaine. Le prieuré est sécularisé peu après 1306 et, par le biais d'un prieur membre de la famille Adhémar, la seigneurie passe aux Adhémar, comtes de Grignan. Le bourg castral, lieu fortifié, comprenait au 12e siècle un château fort élevé au plus haut point du bourg, avec une chapelle et un cimetière attenant. Durant les périodes d'insécurité liées aux compagnies de routiers (14e siècle), les habitants du territoire se réfugient au pied du château où réside le doyen, et mettent en place une nouvelle enceinte. Dans l'enceinte du château, près de la chapelle devenue plus tard église paroissiale Notre-Dame, des vestiges d'habitation de l'époque médiévale, remaniés aux 15e-16e siècles, ont été mis au jour : il s'agit probablement du presbytère construit vers 1504 entre la fortification et l'église pour Bonet Larmande, curé de Colonzelle. Lors des guerres de religion, les huguenots s'emparent du château en 1588 et durant plusieurs mois occupent la place, qui est ensuite assiégée ; les dommages causés par les combats de cette période amorcent le début de la ruine du bourg castral. La colline reste ébranlée par les guerres, le château, sans doute détruit, n'est plus mentionné. Un glissement de terrain en 1654 fait écrouler tout un pan du rocher du côté de l'église, dont la reconstruction du choeur était en pourparlers. L'église est en partie ruinée en 1686 ; malgré la réalisation de travaux ordonnés par l'évêque, l'édifice menace ruine cinquante ans plus tard. Le sommet du village semble avoir été délaissé au milieu du 17e siècle, les habitations se situant plutôt sur les pentes, et même hors de la fortification. Le presbytère occupait une maison achetée en 1688 dans le bas du village, contre le Grand portail. Les habitants disposaient d'une maison commune et d'une école, et possédaient en propre une forge, un four communal et, à l'extérieur, la place devant le Grand portail où se trouve le puits communal. Vers la fin du 18e siècle (une maison porte la date 1788), l'agglomération sort de ses murs ; au sud-ouest de l'écusson que dessine le village médiéval, un nouveau quartier se forme et se développe : plusieurs dates du 19e siècle (1824, 1842, 1864) sont gravées sur les linteaux ou à la clef des portails donnant accès à la cour. C'est là que les habitants choisissent de construire une nouvelle église en 1808, l'ancienne s'étant écroulée. La même année, deux habitants demandent l'autorisation d'ouvrir de nouvelles portes dans l'enceinte. Le cadastre de 1835 montre encore un tissu urbain assez dense intra-muros. En 1838, il est décidé de transférer hors les murs le cimetière, cause d'insalubrité. La question des écoles fut préoccupante durant tout le dernier quart du 19e siècle. Dans le haut du village, une école congréganiste pour les filles était tenue par une soeur du Saint-Nom-de-Jésus, tandis que l'école de garçons était établie dans la maison commune. Après plusieurs projets, un vaste terrain est acheté en 1893 au carrefour sud-est du village, à 100 m de l'église, pour construire une nouvelle école mixte ; à cette occasion, on rectifie et élargit le chemin vicinal entre les deux édifices. En bordure du chemin se trouvait un commerce (maison Dubourg) créé en 1889 : épicerie, café, bureau de tabac. A l'est, sur la place du puits communal, près duquel fut érigée une croix en 1843, une magnanerie et un atelier de cartonnage (Girard) procuraient une activité artisanale aux villageois. Entre 1906 et 1913, la municipalité fait aménager le réseau hydraulique de la commune : une fontaine abreuvoir est élevée en face de l'église, un lavoir derrière l'école (qui sert également de mairie), quatre bornes-fontaines dans le village, ainsi que deux pompes. Des commerces, tous disparus aujourd'hui, s'étaient établis dans le quartier sud-ouest : boulangerie et café dans la même maison (jusque vers 1918), un boucher, un coiffeur, deux épiceries, puis, entre les deux guerres, une conserverie de tomates de l'autre côté de la route. Après la seconde Guerre Mondiale, des cabines téléphoniques sont installées dans le commerce Dubourg. A la fin des années 1990, une nouvelle école primaire mixte est édifiée derrière l'ancienne, qui est aujourd'hui entièrement occupée par la mairie. Le lavoir a été démoli.