Le noyau fortifié du Pègue constitue le coeur du village dont il occupe la partie nord-est. De forme pentagonale, il est dominé par le château isolé à l'est, perché au sommet du rocher, au bord de l'à-pic. La courtine qui s'y attache fait un angle droit à l'est pour repartir en direction du sud vers l'église ; du côté nord, où elle a pratiquement disparu, elle fait retour en angle obtus vers l'ouest, suivant une terrasse qui surplombe le ruisseau du Donjon. Le quatrième côté de l'enceinte, le plus long, ferme au sud-ouest la partie basse du bourg. Sur ce grand côté sont placées à égale distance, aux angles ouest, sud-ouest, et sud-est, trois des quatre tours demi-circulaires qui jalonnent la fortification. Les murs, en moellon de calcaire, ont sans doute été remontés en grande partie sur le tracé de l'enceinte ; un empattement taluté ou un fruit à la base épaule les pans de courtine placés aux endroits les plus abrupts. Les tours, également construites en moellon, sont intégrées dans des maisons qui utilisent la courtine comme façade. Celles marquant les angles ouest et sud-est comportent au dernier niveau, sous la génoise, un pigeonnier monolithe à plusieurs boulins en demi-cercle. La première se situe montée de la Viale, ruelle dans laquelle une porte en arc surbaissé (la seule subsistante), d'une profondeur d'un à 2 mètres, est ménagée dans la courtine ; l'arc et le piédroit de gauche sont chanfreinés, sa partie supérieure est arasée et son côté intérieur présente une petite arrière-voussure en arc légèrement brisé. Une autre tour est placée sur l'angle obtus que forme, au centre, le côté sud-ouest de l'enceinte ; fortement remaniée et repercée de fenêtres au dernier niveau, elle conserve, au-dessus de son 1er et de son 2e niveaux, deux meurtrières horizontales au même aplomb, taillées dans un bloc de molasse. La 3e tour sur l'angle sud-est, borne la brisure de courtine bifurquant en angle droit vers l'est. Ce dernier côté de l'enceinte remonte en pente raide jusqu'à l'église. Avant celle-ci et reliée à elle par un passage couvert peu profond, la 4e tour, dite tour de l'Horloge, s'élève au-dessus des toits ; son plan s'approche du fer à cheval, et son toit à un seul versant est surmonté d'une girouette. La chambre de la cloche est accessible par la face plane de l'arrière. Cette tour est munie elle aussi de deux meurtrières monolithes ; l'une est placée contre l'angle interne, à 3 m de haut environ, l'autre, une canonnière, se trouve aujourd'hui au ras du sol, le niveau de la chaussée ayant monté au fil du temps. Sauf sa partie supérieure, l'intérieur de la tour est vide. Le chevet hémicirculaire (aujourd'hui sacristie) de l'église, puis l'église elle-même, s'intercalent entre cette dernière tour et le château.