Une première enceinte disparue, datable sous réserves d'après le contexte historique du milieu du 12e siècle, est lisible dans le parcellaire du bourg à l'ouest, au sud et à l'est et dans quelques rares vestiges en élévation, notamment au sud-ouest un tronçon de courtine sur un cliché ancien, une tour et l'indice d'une porte de ville. L'enceinte visible aujourd'hui est construite dans la seconde moitié du 13e siècle. Elle intègre le bailliage au nord, probablement construit entre 1257 et 1283, la porte de ville dite du Tricot au nord-ouest, bâtie au 13e siècle, et se rapproche du site castral à l'est pour constituer sa défense avancée. Des réparations et modifications mal identifiées sont mentionnées en 1357, 1362, 1400 environ, 1488, 1525, 1536. Deux réparations sont datées par des inscriptions : 1573 sud-ouest, 1748 au sud-est. En 1723 et 1774 on modifie son tracé et son élévation près de la porte du Tricot, secteur qui s'effondre en 1857 puis à nouveau en 1989. Un secteur de la courtine est supprimé au sud à une date incertaine pour constituer la place aux Herbes. L'enceinte comportait des tours rondes et quelques tours carrées dont le nombre total n'est pas établi : sur une quinzaine attestées ou probables seules huit sont plus ou moins bien conservées, correspondant à divers états de l'enceinte. Sept portes sont mentionnées à la fin du 18e siècle. La porte Saint-Jean ou de la Font est remaniée au 15e siècle. La porte du Tricot est surélevée au 14e siècle, équipée d'une horloge en 1579 et d'un campanile en 1600. La porte du Jeu de ballon est détruite en 1833. Le petit faubourg au nord-ouest du village semble se développer à partir du 15e siècle ou au début du 16e siècle et devait posséder une enceinte entièrement disparue dont la porte dite du petit faubourg est connue par les textes. Le grand faubourg, bâti de toutes pièces pour Louis Adhémar dans les années 1540-1550 est entouré d'un mur en 1596 dont la tour d'angle et l'extrémité ouest du tracé sont partiellement conservés.