Cette ancienne tour des prisons située sur la "place du vieux château" présente un plan carré avec contreforts diagonaux. Les murs, surélevés postérieurement, sont en moellons de granite et basalte ; l'élévation nord est partiellement enduite. La toiture en pavillon, couverte de tuiles creuses mécaniques a été refaite, trois lucarnes passantes y ont été incluses. L'élévation principale sur la rue des Visitandines est à quatre niveaux : l'unique travée latérale se compose d'une porte piétonne au 1er niveau, d'une fenêtre à meneau en cavet au 2e niveau, d'une fenêtre à croisée en cavet au 3e niveau, enfin au 4e niveau d'une lucarne passante. L'élévation latérale gauche, avec lucarne passante dans la toiture, montre un mur aveugle, tandis que l'élévation latérale droite, à quatre niveaux, conserve une porte-fenêtre à linteau et piédroits en cavet au 3e niveau ainsi qu'une lucarne passante dans le toit. L'élévation postérieure, accessible par le jardin, est à trois niveaux. Ses ouvertures dissymétriques montrent au 1er niveau une porte piétonne latérale à linteau avec piédroits en cavet et une fenêtre rectangulaire ménagée postérieurement. Un escalier de distribution extérieur, perpendiculaire à l'élévation, conduit au 2e niveau qui comprend : une porte piétonne très remaniée et une porte-fenêtre à encadrement en cavet et linteau à soffite surélevé (19e siècle ?) ouvrant sur l'ancienne galerie extérieure, dont un élément en bois noyé dans la maçonnerie est un dernier témoin. Les vestiges de la courtine médiévale, qui se raccordent à la tour du côté de l'élévation nord, sont aussi en moellons de granite et basalte. Cette courtine, percée d'une fenêtre à croisée, servit de fondation au mur de façade nord de la chambre des Comptes. Enfin, le mur de clôture qui délimite la parcelle est en pisé dans sa partie haute ; la porte d'accès est surmontée d'une pierre aux armoiries bûchées. La tour des Prisons comprend une pièce par étage. L'étage de soubassement voûté en berceau est percé pour permettre un accès direct vers l'étage supérieur. Le rez-de-chaussée surélevé conserve une fenêtre à meneau et une cheminée engagée. L'étage contient, outre une fenêtre à croisées avec coussièges, une cheminée engagée à manteau mouluré composé d'un linteau à crossettes et angles adoucis sur piédroits à colonnettes et bases prismatiques. La porte d'accès à la galerie présente dans l'ébrasement intérieur un décor peint de fleurs de lys.