La datation précise de ces fortifications n´est pas connue. Certains historiens ont supposé un enfermement de la ville dès la fin de l´empire romain dans le but de se protéger des invasions germaniques du IVe siècle de notre ère, mais aucun texte, ni vestige, n´étaye cette proposition. Il est plus vraisemblable d'envisager une fortification urbaine médiévale. Celle-ci est représentée de manière un peu fantaisiste sur la gravure du Theatrum Sabaudiae, datée de 1674, qui indique un nombre total de 12 tours ou tourelles. Mais, le tracé de ces fortifications peut être reconstitué de manière plus précise grâce au plan cadastral sarde de 1728. Le rempart, flanqué de cinq ou six tours circulaires ou semi circulaires, s´ouvrait par 4 portes : la porte de Chambéry, au sud, la porte de Genève, au nord-ouest, la porte de Rumilly, au nord, et la porte de Mouxy, au sud-est. La porte de Chambéry fut démolie en 1861, celle de Genève, appelée aussi porte de Saint-Félix, située entre deux maisons à l´angle de la rue de Genève et de la rue Daquin, le fut en 1881 pour l´élargissement de la rue, celle de Rumilly, parfois appelée porte de Conchat et située approximativement au centre de l'actuelle rue Davat, juste après l´hôtel thermal, fut détruite avant le XVIIIe siècle et la porte de Mouxy, qui donnait accès au faubourg du même nom, au niveau de l'actuel rond-point, derrière les thermes nationaux, fut rasée à la fin du XIXe siècle. L'existence de trois tours est attestée : la première, appelée au XIXe siècle tour Ferroliet, flanquait la porte de Chambéry à l´ouest ; la seconde, semi-circulaire, étayait la partie de rempart qui longeait la rue du Casino actuelle ; elle fut démolie pour la construction de l´hôtel Métropole vers 1881 ; la troisième subsiste au nord, rue Daquin, où elle est adossée à l'ancienne maison-forte du Mollard. Une autre tour, représentée par un décroché sur la mappe sarde de 1728, semble avoir existé à l'emplacement des thermes, au sud-est. Situé à l'intérieur des fortifications, au sud, le château était protégé par deux tours : un donjon, démoli en 1873, qui était à l´emplacement de la descente du parking souterrain actuel et une seconde tour, appelée au XVIIIe siècle tour de la muraille, à l´angle sud-ouest.