Cet édifice était contemporain de la collégiale Notre-Dame construite au début du XVIe siècle ; il abritait le logement du doyen ou de son prieur. Sur la mappe sarde de 1728, il est mentionné comme appartenant à la cure. Saisi comme bien national à la Révolution, il échut à la municipalité qui l'affecta de nouveau au presbytère lors de la restauration du culte. Sa remise en état fut alors confiée, en 1819, à François Joseph Montjean, maçon, sous la direction de l´architecte de la ville de Chambéry, Paul Trivelly. Vers 1853, l'agrandissement du bâtiment par l'exhaussement d'un étage, permit l'aménagement d'un logement supplémentaire de cinq chambres et de quelques cabinets et, en 1878, une marquise fut placée au-dessus de la porte d'entrée. Au début du XXe siècle, la municipalité décida de détruire le presbytère pour l´aménagement du Square du Temple de Diane. Après de longues transactions avec le conseil de Fabrique, un accord fut conclu en 1906 et le bâtiment démoli en 1909.