Une communauté de visitandines s'installe en 1620 et fonde, en 1621, un couvent situé rue de Lyon (actuelle rue Elise-Gervais). A la Révolution française, Louis Thiollière achète comme biens nationaux les bâtiments conventuels et les transforme en dépôt de charbon. La paroisse Sainte-Marie est créée en 1805 avec pour église l'oratoire de l'hôtel-Dieu. La municipalité achète en 1807 les bâtiments de l'ancien couvent de la Visitation, et demande à l'architecte-voyer Pierre-Antoine Dalgabio de restaurer la chapelle rendue au culte en 1808 qui prend le nom d'église Sainte-Marie. Agrandie en 1825 par Jean-Michel Dalgabio, architecte-voyer, sur les bases de la chapelle primitive, l'église a absorbé l'ancien couvent. Etienne Boisson, architecte de la ville, conduit des travaux d'agrandissement et d'embellissement de l'intérieur (peintures murales) et reconstruit la façade de 1859 à 1861. Les bâtiments conventuels sont convertis en presbytère et une partie du cloître se retrouve incluse dans la sacristie et au fond de l'abside principale.