L'origine de cette propriété provient d'un rassemblement de plusieurs parcelles faites par Jean Thoynet dans le 1er quart du 18e siècle. Un plan anonyme de 1726 reconstitue ces dix acqusitions tels en 1708 celle de la veuve de Pierre Thoynet qui donne à Jean "le jardin situé au quartier du château de Montbrison joignant d'orient la muraille de la ville", ou encore en 1718 celle de Pierre de Pierrefeu qui vend un petit bâtiment et une cave au dénommé Jean Thoynet (Annexe 1). En 1727, Henri Joseph Thoynet de Bigny, contrôleur en l'élection de Forez, emploie Pierre Charle, maçon, et Jacques Dubois, tailleur de pierre, pour des travaux réalisés sur la muraille et pour un escalier exécuté "au devant de sa maison du château". En 1763, ce dernier fait de nouveau réparer les "murs de la ville qui sont le long de son jardin au château" (Annexe 2). Le 5 décembre 1799, Jacques Thoynet vend "au citoyen Lanoérie (...) un bâtiment et maison consistant en cave, sellier au dessus, écurie et grenier au dessus" situé au château (Annexe 3). En 1809, le cadastre mentionne les parcelles E 7, 8 et 9, comme un bien appartenant à Gaspard Irénée de la Noérie, comprenant maison, remise et jardin. Un dessin du début du 19e siècle, représente la demeure de M. de la Noérie surplombant les fortifications urbaines, avec un corps central flanqué de deux ailes latérales d'une seule travée. Le détail d'un tableau figurant saint Aubrin, probablement peint après le réaménagement de la chapelle Saint-Aubrin à la collégiale, montre l'hôtel agrandi : les extrémités de la bâtisse comptent désormais quatre travées au lieu d'une seule. D'ailleurs les matrices cadastrales indiquent une augmentation de construction en 1869 ; l'édifice compte désormais 86 ouvertures. Parmi les garde-corps anciens encore visibles, deux situés sur le corps central, sont de la fin du 18e ou début 19e siècle, les autres, au nombre de 17, sont du 3e quart du 19e siècle. Le domaine passe à la famille Gémier des Périchons lorsque Françoise-Marie-Louise de la Noérie épouse, en 1871, Jean-Louis-Emmanuel. La propriété des Périchons est acquise en 1952 par le diocèse pour servir d'annexe au collège privé Victor de Laprade. La demeure (parcelle E 9, nord) est utilisée en salles de classes et dortoirs (avec mise en sécurité des lieux par la création d'escaliers de secours), tandis que les dépendances (parcelle E 9, sud) sont démolies en 1954 ; sur cet emplacement sont édifiées des salles de cours et une salle de spectacles. La remise agricole de jardin (parcelle E 7), à l'entrée de la propriété, est aujourd'hui partiellement murée ; à proximité, un bassin d'ornement et un puits sont aménagés dans le jardin d'agrément en terre-plein soutenu par les fortifications d'agglomération (parcelle E 8). Dans le soubassement du mur de clôture qui longe la rue Saint-Aubrin, subsiste un passage voûté en berceau conduisant vers une entrée de cave haute, vestige d'une habitation datable du 17e siècle.