Le château des Peynots a sans doute été édifié au milieu du 18e siècle, pour la famille Thoynet de Bigny ; selon Louis Bernard (AD Loire), Pierre Thoynet de Bigny, secrétaire de la Ville de Montbrison, aurait acheté la terre des Peynots au marquis de Luzy-Pélissac, seigneur de Chalain, et son fils Etienne y aurait fait construire le château (selon Salomon, le domaine aurait été apporté à Etienne Thoynet par son mariage en 1727 avec Marie-Christine Terray, soeur de l'abbé Terray, né dans la Loire à Boën, contrôleur général des finances de Louis XV de 1771 à 1774). En 1805, le domaine est acquis par Jacques Jean Marie de la Plagne, demeurant à Montbrison (par échange avec Marcellin Rullière, propriétaire à Saint-Didier-en-Velay, qui avait acheté les Peynots aux Thoynet quelques mois plus tôt). Il comprend alors une "maison de maître ou château des Peynots" et trois domaines attenants, les domaine du château, des Bornes et des Ronzières, ainsi que les étangs Bayard et Perrin (Gerest). La matrice cadastrale de 1812 indique que dès cette date, la ferme de Vizelles a rejoint le domaine. En 1900, au décès de Théobald Roux de la Plagne, ses propriétés représentent 475 ha dans la commune de Saint-Paul-d'Uzore : le château et son parc, six domaines et une dizaines d'étangs couvrant 120 ha (sa succession est estimée à plus d'un million de francs or ; Gerest). Une partie des biens immobiliers est partagée entre ses quatre enfants, une partie reste indivise (surtout les étangs). Le registre des augmentations cadastrales (AC) mentionne une mutation de propriété en 1903 : le domaine des Peynots est décrit comme "château, maison au jardinier et fermier, maison du fermier, écurie et remise, chapelle, maison bibliothèque (s'agit-il de l'édicule qui fait pendant à la chapelle au sud ?)", et les fermes de Vizelles, les Ronzières et Grange Neuve lui sont jointes. Dès la génération suivante, le domaine dans son extension de la fin du 19e siècle est réuni par un seul héritier, et s'est conservé jusqu'au 21e siècle. Le château a sans doute été très remanié par la famille Roux de la Plagne, peut-être en 1861, date d'une phase de démolition et construction sur la parcelle B 55 indiquée par le registre des augmentations cadastrales. Les modifications, en plus du traitement des abords (allées plantées, communs, jardin) ont sans doute porté sur des agrandissements (pavillons latéraux ; le plan-masse en 1809 montre un édifice de plan rectangulaire avec une petite extension au sud), la réfection des ouvertures et des toitures, la mise en place d'un décor en ciment moulé. Le pavillon de la chapelle, avec ses ouvertures en arc segmentaire, son enduit d'imitation et son toit en tuile creuse, témoigne de l'allure du château avant transformation.