La dispersion du mobilier du château, amorcée par celle de la bibliothèque (dès la fin de 17e siècle ?), s'est poursuivie après l'extinction de la famille d'Urfé, en particulier lors de deux ventes aux enchères au 18e siècle (1764 et 1794). C'est à l'avocat-banquier Verdolin, qui achète le château en 1872, que l'on doit la disparition des décors : ses affaires périclitant, il s'associe à l'antiquaire Derriaz, de Lyon, pour vendre tous les éléments qui peuvent être détachés des maçonneries. Derriaz en revend une partie lui-même, et le reste par l'intermédiaire de l'amateur parisien Peyre qui le met en contact avec le collectionneur-antiquaire Beurdeley et avec son propre neveu, Emile Peyre, qui fit reconstituer chez lui, dans son hôtel du 126 avenue Malakoff, une partie de la chapelle de la Bastie. La dispersion de cet ensemble unique provoqua bien sûr une vive émotion dans le milieu des érudits locaux, et en particulier à la Diana, société historique et archéologique du Forez. Celle-ci ne put racheter le château qu'en 1909. Depuis lors une partie des éléments du décor ont pu être retrouvés et certains remis en place. C'est en particulier à Marius Delomier, président du comite de la Bastie à la Diana, et à Jacques Dupont, inspecteur général des Monuments Historiques, que l'on doit le retour à la Bastie d'éléments majeurs du décor dispersé, depuis la fin des années 1940 et jusqu'aux années 1960, grâce aux dépôts consentis par les musées de France ou aux achats réalisés grâce aux subventions de l'Etat. Cette politique a été continuée par leurs successeurs avec l'aide grandissante du Conseil général de la Loire, qui administre maintenant le château.