En 1835, Jovin-Bouchard, ancien entrepreneur de la Manufacture Royale d'Armes, lègue à la ville de Saint-Etienne 550 000 francs, somme soumise à plusieurs conditions dont celle d'édifier un hôtel de sous-préfecture avec 100 000 francs. Après avoir enfin trouvé une solution pour accepter ce legs sans trop s'endetter, la municipalité charge Etienne Boisson, architecte-voyer de Saint-Etienne, d'établir dès 1842 un projet de sous-préfecture dans les terrains de l'ancienne carrière de pierre Arnaud qu'elle envisage d'acquérir. Le conseil municipal approuve par délibérations successives en 1842, puis définitivement en juillet 1844, l'élévation et les plans de cet édifice aux toits en pavillon et à la façade polychrome alternant briques et pierre calcaire. Après adoption des plans au Conseil des bâtiments civils en 1846, débutent alors la construction et les aménagements des abords destinés à mettre ce bâtiment en valeur. Des difficultés apparaissent et en 1851, l'affaissement de l'aile nord interrompt le chantier. Les exécuteurs testamentaires du legs Jovin assignent la ville en procès pour non-respect des clauses du legs. Entre-temps, en 1855, la ville arrache le siège de la préfecture à la ville de Montbrison (en Forez), ce qui rend inutile l'achèvement de cet hôtel de sous-préfecture, impossible à transformer en préfecture. L'aile nord est reprise au niveau du rez-de-chaussée et la ville décide de transformer le projet de Boisson en musée dit Palais des Arts et bibliothèque publique. L'architecte parisien Desbuissons reprend le chantier en 1859 et conserve le perron d'accès et le soubassement en pierre appareillée en table. Les collections d'armes du maréchal Oudinot et celles d'histoire naturelle sont installées en 1860. En 1889, Marius Vachon réorganise le musée en musée d'Art et d'Industrie afin de doter la ville d'un véritable centre de ressources pour les industries traditionnelles que sont l'arme et le ruban. En 1947, les collections de peintures sont accueillies au musée, ce qui nécessite une surélévation réalisée par l'architecte Jean Farat en 1950. La bibliothèque est transférée en 1959.