Le commanditaire de cet hôtel particulier et de son jardin est Jean-Baptiste d’Allard, un riche montbrisonnais (Ferret F., Un gentilhomme forézien...). Né à Montbrison en 1769 (voir dossier sur sa maison natale), il est le fils de Jean Jacques d’Allard, capitaine au régiment de Ponthieu, seigneur de la Pierre et Chazelles-sur-Lavieu, et de Marie Benoîte Courtin de Rilly, tous deux issus de familles fortunées du Forez. Lieutenant du régiment d’Orléans-Dragons en 1788, il participe au siège de Lyon en 1793, du côté des défenseurs. Il s’échappe lors de la défaite mais il est finalement arrêté et condamné à mort. Cependant, il parvient à fuir et à se cacher.
De retour à Montbrison, où sa fortune et ses biens n’ont apparemment pas été confisqués, il commence en 1810 à acheter des terres. Il profite notamment de l'ouverture de la ville avec la disparition des remparts. La même année commence la construction de son hôtel particulier (corps central ?). Il emménage en 1812, mais les travaux se poursuivent jusqu’en 1816. Il aurait employé pour le chantier de construction des prisonniers espagnols des guerres napoléoniennes. En 1818 et 1828, il agrandit son domaine avec l’achat d’autres terres : il possède alors un domaine de 3 ha.
Il se marie avec Pierrette Marie Colombe à une date inconnue.
Jean-Baptiste d’Allard se lance, à partir d'un cabinet de curiosité hérité d'un parent, dans la collection d’objets divers. Grâce à ses nombreux contacts à travers la France et l’Europe, il obtient une importante collection de minéraux, métaux, fossiles, végétaux, bois, animaux et insectes naturalisés, d’œufs, de coquilles, mais aussi de médailles et monnaies. Il engage même un conservateur pour la gérer.
Sa femme étant morte avant lui, et n’ayant pas de descendance, il lègue à sa mort, le 17 novembre 1848, ses biens immeubles à son cousin Ludovic de Neufbourg, et sa collection à la Ville de Montbrison. En 1853, celle-ci rachète l'hôtel et le jardin, qui devient public en 1857 (la date est visible sur la grille d’entrée du côté de l'avenue d'Allard). Cependant, la ville doit attendre 1880 pour avoir pleinement la possession de l’hôtel, car J.-B. d'Allard dans son testament a pris des dispositions en faveur de sa domestique (Marie Perret) pour qu'elle puisse disposer des lieux. C'est elle qui ouvre au public l'accès aux collections. A la mort de l'ancienne domestique, la ville entreprend des travaux (construction des ailes ?), loue une partie du bâtiment, y installe une école et créé un logement pour le président des Assises.
Des photos du début du XXe siècle témoignent de l'exposition des collections dans des salles situées dans les combles ; au milieu du XXe siècle elles occupent aussi une partie du premier étage. Ces photos montrent également que la cour du bâtiment était fermée par une grille et un portail.
Dans les années 1970, le conservateur Daniel Pouget entreprend des travaux pour installer le musée, ses réserves et annexes dans la quasi totalité du bâtiment. Il détruit en grande partie les aménagements intérieurs de l'édifice datant de l'époque de J.-B. d'Allard. Aujourd'hui, seul le corps central du bâtiment est accessible au public.
2015 : stagiaire Master 2 Lyon III CEROR (4 mois), mise en forme de dossiers sur la ville de Montbrison [responsable : Caroline Guibaud]
2016 : vacataire INHA cellule vitrail (3 mois), mise en ligne sur patrimoine.rhonealpes.fr des dossiers de l'opération Vitrail ancien [suivi : Caroline Guibaud]