On se situait dans la ville intra muros en 1824.Ce bâtiment n'était pas construit à cette date là. Sur le cadastre napoléonien, il occupait une partie de la parcelle n°41 de la section H. Donnant sur la Gère, il était probablement le jardin de la demeure bâtie à côté, sur la même parcelle (l'actuel 36-38 place Saint Louis).Dans une permission de voirie de 1861, on voit que cette portion de parcelle était alors construite. Le bâtiment qui s'y élevait était plus réduit. Un passage piéton amenait jusqu'à la rivière. On y apprend aussi qu'il s´agissait de l´ancienne maison de Vaganay Philibert et Dufieux André. En 1861, ils ont fait prolonger le mur de façade sur la Gère jusqu´au mur de séparation d'avec la construction à l'est. C´est à cette époque que l'édifice acquière sa forme actuelle. En 1875, l'immeuble est encore la propriété de Vaganay et Dufieux. A côté se situait le moulin dit Chenu. Dans les matrices cadastrales, sous le numéro de parcelle 42 de la section H, on apprend que le lieu était occupé par une fabrique de laine appartenant à la veuve Boucher Jean Louis et qu´en 1838, ladite fabrique a été transmise à Marc Antoine Charreton, négociant. En 1854, Bernard Chenu devient propriétaire du terrain et fait construire, selon la permission de voirie de 1855, un nouveau local pour son atelier. Il y établit un pressoir à huile. Une roue hydraulique prenait son eau dans l'embouchure ouest du canal du Gauchon. Avec la création du viaduc du chemin de fer en 1856, cette fabrique est détruite et il ne reste que les bâtiments du pressoir à huile juste à côté de la maison Vaganay. En 1963, la Gère est couverte et la voie express passe juste devant la maison Vaganay et Dufieux et devant le pressoir à huile. La roue hydraulique de ce dernier est supprimée et en 1978, il devient propriété de la ville. Depuis, il a été en partie détruit. Seul le rez de chaussée subsiste.