Le terrain faisait autrefois partie du clos de la Visitation.
L'immeuble semble avoir été construit en partie par les dames de la Visitation et en partie par François Fournier entre 1861 et 1866.
En effet, le 16 février 1866, Les dames vendent à Étienne et Jean Baptiste Malleval, jardiniers, une maison portant le numéro 14 rue de la Visitation composée de caves voûtées, rez-de-chaussée, quatre étages et greniers et percée de trois ouvertures à chaque niveau sur la rue de la Visitation (4 Q 5 / 5381). Mais elle avaient déjà vendu une partie du terrain à François Fournier, tisseur, le 15 juin 1861 (4 Q 5 / 5926), lequel a fait construire un immeuble. Il vend d'ailleurs le premier étage à Jean François Marie Chapuis, tisseur également, le 12 février 1873.