Le terrain faisait autrefois partie du clos de la Visitation. François Joseph Boillod l'achète le 29 juille 1861 et y fait construire l'immeuble.
Le 16 mars 1863, il vend à Pierre Marie Audibert, chef d’atelier, la partie ouest de l'immeuble,, composée de caves voûtées, rez-de-chaussée ayant quatre ouvertures sur la nouvelle rue et quatre étages ayant chacun quatre fenêtres, avec un ensemble de petites cours au nord pour 17000F (4 Q 5 / 5323).