L'immeuble a surement été construit entre 1815 et 1827.
Le cadastre napoléonien de 1827 permet de d'affirmer que l'immeuble est déjà construit en 1827. Hypolite Rave est alors propriétaire de la parcelle bâtie n°50 à l'angle de la rue des Fossés (aujourd'hui rue d'Austerlitz) et de la rue du Pavillon, qui a ensuite porté le n°1 rue du Pavillon. M. Dupont de la Thuilerie quant à lui est propriétaire de la parcelle bâtie n°51.
En 1991, un permis de construire administratif autorise la transformation d'une cave en bar orchestre au n°1 rue du Pavillon.
Aujourd'hui les n°1 et 3 qui partagent la même entrée ont fusionné et il n'existe plus que le n°3.
L'immeuble accueille aujourd'hui des commerces au rez-de-chaussée tandis que les étages sont occupés par des logements.