A cet emplacement, Gabriel Rosset et ses compagnons de la première heure fondent en 1950 l'association Le Foyer Notre-Dame des sans-abri, destinée à l'accueil d'urgence des hommes sans domicile. Le site, précédemment occupé par les Sœurs du Prado, comprend un café-comptoir désaffecté appelé "Au monde nouveau". L'édifice est construit en 3 campagnes successives dirigées par Albert Cohendet, administrateur-architecte de l'association. L'entreprise de maçonnerie et béton armé Pitance conduit les travaux en offrant un rabais de 35 %. D'abord asile de nuit, puis Centre d'hébergement et d'orientation (CHO), l'établissement devient Centre Gabriel-Rosset après le décès du fondateur (1974).

Un immeuble de deux étages est d'abord construit en 1953, à l'angle de la rue Sébastien-Gryphe. Inauguré le jour de Noël, il offre 140 lits répartis dans deux dortoirs, ainsi qu'un réfectoire et des douches. Le bâtiment central, 3 rue du Père-Chevrier, est construit en 1957-1959. L'aile nouvelle est consacrée à un centre d'hébergement pour les familles, dénommé Hôtel familial ; alors que l'aile est demeure organisée en grands dortoirs superposés. C'est à ce moment que l'ensemble, porté à quatre étages, prend sa physionomie actuelle. Enfin, le bâtiment ouest, rue Cluzan, est construit en 1963-1965 avec exhaussement et reconfiguration des immeubles préexistants.

L'ensemble est modernisé à la fin des années 1990 (transformation des dortoirs en cabines), et agrandi par la construction du hall d'accueil sur l'emplacement d'un tronçon de voie publique déclassé (extrémité de la rue du Père-Chevrier). La fresque peinte sur le mur de clôture date probablement de cette campagne.