En 1493, Jean Turry possède une grande maison neuve avec grange et jardin. En 1585, un puits est mentionné. En janvier 1625, Claude Chervin dit Rivière, marchand chapelier, a l'autorisation de bâtir rue Ferrandière. Le 17 janvier 1684, il est précisé qu’Étienne Chervin dit Rivière, capitaine enseigne du quartier de la Ferrandière, possède un tènement formée d'une maison haute, moyenne et basse de 35 pas de largeur sur 25 de profondeur. Le 23 mars 1700, Mathieu Delafont le jeune, ex consul, obtient la permission de surélever sa maison rue Ferrandière. Les deux parcelles, ouest et est, sont réunies du milieu du XVIIe siècle jusqu'en 1775. L'enseigne Saint-Charles est attestée en 1780 probablement posée par le nouveau propriétaire Jean Jacques Charles. Le rôle de la contribution des patentes pour 1814 recense Maignand épicier revendeur, Jean Ballard gargotier, Brillon Dupré fabricants de crochets, Claude Mion menuisier à façon, Antoine Blondet plieur de soye à façon, et Jacques Morel doreur sur bois (l'immeuble est alors au n° 12 de la rue). La façade, démolie en 1849, est reconstruite en 1851.
Au milieu du XIXe siècle, le bâtiment sur rue est composé au rez-de-chaussée d'une pièce sur rue et trois sur cour, du premier au cinquième étage de deux chambres dont une sur rue tandis que le sixième étage compte une mansarde.