La construction du cloître et du réfectoire n'est pas documentée, mais ils servent de points de référence pour les prix-faits de 1650 et 1663. Ces bâtiments établis sur un étage de soubassement voûté semblent être les parties les plus anciennes du couvent, construites pour partie avant 1650et seulement agrandies ou rehaussées par la suite. Le grand bâtiment conventuel nord "prenant depuis la porte joignant l’église des carmes déchaussés, abboutissant à la muraille séparant l’une des allées de leur cloître d’avec leur sacristie et prenant veüe sur le panchant de la rivière de Saone du coté de bize" est construit en 1650-1651 par les frères Pierre, Françoys et Sébastien Baillond, maîtres-maçons et par Jean Allemand, maître charpentier. Cette campagne comprend le prolongement vers l'est et la surélévation des deux galeries nord du cloître pour établir un grand dortoir de dix-huit cellules sur l'ensemble du premier étage. La grande façade sur la Saône était percée de quinze croisées en pierre de Cheissy, fournies par Aymard Jangot, maître-tailleur de pierres à Cheissy-en-Lionnois. Le bâtiment comprenait initialement les services de la porterie (allée de la porterie et parloir ; chambre du portier sur deux niveaux reliés par un escalier en vis de réemploi ; deux chambres de pèlerins), une sacristie et une arrière-sacristie accolées à l'église ; et une grande salle servant vraisemblablement de salle capitulaire. Au 18e siècle, André Clapasson décrit "l'enfilade du rez-de-chaussée, en entrant, qui fait un assez bel effet", comme le principal point d'intérêt du couvent, et affirme qu'"on a peint dans le fond une perspective qui représente la place Saint-Marc de Venise". En 1791, la galerie de la porterie était décorée de dix-huit portraits de moines peints. En 1803, un seul portrait subsiste, décrit comme "un portrait de religieux en médaillon peint à l'huile, inséré dans une décoration à la fresque" qui fait peut-être référence au paysage vénitien mentionné par Clapasson. La galerie est du cloître est surélevée de deux étages de couloirs desservant les paliers du grand escalier dans le troisième quart du 17e siècle. Elle accueille dans les étages supérieurs des espaces fonctionnels telle la roberie, aménagée en 1684 au deuxième étage. La galerie sud est surélevée de deux étages de dortoirs en 1684 par Claude Bonnet, maître maçon, et François Paquin, maître charpentier. L'aile du réfectoire se composait de deux pièces au rez-de-chaussée : un vestibule doté d'une fontaine en marbre appelé réfectoire des infirmes, ou plus tard infirmerie, et le réfectoire proprement dit. Un escalier demi hors-œuvre sur la façade ouest donnait accès à la chaire du lecteur. En 1730, le réfectoire est doté de boiseries par Claude Ray ou Rey, maître menuisier, qui assure en même temps le boisage de la grande chapelle de l'église (prix-fait du 20 octobre 1730), et orné de trois tableaux de Daniel Sarrabat, ainsi que d'un Saint Jérôme peint par Joseph Ribera, actuellement conservé au Musée des beaux-arts de Lyon. Ces boiseries sont décrites en 1791 comme "un assemblage de menuiserie en bois de noyer, composé pareillement de pilastres, panneaux, sièges et corniches. Elle porte y compris la porte d’entrée et celle de la chaire du lecteur en longueur ou pieds courants 126 pieds sur 5 pieds de hauteur sans le plafond." Elles sont encore mentionnées dans le descriptif lié à la vente des bâtiments en 1904 qui décrit le réfectoire comme une "grande salle à manger au plafond à voussures Louis XV ". Dans les niveaux supérieurs, le bâtiment s'étendait au-dessus de la galerie ouest du cloître et formait un vaste espace qui était en 1791 cloisonné en 4 appartements au premier étage, en 12 cellules de convers au deuxième étage.

Le bâtiment nord est probablement celui qui a connu les plus importantes modifications au 19e siècle, en raison de ses changements d'affectation fréquents. En 1803, à la sortie de la Révolution, le grand dortoir du premier étage est entièrement décloisonné et transformé en une immense salle de dix-huit travées. Dans le cadre du projet de création d'un dépôt de mendicité, Forobert propose d'y installer 88 lits. A partir de 1860, l'aile nord est réaménagée par Pierre-Marie Bossan pour y installer le noviciat des carmes restaurés, mais le détail de ces travaux n'est pas connu. Les salles de travail et d'études sont apparemment situées au rez-de-chaussée, les dortoirs à l'étage. Cette disposition favorise la transformation de l'aile nord en pensionnat après l'expulsion de la congrégation, entre 1882 et 1904. En 1904, le rez-de-chaussée est aménagé en une "longue galerie d’appartements, vestibule, loges de concierges, antichambres, salon, salle d’études, bureau, chambre à coucher, salle à manger en ligne droite, communiquant tous de l’un à l’autre par des portes" ; on trouve à l'étage "un long corridor autour duquel sont d'anciennes cellules servant aujourd'hui de chambres aux élèves". Avant 1875, le mur de refend séparant la galerie nord du cloître et le couloir parallèle est démoli pour créer une vaste salle donnant sur le cloître par un mur percé de fenêtres à l'emplacement des anciennes arcades. Lorsque le couvent est transformé en établissement scolaire, cet espace est ouvert sur la cour du cloître couverte d'une verrière et sert de gymnase, mi-partie couvert, mi-partie vitré. Au sud, des installations de chauffage (calorifères et gaines) sont installées dans la galerie parallèle dite "dépense".

En 1907-1911, lorsque le couvent est transformé en archives départementales par l'architecte départemental Louis Rogniat, l'ensemble des bâtiments conventuels est converti en magasins d'archives : "grand dépôt" dans l'aile nord, "petit dépôt" dans l'aile sud et "dépôt au couchant" dans l'aile du réfectoire. Tous les niveaux et cloisons intérieurs sont supprimés afin de créer des plateaux continus entièrement occupés par des rayonnages. Les murs de façade nord (grande façade sur Saône) et ouest (aile du réfectoire) doivent être reconstruits depuis les fondations. L'aile nord est agrandie vers le sud d'un vaisseau supplémentaire grossièrement parallèle, construit sur l'espace des chapelles latérales de l'église. Le bâtiment est légèrement exhaussé pour la création du comble à surcroît ; les façades et les charpentes sont entièrement remplacées. Le grand dépôt est doté d'une structure intérieure composée de rayonnages métalliques autoporteurs, dans laquelle les planchers en caillebotis métalliques sont solidaires des poteaux soutenant les rayonnages. La verrière du cloître est remplacée (par M. Tarcens, adjudicataire du lot serrurerie) et l'espace intérieur du cloître recouvert d'un dallage en béton sert de salle de classement. Les voûtes de la galerie en soubassement côté nord, supportant plusieurs étages de magasins et jugées mal construites, doivent être reconstruites solidairement au plancher métallique du rez-de-chaussée. En 1929, la verrière défectueuse est remplacée par une couverture en verre "éclipse" commandée à M. Charpentier, 11bis passage Saint-Sébastien à Paris. L'aménagement intérieur de l'aile du réfectoire est ajourné faute de crédits : le bâtiment est simplement évidé et couvert d'une charpente entièrement métallique, sa façade ouest reconstruite est consolidée par des contreforts intérieurs en pierre de taille. L'escalier à quatre noyaux est également restauré sur toute sa hauteur, et sa toiture est remplacée par un ciel ouvert vitré. En 1927, Louis Rogniat dirige l'aménagement de deux salles du rez-de-chaussée. Puis les étages supérieurs sont aménagés en 1937-1939 par Pierre Verrier, architecte départemental, qui crée une armature métallique à laquelle s'accrochent les dalles en ciment armé formant les planchers des quatre niveaux, et les supports des rayonnages en métal. L'ensemble de l'armature métallique repose sur le plafond du rez-de-chaussée et la voûte de l'étage de soubassement qui doivent être renforcés par une armature métallique. En 1977, des travaux de revalorisation du bâti ancien sont entrepris : le cloître est rétabli dans ses dispositions initiales, à l'exception de la galerie nord où le tracé des arcades est simplement simulé par des fenêtres dans l'enduit. Les arcades sont vitrées et le cloître aménagé en jardin intérieur doté en son centre d'un bassin quadrilobé.