Le bâtiment central du couvent des carmes déchaussés parait s'être élevé sur l'emplacement de la maison dite du Grand Thunes, antérieure au couvent, si l'on en juge par le dessin du plan scénographique de Simon Maupin en 1659 qui montre la nef de l'église construite dans le prolongement de la maison. Les Annales des carmes déchaussés de France de Louis de Sainte-Thérèse rapportent au sujet de cette maison que "dans les fenêtres du second étage, où on fit l’église, le chœur, l’oratoire et la sacristie, l’histoire de la Vierge et de saint Joseph était peinte aux vitres et que dans icelle il y avait deux personnages vêtus à la manière de nos religieux qui cheminent, vu que derrière leur capuce qu’ils avaient en tête, ils avaient un chapeau qui tombait derrière leurs épaules". La maison comptant au moins deux étages possédait deux escaliers en vis, dont l'un a été réemployé en 1650 pour desservir l'étage du logement du portier.

Le grand escalier droit rampe-sur-rampe ("le degré du cueur servant à laditte sale, cour et au cloistre pour monter aux dortoirs") est élevé au cours de la campagne de construction des bâtiments conventuels de l'aile nord en 1650-1651 par les frères Pierre, Françoys et Sébastien Baillond, maîtres-maçons et par Jean Allemand, maître-charpentier. Les portes, marches et plate-formes de l'escalier ainsi que le décor de pilastres des portes et du noyau, en pierre dure de Saint-Cyr, sont fournis par François Buy, tailleur de pierre de Saint-Didier et Saint-Cyr au Mont d'Or. Entre l'ancienne maison de Thunes et le corps de bâtiment neuf accueillant l'escalier, couvert d'un toit à quatre pans en tuiles creuses, vient s'intercaler un étroit corridor, couvert d'un plancher à la française sur deux niveaux ("une allée le long de la muraille du cœur de la largeur de quatre piedz dans œuvre et de longueur vingt cinq à vingt six pieds"). Le rez-de-chaussée, immédiatement adossé au chevet de l'église avec lequel il communique par deux portes, devient le chœur des religieux, où les frères s'assemblent pendant les célébrations pour chanter la messe (dit aussi "chœur d'en-bas"). Le premier étage, appelé "chœur d'en-haut", est déjà doté de boiseries en 1679. Nicolas Blanchard dit Carpentras, maître menuisier, qui avait précédemment réalisé les boiseries des Augustins, est alors chargé de boiser le chœur d'en bas sur le modèle des boiseries du chœur d'en haut. Par la suite, le bâtiment est surélevé à plusieurs reprises au 17e siècle. En 1664, Sébastien Baillond et Estienne Symon dit Terman sont chargés de l'achèvement de la bibliothèque au deuxième étage ("Oultre quoy ils désirent faire la bibliothèque ja commencée sur le grand degré en sus le chœur de leur eglize"). Plus tard, la bibliothèque est transférée au troisième étage après une nouvelle surélévation (campagne de travaux non identifiée de 1679 ?). Le grand escalier ne comptant que deux révolutions, une volée d'escalier courbe desservant uniquement la bibliothèque à partir du couloir du deuxième étage doit être aménagée dans l'épaisseur du mur au moment de la construction de l'aile sud du cloître en 1684 par Claude Bonnet maître maçon, qui est également chargé du carrelage de la bibliothèque. Le plancher intermédiaire entre le premier et le deuxième étage est ensuite supprimé, vraisemblablement au 18e siècle, pour donner plus de hauteur au chœur d'en-haut où d'importants travaux de décoration sont conduits en 1742-1743 (plafond en fausse voûte décoré de stuc exécuté par Jacques Rollet, entrepreneur, confection d'un placard et de deux croisées par Claude Ray, maître menuisier, boiseries et sièges sur trois murs accueillant 10 tableaux de Sarrabat). De ce fait, le couloir du deuxième étage reliant le grand escalier et l'escalier de la bibliothèque ne dessert plus aucune pièce de plain pied. La grande bibliothèque est dotée au milieu du 18e siècle de boiseries remarquables, transférées au Palais Saint-Jean entre 1800 et 1803. Vers 1860, dans le cadre de la campagne de réhabilitation accompagnant la restauration des carmes déchaussés, la bibliothèque est agrandie par extension au-dessus du corridor d'accès au clocher et du grand escalier. L'ensemble du bâtiment agrandi est alors couvert par une toiture à quatre pans.

Ce corps de bâtiment connaît peu de modifications d'usage en 1907-1912 au moment de l'installation des archives départementales : le rez-de-chaussée est affecté à la salle de reliure, la grande pièce du premier étage devient le bureau de l'archiviste, et celle du deuxième étage la bibliothèque. La démolition de l'église, adossée au mur est, permet l'ouverture de croisées sur cette façade et améliore la luminosité des pièces. Dans le bureau de l'archiviste, le plafond du 18e siècle et les boiseries du 19e siècle sont conservées, à l'exception de celles qui couvraient le mur est percé de deux nouvelles croisées ; le parquet en revanche doit être refait à neuf en bois de chêne. Mais les travaux font apparaître l'incohérence des structures du bâtiment, dues à son agrandissement progressif. Louis Rogniat indique ainsi dans son mémoire justificatif de 1911 que les "murs étaient ouverts en deux parties dans le sens de leur épaisseur et sur divers points d’inégale épaisseur et en faux aplomb les uns sur les autres" et signale le manque de cohérence entre le troisième étage, surélevé pour partie au 17e siècle et pour partie au 19e siècle, avec les étages inférieurs : "il a fallu en outre relier la partie supérieure de ce bâtiment, qui s’élève à plus de vingt mètres de hauteur et repose sur des bases formées de vieilles maçonneries de très mauvaise nature par une double rangée de ceintures métalliques et différents blindages". De ce fait, la charpente en bois a été remplacée par un comble métallique afin de limiter les poussées sur les murs fragilisés. La bibliothèque fait l'objet d'un aménagement à neuf, conçu par Louis Rogniat en 1907 : revêtement de sol en pavés de ciment coloré (losanges en damier jaunes et rouges), boiseries de la bibliothèque créées sur modèle spécial ("tablettes au pourtour de cette pièce, moulure de couronnement sur rive de tablette haute, plinthe dans le bas avec supports en dessous de la tablette, 21 600 supports de tablette en bronze, modèle spécial"), dont l'exécution est reportée à 1910. Le chœur des religieux est dégagé et mis en valeur comme espace de circulation et de détente en 1977, dans le cadre de la réhabilitation du cloître.