La chapelle a été construite en 1623 (le contrefort extérieur, côté ouest, porte la date de 1618). L'arcade ouvrant sur la nef présente une architecture classique : elle est en plein-cintre et d'ordre dorique, contrairement aux autres chapelles qui présentent toutes un arc brisé. À l'origine dédiée à saint Mathieu, la chapelle appartenait à la confrérie des Tondeurs de draps. Elle devient par la suite la chapelle Notre-Dame de Pitié.

Claude-Anthelme Benoît et son fils Louis-Frédéric, qui jusque-là employaient le style gothique dans leur rénovation de la basilique Saint-Bonaventure, optent en 1863 pour un style maniériste lorsqu'ils s'attellent à la réfection de la chapelle.