La fondation de l'église et du prieuré de l'Hôpital-sous-Rochefort pourrait remonter au 11e siècle. A partir de 1116, ils dépendent de l'abbaye de la Chaise-Dieu ; le prieur est tenu d'y entretenir deux moines. Le prieuré souffre des troubles militaires de la 2e moitié du 14e siècle ; au 15e siècle, les bâtiments conventuels sont inclus au système défensif du bourg, fortifié vers 1440 : la façade du logis tournée vers l'extérieur est cantonnée de deux tours. Guillaume Mastin de la Merlée, prieur entre 1467 et 1485, fit d'importants aménagements dans le logis prieural (ses armoiries sont présentes sur trois cheminées, dont une, déplacée, n'est actuellement plus localisée) en parallèle à ses travaux à l'église (voûte d'ogives de la nef).Les bâtiments conventuels ont été divisés en lots et vendus comme biens nationaux. Deux cheminées auraient alors été démontées par les nouveaux propriétaires (une cheminée au rez-de-chaussée de la maison de la famille Coupat proviendrait ainsi du prieuré ; une autre, appartenant à la famille Lugnier, n'est pas localisée). Il ne reste plus grand chose des bâtiments conventuels qui entouraient une cour au nord de l'église, où devait se situer le cloître, avec peut-être une galerie en étage (vestige de corbeau, porte haute) desservie par un escalier en vis demi-hors-oeuvre placé dans l'angle nord-ouest de la cour. Le logis qui la borde au nord est partiellement en ruines : la moitié ouest a brûlé dans les années 1960 (elle est occupée par un logement), la partie est, acquise par la mairie, est en travaux (plus de toiture ni planchers). Le corps de bâtiment en retour à l'ouest est ruiné au niveau du premier étage.