L'origine du couvent remonterait à 1527 (Le Brun, 1913), le 5 mars 1555 le catalogue des actes de Henri II (AN : 1555-03-05/7) mentionne le "mandement au Parlement de Paris d'autoriser les prieurs et religieux de Notre-Dame de Lorette diocèse de Bourges, en Bourbonnais, à faire publier leurs bulles, pardon et indulgences". En 1595, les religieux de Notre-Dame de Lorette sont reconnus comme ermites de Saint-Augustin et confirmés dans cet ordre.

L'église est probablement bâtie au début du 17e siècle, avant 1630, date sous forme de graffiti relevée sur le portail occidental par Eugène Lebrun (Le Brun, 1913 p. 187). Cette construction est réalisée grâce aux dons des nombreux pèlerins qui affluent, participant au culte de Notre-Dame de Lorette, ainsi qu'il était inscrit sur le portail aujourd'hui détruit : A L'HONNEUR DE DIEU / ET DE / NOTRE DAME DE LORTE / CETTE EGLISE A ESTE / BASTIE DES AUMOSNES / DES GENTS DE BIENS. L'église et une partie des bâtiments conventuels figurent sur une estampe datée de 1656 utilisée notamment comme ex-libris sur un ouvrage ayant appartenu aux RR. PP. Augustins de Notre-Dame de Lorette. (Mercier, 1922). Cette vue du "couvent de Notre-Dame de Lorette de l'Ordre des Ermites de Saint-Augustin, situé en Bourbonnais" comme le stipule la légende latine, est celle du nord de l'église, flanquée de deux chapelles et achevée par un chœur (peut-être à l'abside polygonale) surmonté d'un clocher. Le pignon du occidental, jouxté par un édicule, possède un oculus sommital ; il a conservé son aspect d'origine sur les cartes postales anciennes du début du 20e siècle montrant les quelques vestiges du couvent. Son portail présente composition à plusieurs niveaux, à fronton brisé et niches reprenant le vocabulaire décoratif fixé au début du 17e siècle. Il est à rapprocher du portail de la sacristie qui subsiste à l'intérieur de bâtiments d'époque postérieure.

Donations, inhumations dans l'église, pèlerinages se succèdent au fil du 17e siècle et durant la première moitié du 18e siècle jusqu'à un certain déclin à partir du troisième quart du 18e siècle. Si le pèlerinage perdure durant la Révolution, en 1791 les biens du couvent sont saisis, mis en vente le 13 avril par le directoire du district de Cérilly. Parmi les objets mobiliers du couvent, ceux qui ne sont pas transférés au Veurdre (AD03 : L 58 : 26 mars 1791 ; L 59 : 29 juillet 1791) sont vendus aux enchères du 7 au 10 juin 1791 (AD03 : 1Q 77). Le tabernacle et le banc d'oeuvre dit "siège du prieur" : IM03000658 ; IM03000664 ont été transférés en l'église du Veurdre, de même que la statue de Notre-Dame de Lorette aujourd'hui à Château-sur-Allier : IM03000635. A partir de 1791, le couvent, l'église et les terres attenantes sont propriété de André-Louis-Marie de Sinéty, marquis de Lévy qui les vend à la comtesse de Castellane le 25 janvier 1823. C'est elle que mentionne le tableau indicatif des propriétés foncières en 1832 en tant que propriétaire de la parcelle concernée. (AD03 : 3P 1036). Le plan cadastral de décembre 1831 correspondant montre un plan de l'ensemble conventuel fidèle à l'état antérieur à la Révolution.

Revendue le 6 juillet 1833, la propriété de Lorette passe aux main du Comte de Chalus l'année suivante, le 23 juillet 1834, lequel fait bientôt démolir une partie des bâtiments conventuels et l'église afin d'en récupérer les matériaux. Une partie des matériaux et des boiseries serviront aux travaux et aménagements du château de la Baume. Les restes de l'édifice passent de main en main au fil du 19e siècle, sont rachetés par Jean Simonin en 1903 et appartiennent à son fils Jean-Marie, cultivateur, en 1925. Une partie de l'état actuel est le fruit de travaux réalisés au cours du 20e siècle lors de l'aménagement des bâtiments en ferme.

Les cartes postales du début du 20e siècle montrent encore les vestiges de l'église ainsi que le pignon occidental. Celui-ci est vendu d'après E. Capelin (Capelin, E., 1925, p. 220), peu avant 1925, à des amateurs américains : "l'ultime pignon a pris récemment le chemin aquatique des Etats-Unis, non sans que l'acquéreur se fût acquitté du soin de numéroter chaque pierre".