La date de fondation de l'église n'est pas connue. La paroisse aurait été définitivement établie lorsque les cisterciens vinrent, en 1137, fonder l'abbaye d'Aiguebelle. Elle fut dédiée à Sainte-Marie-Madeleine en 1281, à l'occasion de la translation des reliques de cette sainte à Saint-Maximin ; l'abbé d'Aiguebelle, Pons de Saint-Bonnet, assistait à la cérémonie et ramena probablement une fraction de relique à Réauville. La structure de l'édifice, dont l'épaisseur des murs est de 1,30 m, remonte à l'époque romane : une porte (murée en 1873), conservée dans l'élévation latérale, est datable de la 2e moitié du 12e siècle, et la porte d'entrée en façade, avant sa réfection au 19e siècle, était du même type. En 1484, l'église nécessite des réparations. En 1518, Etienne Dufès, Jacques et Jean Delauche, maçons à Grignan (ces derniers bâtisseurs de la collégiale), construisent un clocher-mur à trois arcades au-dessus de la petite porte latérale, ainsi qu'une fenêtre à meneau dans la façade occidentale. Le clocher-mur a été démoli au 19e siècle, la fenêtre subsiste, masquée par le clocher-porche actuel. Après les dommages des guerres de Religion, l'évêque ordonne en 1601 de couvrir l'église : entre 1612 et 1620, la toiture est refaite, ainsi que les trois "arcades" (arcs doubleaux ?), par Antoine et Bonnet Vialle, maçons. Des réparations sont effectuées au bâtiment et au clocher en 1768, par Denis Pelisse. Jusque-là, seule une charpente couvrait l'église ; à partir de 1808, il est question de la voûter. En 1829, Javelas, architecte voyer de Montélimar, dresse les plan et devis d'une voûte en berceau en brique, sur des arcs en briques : ce travail est réalisé en 1830 par François Alizon, maçon de St-Paul-Trois-Châteaux. L'abbé Charvat, curé de Réauville, fait refaire la porte d'entrée en 1852 (date gravée à la clef). Puis, trouvant le clocher-mur trop modeste ("deux fers à cheval posés côte à côte"), il fait édifier un clocher-porche en façade en 1871 ; un médaillon au centre de la voûte du porche porte l'inscription peinte : Souvenir devant Dieu / de F. Burdain / 1871. Le dallage de l'église est refait en 1882 par Louis Julian. En 1885, des réparations importantes s'imposent, à la toiture du clocher et surtout à la couverture de l'église qui porte directement sur la voûte ; en juillet 1886, Paul Vincent, architecte au Teil (Ardèche), dresse les plans et devis des transformations à faire, qui sont réalisées sous sa direction en 1888, par Gabriel Palmier, maçon aux Granges-Gontardes. Des travaux minimes sont effectués en 1892, lors de la pose de l'horloge. En 1941, la toiture et le clocher sont à nouveau réparés, suite aux dommages occasionnés par la foudre. Les sacristies (la 2e construite en 1843) ont été restaurées en 2000.