A l'origine de Saint-Pantaléon est une "cella", prieuré fondé par trois moines clunisiens et mentionné dans le cartulaire de Cluny en 989. Puis les moines construisirent un château fort et, en 1383, firent fortifier le lieu ; malgré cela, les troupes de Raymond de Turenne détruisirent le village, le château et l'église. Dans l'élévation gauche de l'église actuelle, subsistent cependant une porte latérale murée et quelques assises de pierre en petit appareil, qui semblent dater du XIIe siècle, et dans l'élévation droite, une étroite fenêtre romane (fin XIIe siècle). Sans doute ces éléments ont-ils été réintégrés dans la reconstruction de l'église vers 1480, époque du retour des habitants, réfugiés jusque-là à Rousset. La nouvelle église est consacrée en 1509, puis érigée en chapellenie en 1549. Elle est à nouveau saccagée en 1562, au cours des guerres de Religion. En 1589, l'église "qui s'en va tomber" est consolidée ; elle est encore réparée en 1684. De toute la période allant de la fin du XVe à la fin du XVIIe siècle, il ne paraît subsister que les murs de la nef. En 1726, les voûtes sont exhaussées, probablement par les maçons Jacques Michel et Etienne Anduze de Valréas ; en 1733, un décret du vice-légat du pape ordonne des réparations, qui tarderont à être exécutées, mais c'est sans doute alors qu'est aménagé le choeur à cinq pans (semblable à ceux du Pègue et de Rousset, construits dans le 1er tiers du XVIIIe siècle). Au début du XIXe siècle, l'édifice est en très mauvais état ; on envisage une reconstruction partielle et l'adjonction de deux chapelles, qui ne seront pas effectuées : sur le plan cadastral de 1835, l'église est de plan allongé, dépourvue de chapelles. En 1844-1845, selon le plan et devis dressé par Buix, géomètre à Mirabel, le maçon Jean-Joseph Richaud réalise d'importants travaux. Puis, en 1850 est projetée la construction d'un clocher ; Pierre-Louis-Casimir Chaix, agent voyer de Grignan, dresse le plan et devis. L'emplacement prévu pour ce clocher ayant changé, celui-ci, avec la construction d'un perron pour accéder à l'église, ne sera édifié qu'en 1862 par Marie-François Gaud, maître maçon de Valréas. Cette même année, une paroissienne fait un legs pour la construction d'une chapelle dédiée à la Vierge, contigue à l'église, qui sera édifiée à droite du choeur ; à gauche lui fait face la chapelle Saint-Joseph, ajoutée à la fin du XIXe siècle. La flèche du clocher, de construction défectueuse, fut rebâtie en pierre de Saint-Restitut en 1879, par Casimir Michel, maçon de Grignan. Le sol du choeur en mosaïque porte la date 1886, ainsi que l'inscription L. URDY DONATEUR. L. CHABAL. CURE. Une dernière restauration de l'église a eu lieu vers 1990.