Probablement à l'origine de l'agglomération, l'époque de fondation du prieuré de Rousset n'est pas connue. La 1ère mention écrite date de 1327, dans un acte où interviennent le prieur de Saint-Pantaléon et un moine de Rousset. Le prieuré bénédictin de Rousset était de la filiation de Cluny, comme celui de Saint-Pantaléon, et de la dépendance de Pont-Saint-Esprit. En 1337, un seul personnage est à la fois prieur de Saint-Pantaléon et de Rousset, et seigneur majeur de Rousset. A la fin du 14e siècle, les deux prieurés sont réunis sous le même titre. En 1470, les archives de l'abbaye de Cluny indiquent que le prieuré de Rousset est en bon état. L'église prieurale était dédiée à Saint-Mayol et se situait hors les murs, comme peut-être les premiers bâtiments. La visite pastorale de 1509 signale deux églises paroissiales à Rousset, celle de Sainte-Marie-Magdeleine, du lieu, et celle de Saint-Mayeul, près et hors le lieu. Lors de la visite pastorale de 1664, l'évêque constate le mauvais état de l'église Saint-Mayol qui contient deux chapelles, celle du Saint-Esprit à droite du choeur, celle de Sainte-Barbe, à gauche, aussi le service se fait-il à "Sainte-Magdeleine". En 1667 est envisagée "la réparation de Saint-Mayol qui est l'église paroissiale... dans un état de délabrement tel qu'on ne sait où réparer", et en 1693, l'évêque finit par interdire cette église ; la chapelle du Saint-Esprit s'effondre en 1761, tandis que l'autre menace ruine. Sur le plan cadastral de 1835, l'édifice a totalement disparu, seul reste le lieu-dit Serre Mayol (au-dessus du cimetière actuel). En revanche, dans le village, la demeure du prieur subsiste près de l'église. Certains auteurs pensent que cette église, dédiée autrefois à Sainte-Marie-Magdeleine, puis qui a pris le vocable de Saint-Mayeul, était "primitivement" la chapelle du prieuré, mais c'est surtout la chapelle seigneuriale. Le prieur Charles de la Baume, décédé en 1537 ou 1538, abbé de l'abbaye cistercienne de Mazan (Ardèche), y est enterré ; il a fondé dans cette église la chapelle Notre-Dame de Grâce. Il semblerait que cet abbé, chargé aussi, dès 1500, des deux prieurés de Saint-Pantaléon et de Rousset, résidait de préférence à Rousset qu'à Mazan. C'est sans doute lui qui fit construire, tout près de l'église, le corps de logis du prieuré, dont la façade, au sud-est, est datable du début du 16e siècle, ainsi qu'une partie des élévations sur cour. La date de 1710, gravée à la clef de l'arc du portail qui ferme la cour, marque sans doute une campagne de remaniements : les corps de bâtiment nord-est et nord-ouest ont été rénovés ou partiellement construits au 18e siècle, comme la porte d'entrée en façade transformée à cette époque. En 1733, le prieur Louis de Mérindol de Vaux donne l'écurie, qui avait été refaite en 1700 avec "un arceau et une voûte à 4 pointes", et la basse-cour du prieuré, derrière le choeur de l'église, pour l'agrandissement de celle-ci. Un arc d'étrésillonnement est lancé en 1739 entre le prieuré et l'église, pour "arrêter l'écartement des murs". Pendant la Révolution, le prieuré, saisi comme bien national, sert de maison commune : il est acheté en indivis par le curé Claude Doux et le maire Ribaud, qui le récupère en totalité à la mort de Claude Doux en 1794. Deux grandes parcelles constituent le prieuré sur le cadastre de 1835. En 1841, la commune projette d'acheter à François Aubert la parcelle nord-ouest (C 287) pour y installer la mairie et l'école des garçons et des filles, et en fait dresser les plans par Tourre, architecte à Taulignan. Mais le projet est abandonné devant l'opposition de l'inspecteur, disant que cette « baraque » ne convient pas pour une école. Le prieuré est par la suite divisé et vendu à des particuliers, des petites parties sont démolies, d'autres transformées (percement de baies, balcons). Au milieu du 20e siècle, son propriétaire, l'archéologue André Perraud, restaure l'intérieur. Les propriétaires actuels ont finalement remembré l'édifice dans les années 1990 et poursuivi sa rénovation ; le corps nord-est, en particulier, a été très remanié.