Le dessein de construire un groupe scolaire à Rousset apparaît dans les années 1880, après le refus de construction d'une école de filles de la part des autorités administratives. Mais le projet que dessine l'agent voyer Rasclas en 1882 reste sans suite. En juillet 1900, le conseil municipal de Rousset décide de bâtir un groupe scolaire, et choisit un emplacement au sud du village, chemin de Valréas. Bien que le choix de l'endroit suscite des polémiques, il confie le projet de construction à J. Etienne, agent voyer cantonal, dont il approuve le plan de situation et celui de l'édifice en mai 1901. Devant les protestations de nombreux habitants au sujet de l'emplacement arrêté, deux autres sont propositions sont faites, suivies d'enquêtes. Après l'agrément de l'inspecteur d'académie et du préfet, est choisi le terrain le plus approprié, de 55,80 m de long sur 24 m de large, quartier du Clos, sur la route de Montélimar à Nyons, parcelles C 448 p., 449 p., 461 p. Son propriétaire, Frédéric Aubert, signe la promesse de vente à la commune de Rousset le 30 juin 1904 (vente passée le 26 septembre 1907). D'après le questionnaire rempli par l'inspecteur primaire, le groupe scolaire de Rousset (532 habitants) est prévu pour deux écoles, de 25 garçons et 32 filles, une classe par école. Le 15 avril 1905, J. Rey et G. Allingry, architectes à Valence, dressent le projet de construction d'un groupe scolaire ; le dossier comprenant les plan de l'emplacement, plan d'ensemble, devis descriptif et estimatif des travaux (gros oeuvre en moellon, mortier à chaux et à sable, seuils et escaliers en pierre de taille de Taulignan, chambranles moulurés en pierre de Chamaret, briques pour cloisons et cheminées, fer forgé etc.), rapport, série de prix..., est approuvé par le préfet le 7 octobre 1907. La commune ayant emprunté au Crédit Foncier de France en avril 1907, le procès-verbal d'adjudication au rabais des travaux de construction est passé le 6 novembre 1907 en faveur d'Auguste Bastian, entrepreneur de Saint-Paul-Trois-Châteaux ; le chantier peut démarrer. Le conseil municipal autorise diverses modifications demandées, comme l'utilisation du béton hydraulique et le remplacement de la pierre de Chamaret, d'extraction difficile, par celle de Saint-Paul-Trois-Châteaux pour le décor mouluré (délibération du 5 avril 1908). L'élargissement de la route départementale n°4 bis entraîne des changements : le 17 septembre 1908, Rey et Allingry établissent un devis des travaux de rectification des abords du groupe scolaire dont le mur de clôture sera reculé. Un certificat d'avancement des travaux exécutés par Augustin Bastian est délivré le 28 janvier 1909. En avril, Reynaud, agent voyer cantonal dresse un plan de la traverse de Rousset en vue du déplacement du mur de clôture. Le 9 août, le conseil municipal approuve le traité de gré à gré entre Bastian et Gustave Laffet, maire de Rousset, pour la rectification, selon les plans de Rey et Allingry. Ces derniers signent le procès-verbal de réception provisoire des travaux effectués par Bastian le 15 janvier 1910, et la réception définitive le 10 décembre 1911. En mai 1912, Bastian réclame le paiement du solde des travaux, car les écoles sont aménagées depuis trois ans et « on en a pris possession six mois au moins avant la réception provisoire » ; le certificat de paiement est daté du 3 novembre 1912. L'école sera utilisée pendant quatre-vingts ans ; elle n'accueille plus que 14 élèves en 1985, 6 en 1988. Sa fermeture, voulue provisoire en 1989, s'avère définitive. Le bâtiment a été rénové, et des transformations réalisées, telle que l'aménagement du bureau de poste durant une quinzaine d'années dans un des locaux scolaires. Aujourd'hui restauré, l'édifice abrite, outre la mairie et la bibliothèque, des salles communales et des logements sociaux.