Le castrum de Roussas, dont l'origine remonte au milieu du 12e siècle, est attesté en 1291, dans une reconnaissance faite au pape par le comte de Valentinois. Cet ensemble fortifié était en effet terre de fief des comtes Poitiers-Valentinois et Diois et arrière-fief du pape, sur laquelle l'abbaye d'Aiguebelle possédait aussi des droits. Dès le début de la période féodale, Roussas fut une co-seigneurie qui se maintiendra jusqu'à la fin du 17e siècle ; elle était divisée entre les comtes de Valentinois et l'ordre des Hospitaliers de Saint-Jean de Jérusalem, d'où la présence simultanée, sur un territoire aussi étroit (3/4 d'hectare), de deux donjons dans la même enceinte. En 1229, la 1ère partie est aux mains de Giraud Adhémar en 1229 et passe à son gendre Bermond d'Uzès, qui en fait hommage au comte de Valentinois en 1253. Elle se situe à l'extrémité de l'éperon rocheux sur la partie la plus élevée du castrum, intégrant la chapelle castrale entourée du cimetière, à l'est du site, le donjon nord-est et les habitations. La chapelle castrale est datable de la 2de moitié du 12e siècle, et le donjon attenant, de la fin du 13e siècle. La part des Adhémar de la Garde, aussi vassaux des comtes de Valentinois, est inféodée en 1334 à Eymard Gontard ; située à l'ouest et plus restreinte, elle comprend un espace avec une tour - le donjon sud-ouest - dans l'enceinte du lieu , la rue publique faisant la limite avec l'autre partie. L'appareillage des parties basses de ce donjon sud-ouest , appelé "tourre Balestrière" au 16e siècle et qui sert alors de colombier au seigneur, permet de lui conférer une origine romane (milieu du 12e siècle), mais les parties hautes ont été construites ou reconstruites à une date ultérieure, au 13e siècle. Les deux donjons n'avaient plus de toit lors d'un hommage rendu en 1540. Le castrum est entièrement fermé par une enceinte polygonale, construite à la même période que les donjons et mentionnée pour la 1ère fois dans l'acte de 1334. Cette enceinte comprend deux portes, le Portalet au nord-ouest, et une porte au sud, dite au 16e siècle "Portal Arnaud" ou "Armand". Au cours des guerres de Religion, Roussas ayant été assiégé et pris en 1579, la porte sud a dû être renforcée et probablement reconstruite en partie : la clef de l'arc extérieur porte la date 1621. Le Portalet a été également remanié, mais plus tardivement. Un chemin de ronde, aujourd'hui disparu, se développait sur tout le pourtour de l'enceinte, ainsi qu'une deuxième enceinte qui englobait le vieux village, également disparue. L'ensemble castral de Roussas subit le sort de beaucoup d'autres sites, lorsque Richelieu fit ordonner après la Fronde, l'abolition des fortifications. Les deux donjons sont décrénelés, ainsi que tout élément défensif ; les parties hautes sont rasées au niveau des plates-formes au-dessous des toits. Les créneaux des courtines sont aussi détruits, ceux de la première enceinte comme ceux de l'enceinte villageoise. Les portes fortifiées sont frappées, et on leur laisse tout juste les vantaux de bois, sans herse. Vers le milieu du 18e siècle, une aile est construite contre le donjon nord-est, transformé alors en corps de logis. Lors de la Révolution, la chute de Robespierre a préservé de la démolition le château de Roussas, possédé par les Bertet, ses derniers seigneurs, qui le récupérèrent par la suite. Les maisons du castrum, en grande partie ruinées, furent démolies entre 1862 et 1868, date à laquelle Claude Amédée de Bertet, baron de Roussas, racheta la chapelle vendue aux enchères. En 1880, à la mort d'Amédée de Bertet, le château fut hérité par ses cousins Guilhermier. L'ensemble fortifié est inscrit Monument Historique en 1926, avant d'être vendu à divers propriétaires. En 1977, minée par de fortes pluies, la partie orientale du mur d'enceinte du château, qui soutenait la chapelle Saint-Germain, s'affaissa le long du piton rocheux pour venir s'ammonceler sur le chemin communal en contre-bas ; après l'éboulement qui suivit en 1982, des travaux de consolidation furent réalisés par l'entreprise Girard de Valence en 1985, sous le contrôle de Decaux, architecte des Bâtiments de France. La même entreprise a restauré les parties hautes du donjon sud-ouest en 1991.