Le "castrum de Rosseuf" est cité dans les textes depuis 1214. Au 14e siècle, d'après le pouillé de Die, il est flanqué de tours rondes puis entièrement restauré à la Renaissance. En 1616, il est nommé "château des Marcels" du nom de la famille propriétaire du lieu. A la Révolution, la maison forte a été rachetée par des habitants du village, puis divisée en plusieurs parcelles. Les différentes dates portées sur l'édifice (1838, 1855 deux fois) indiquent que des changements ont été opérés dans le milieu du XIXe siècle. Aujourd'hui, l'édifice est largement restauré.