Ce second château, consistant plutôt en une maison-forte, est construit à la fin du XIIIe siècle avec les matériaux du précédent, en contrebas d'un rocher, proche de la rivière Allier. En 1410 cette maison-forte appartient à Perrin Blanc troisième du nom et par la suite reste dans la même famille.

La cheminée à hotte, sur colonnes en piedroit, de la pièce principale remonte probablement à la limite des 15e et 16e siècle comme la fenêtre de l'aile nord édifiée contre le mur gouttereau est.

Au milieu du 17e siècle, la maison-forte appartient à Gabriel de Châteaubodeau qui la répare ; elle est durant cette période qualifiée de "château". Les deux baies centrale de la façade occidentale stylistiquement datable de cette époque font peut-être partie de cette campagne de restauration. Selon Eugène Le Brun, la demeure est vendue à Gilbert Alarose par acte passé devant le notaire Amonnin le 27 octobre 1671, ainsi décrite : " la maison, terre et seigneurie de la Baulme, consistant en masure de château et un petit bâtiment où il y a deux chambres basses entourées de fossés, grange, écurie et cellier, le tout couvert en tuile, basse-cour, vigne de la contenance de trente oeuvres, jardin entouré de murailles ...". Gilbert Alarose rénove les bâtiments alors en très mauvais état avant sa mort en 1680.

En 1701, le "Plan géométrique de la carte de la ville et paroisse du Veurdre ..." montre l'édifice médiéval, de plan centré, flanqué de quatre tours d'angle.

Jusqu'en 1780, l'édifice appartient encore à la famille Alarose qui fait construire le troisième château : IA03000658 de 1748 à 1758. L'ancien château est alors loué à des métayers. Il passe, par alliance, comme le nouveau château, au Comte de Chalus en 1780.

En 1832, les matrices cadastrales mentionnent encore le comte de Chalus en tant que propriétaire de "maison, bâtiment et cour" sur la parcelle 492. A cette date le plan masse du plan cadastral montre un édifice à cour fermée dont les bâtiments de l'ancienne maison forte présentant une disposition en L.

En 1852, la propriété de la Beaume est acquise par Jules Bignon (1823-1902), transmise à sa mort à l'une de ses filles Marie Bignon épouse de Charles Lebrun. Lors de travaux menés en 1902 et 1903, la tour du château est restaurée et probablement couverte alors d'un toit en poivrière. La souche de la cheminée centrale a probablement été modifiée à cette époque, entre le dessin "ruines de l'ancien Château de la Beaume" et la carte postale ancienne "du bâtiment transformé en ferme". A une date indéterminée les bâtiments sont effectivement transformés en ferme et apparaissent comme tels sur cette carte postale du premier quart du 20e siècle.

Au fil du 20e siècle l'édifice est de nouveau restauré et transformé en maison d'habitation puis en gite touristique.

Le puits a été orné de plaques de sculptures néo-romanes rapportées dans le cours du 20e siècle, peut-être par Eugène le Brun, propriétaire de la Baume et historien du Veurdre qui n'en fait toutefois nulle mention dans son ouvrage.