D'après Eugène Le Brun (Le Brun, 1913, p. 239) des actes antérieurs à la Révolution mentionnent "la terre de Fontenay , composée de Fontenay le bas et Fontenay le haut, vulgairement appelé le Pavillon". Aux 14e et jusqu'au commencement du 15e siècle les terres de Fontenay appartiennent aux seigneurs de la Tour-Barieul. Pendant le 16e et le 17e siècles, toujours d'après Eugène Le Brun, ces terres appartiennent à une communauté de paysans du nom de Robin. La propriété, vendue successivement aux Amonnin et aux Turchy puis Turchy-Baruel durant le 18e siècle, est cédée en 1826 au baron Jean-Baptiste de Froment. En 1832 les matrices du cadastre dit napoléonien détaillent les parcelles appartenant à ce dernier qui les cède à ses héritiers en 1836 ; ces terres consistent alors en une maison de maître (le Pavillon), trois domaines et trois locateries. Au fil du 19e siècle la propriété appartiennent aux familles Cordez et Faulquier.

Eugène Le Brun décrit ainsi le pavillon ayant donné son nom au château : "Entre Fontenay et le château du Pavillon, qui est construit sur la colline, s'élève, à mi-côte, une petite maison carrée, qui parait dater du XVIIe siècle. Cette maison suivant la tradition, fut bâtie pour servir de rendez-vous de chasse ; en tous cas, les matériaux qui servirent à sa construction proviennent de la démolition d'un bâtiment du XVe siècle, ainsi qu'en témoignent quelques pierres sculptées, de cette époque, que l'on remarque dans les murs. Ce pavillon se compose d'un rez-de-chaussée et d'un premier étage auquel on accède par un escalier extérieur" (Le Brun, 1913, p. 238-239). En 1832 le tableau des propriétés... situe cet édifice, qualifié de "maison", au "Colombier". Le toponyme n'est ni indiqué sur le plan cadastral correspondant de 1831 ni sur le plan cadastral de 2018.

Vers 1880 la maison de maitre est agrandie au sud-ouest, flanquée d'une tour à un étage carré surmonté de combles mansardés. Cet allongement a été détruit dans le courant du 20e siècle.

En 1896 la grille en ferronnerie du portail a été dessiné par l'architecte Gustave Baër et réalisé par J. Micaud, serrurier à Moulins. Peut être concomitamment une remise et une écurie ont été construites par le même architecte.