La maison forte de Pierre Charve faisait partie du réseau de défense de la châtellenie d'Alby-sur-Chéran, constitué de sept sites fortifiés (le donjon d'Alby, Châteauvieux, Montconon, Montplaisir, Montpon et Montvuagnard). Point de défense sur une boucle du Chéran, elle commandait l'accès d'un gué et d'une passerelle en bois. Mentionnée en 1297, elle aurait appartenu dans la 1ère moitié du 14e siècle à un certain Guillaume Paradin, qui la donne en 1353 à Jean, comte de Genève (Chapier, 1961). Elle fait ainsi partie de la zone de tension entre comtes de Genève et de Savoie jusqu'au début du 15e siècle. Les vestiges du château montrent de nombreuses modifications. Ils peuvent être datés du 13e siècle (? porte en arc en plein-cintre murée pour être remplacée par la porte en arc brisé), 14e siècle (porte en arc brisé de l'étage de soubassement, dont l'aménagement s'est sans doute accompagné du creusement du bloc de molasse de façon à créer un niveau supplémentaire semi-enterré et de la modification des niveaux existants, comme en témoignent les alignements de trous dans les murs aux différents niveaux) et de la limite 15e siècle 16e siècle (fenêtres à croisée des deux niveaux supérieurs).

Elle passe entre les mains de plusieurs familles à l'époque Moderne (comme les Montfalcon et les Montvuagnard), dont celle de La Roche : lors de la levée de la mappe sarde (vers 1730), don Charles de Grenery [Graneri], marquis de La Roche, possède tout le secteur compris entre le Chéran à l'ouest, le ruisseau de Pérailles et le chef-lieu à l'est, le chemin joignant la route de Gruffy à Alby au chef-lieu et le secteur des vignes de Mûres (où il possède la plus grande parcelle) au sud (soit les sections cadastrales C1, C2, la frange ouest de A6 et nord-ouest de B5). Ce vaste territoire d'un seul tenant est exploité, outre les bâtiments de la maison forte, par les domaines de Champ Quartier (puis la Grangerie, IA74002780) et Pierrecharve (n°573, 575 et four 574, puis domaine de Grand Champ/la Grangerie sur le cadastre de 1887, C2 97 et 98, actuellement C2 870 à 872, non repéré). Sur la mappe, le "château" a un plan en L, avec un jardin dans le L au sud-est et une cour au nord ; un second jardin et une "masure", dont les fondations sont encore visibles, les jouxtent au nord-est. Le plan du 1er cadastre français (1887) mentionne en outre la "source de Pierre Charve" à l'est du bâtiment.

En 1788, le marquis de La Roche vend le domaine de Pierrecharve (ainsi que d'autres biens à Mûres, Viuz, Gruffy, Saint-Félix et Marigny-Saint-Marcel), à parts égale et en indivision, à Me Jean-Claude Olive, notaire, bourgeois de Rumilly, et à Philibert Simond, vicaire à Gruffy. Un état des lieux est dressé à cette occasion par Balthazard Métral, maçon à Gruffy, en mars 1788 : du château, "il n'existe plus qu'une partie couverte par un toit en forme d'appentis et composée d'un cellier servant d'écurie creusé dans la molasse, et deux chambres l'une sur l'autre", le tout en état de "vieillesse et caducité", présentant une "mauvaise disposition qui fait qu'on n'en peut tirer aucune partie, sauf de le faire servir pour un retirage ou entrepôt" ; les autres bâtiments sont des masures. Le domaine comprenait aussi les deux fermes dénommées "la Grangerie" en 1887, soit la ferme de Champ Quartier (IA74002780) et celle de Grand Champ (non repérée). Dès l'année suivante, Me Olive cède sa part à son co-acheteur. Philibert Simond, prêtre originaire de Rumilly puis député à la Convention, meurt guillotiné en 1794. Ses soeurs Jeanne et Michelle héritent du domaine, que Jeanne lègue à la Congrégation de Charité (ou hospice) de Rumilly en 1839. Dès 1840, l'hospice de Rumilly vend la maison forte à la famille Genoud, d'Alby (Passerelle, n°4).

Devenu une ferme, la maison est abandonnée. Elle aurait été arasée d'au moins un niveau. Dans le dernier quart du 20e siècle, elle a été investie par l’association "Les Compagnons du Château de Pierrecharve". La toiture de l'édifice ayant par la suite été détruite accidentellement, ce dernier est aujourd'hui en ruine.