Selon la légende, le château de Faverges était sans doute une construction en bois. Les premiers propriétaires de ce lieu fortifié sont connus à partir du début du XIIe siècle avec, d´après les érudits locaux, une mention de "Berlion du château fort qu´on appelle Faverges". Plus tard, en 1173, un autre Berlion et Ponce de Faverges sont témoins d´un acte signé entre le roi d´Angleterre et le comte de Savoie. Guilfred de Faverges est témoin d'une donation à la chartreuse de Vallon en 1209, et dans une donation à la chartreuse du Reposoir l´année suivante. En 1212, avec son frère Berlion, il renonce, en faveur de l´évêque de Maurienne, à tous les revenus de sa famille dans ce diocèse. Un siècle plus tard, le château de Faverges est passé entre les mains des Comtes de Genève. En 1316, le Comte de Genève Guillaume III et son frère Rodolphe vendent le château de Faverges au Comte de Savoie Amédée V le Grand. En 1318, Amédée V octroie les franchises de Faverges. Promulgué le 29 septembre 1318, ce texte institue trois foires annuelles. La cité est aussi connue pour ses forges qui permettent à Faverges d´être à la tête d´un mandement regroupant les paroisses de Marlens, Cons, Saint-Ferréol, Giez et Doussard. En 1501, le duc de Savoie Philibert le Beau vend le château de Faverges au prince François de Luxembourg-Martigues, mais cette vente est annulée par la chambre des comptes. En 1506, le duc Charles III parvient à vendre le château aux Luxembourg-Martigues. La paroisse passe dans l´apanage du Genevois en faveur de Philippe de Savoie en 1514, qui parvient à récupérer le château. Le duc Emmanuel-Philibert cède à son tour la propriété à Louis Millet qui devient baron de Faverges en 1572. Charles Emmanuel Millet, marquis de Faverges, fait reconstruire le château.
Pendant la Révolution française, le bien n´est pas nationalisé car la famille Millet ne quitte pas le site. Au début du XIXe siècle, Agathe Millet de Faverges, épouse du comte di Fontanetta, vend le château à l´industriel lyonnais Jean-Pierre Duport, créateur de la manufacture de coton d´Annecy. Son fils, Jean-Dominique, créateur de la manufacture de Pont-Canavese, récupère ses actifs, dont la manufacture de coton de Faverges. Installée dans le château, cette dernière prospère grâce au baron Nicolas Blanc, époux de Marguerite Duport. Ce dernier transforme l´atelier de coton en usine de soieries (mousseline). La fille du baron Blanc, Marguerite Blanc, garde en gérance l´usine avant que le site ne soit cédé par sa fille à la société lyonnaise Gourd, Croiset et Dubost, qui continue l´industrie de la soie. En 1902, la soierie du château de Faverges est vendue à la société Stünzi qui l'exploite jusqu'en 1914. Le château est aménagé en hôpital militaire, notamment pour les troupes belges, durant les deux guerres mondiales. En 1922, le château devient un internat pour les ouvrières des soieries, avec proposition de services (bibliothèque, salle de jeux...). En 1980, la commune de Faverges devient la propriétaire du site et le réhabilite en logements sociaux, centre de vacances et maison familiale. Le château est actuellement un lieu dédié à l'accueil d'événements (mariages, séminaires...) avec hébergements sur place.
