Le moulin du pont des Charmes, appelé aussi pont de Charmoz ou pont Richarmoz dans les documents anciens, est vendu le 7 avril 1584 par la Confrérie du Saint Esprit à François et Jean Mugnier, syndics de la Perrière (FR.AD073, C696).
Le site est représenté sur la mappe sarde de 1733 au lieu-dit Vers le Moulin. A cette date, il comporte un moulin et une maison appartenant à la communauté de la Perrière (parcelle 5488). Le 20 février 1763, il est acensé à Jean Baptiste Blanc (feu Jean) pour une durée de 6 ans. Le site comporte aussi un moulin à huile car le locataire doit payer 12 pots d'huile par an de cense et doit rendre à la fin du bail les meubles du bâtiment dont "la chaudière à l'huile" (FR.AD073, 2C1951). Le 22 janvier 1769, le site est acensé pour 9 ans à Jean Chevallier (FR.AD073, C696 et FR.AD073, 6E13023).
Le site est mentionné dans un document intitulé "États des moulins, scieries et autres artifices construits sur des cours d'eau, dans les terres de juridiction immédiate datant de 1775". A cette date, il appartient toujours à la communauté de la Perrière et comporte deux moulins à farine, un battoir et un pressoir (FR.AD073, C1110). Un devis de cette époque précise que le site a besoin de réparations : changement de la toiture, réfection de deux chéneaux et de deux roues, etc. A cette occasion, le syndic du village donne son autorisation pour couper tous les bois nécessaires à la rénovation du moulin (FR.AD073, C696).
Un tableau réalisé vers 1810 qui liste les différents moulins à huile de l'arrondissement de Moutiers précise : "De tous les pressoirs à huile existants dans les communes désignées cy contre et cy après, le plus important est celui situé à la Perrière [...] Il n'y a que celui de la Perrière qui ait des ouvriers qui y sont attachés". Il s'agit très probablement du moulin à huile du Pont des Charmes (FR.AD073, L583).
Par acte d'adjudication du 3 décembre 1813, le moulin des Charmes devient la propriété de Pierre François Chevallier. Par testament du 12 juillet 1836, Antoine Maurice Chedal-Bornu lègue le moulin à son fils Denis Chedal. Vers 1849, le moulin est abandonné. Denis Chedal décède le 14 septembre 1860 à Bayeux dans le Calvados. Le 8 septembre 1869, son héritière, Adolphine Chedal (femme de chambre à Londres) vend la ruine à Richard Marie Chevallier (feu Joseph Marie) et à Joseph Marie Chedal-Bornu (feu François). Le bâtiment est mentionné comme possédant trois roues hydrauliques (FR.AD073, 6E6901).
Le pont des Charmes est emporté par une crue en 1866 et reconstruit en 1867 à 20 mètres en amont.
Le 12 septembre 1869, Richard Marie Chevallier et Joseph Marie Chedal Bornu demandent l'autorisation de reconstruire un moulin et une scierie sur les fondations de l'ancien bâtiment dont il ne reste que des vestiges de murailles. L'autorisation est accordée par arrêté préfectoral du 2 juillet 1870 (FR.AD073, 46SPC5). Le 24 janvier 1879, Richard Chevallier demande l'autorisation de construire un barrage avant d'y renoncer. A cette date, le bâtiment du moulin est déjà construit mais les aménagements intérieurs ne sont pas encore terminés (FR.AD073, 83S27). Dans une lettre du 4 mai 1880, le maire de la Perrière écrit au préfet pour se plaindre que Richard Chevallier a construit un barrage dans le lit du Doron sans autorisation. Finalement, le barrage est emporté par une crue et le maire retire sa plainte (FR.AD073, 80S6).
Le moulin et la scierie installés dans le même bâtiment sont visibles sur premier cadastre français de 1912 (section B, feuille unique, parcelle 1313). A cette date, ils appartiennent à Jean Baptiste Chevallier (fils de Richard). Le moulin est mentionné dans le recensement de 1917 qui précise "chaque particulier apporte son blé au fur et à mesure de son besoin". Il travaille à façon pour les particuliers et dispose d'une force de 4 chevaux (FR.AD073, 284 R 1). En 1944, le moulin est victime d'un incendie (FR.AD073, 3P1565). Actuellement, il n'existe plus. Son emplacement est utilisé comme espace pour stocker du matériel de chantier.
