La maison forte doit son nom au voisinage d'un pont du 13e siècle, le "Pont Aujard" (déformé en « Pont au Jas » au 19e siècle), jeté sur la rivière du Lez, au croisement de plusieurs chemins. Tout près du pont s'élevait une chapelle de carrefour, plus ancienne, dédiée à sainte Magdeleine. Dès le début du Moyen Age, ce carrefour et le passage de la rivière, où était prélevé un péage, sont étroitement surveillés, si bien qu'une présence militaire y devient nécessaire. La maison forte est alors érigée, englobant dans ses murs la chapelle romane à laquelle était liée un cimetière. Le "castrum" (ou maison forte) de Pontaujard est cité à l'extrême fin du 13e siècle, dans un acte de bornage entre Montbrison et Valréas. A cette époque, il est possédé, ainsi que le pont, par Adhémar de Grignan, et peu de temps après par les chevaliers de l'ordre de Saint-Jean de Jérusalem. En effet, en 1308, Falcon de Villaret, grand maître de l'Ordre de Saint-Jean de Jérusalem, le cède, avec son moulin et autres biens, à Aymar de Poitiers, comte de Valentinois ; mais Guy Dauphin, seigneur de Montauban, conteste ce don, ce qui entraîne un long procès, à l'issue duquel, entre 1338 et 1345, Pontaujard devient un fief mouvant du Dauphiné. Sous la suzeraineté des Dauphins, se succèdent plusieurs familles de seigneurs : les Montoison, les Moreton à la fin du 14e siècle, les Borrel, de 1495 à 1629, puis les Durand ; Jacques de Durand, à qui l'on doit le château actuel, prit le nom de Pontaujard. La branche des Durand s'éteint avec Olympe-Mabile de Durand de Pontaujard, marquise de Rousset, qui lègue Pontaujard en 1755 aux Armand de Blacons, derniers seigneurs avant la Révolution. Après avoir acheté le domaine en 1629, Jacques de Durand de Pontaujard fait reconstruire en grande partie le corps de logis. En effet, un état des lieux du 28 mars, passé en présence de Philippe et Daniel de Borrel et de Jacques de Durand, conseiller du roi, sieur de Pontaujard, décrit l'état de ruine des bâtiments, château et dépendances. Cet acte indique les réparations à faire et leur estimation, notamment la réfection des toitures, de la plupart des portes et des fenêtres, ainsi que la construction d'une tour au nord pour contrebuter l'édifice. Il est sous-entendu que le nouveau propriétaire s'engage à effectuer ces importants travaux, à la suite desquels les façades et l'intérieur du château ont été rénovés, sans en changer l'aspect ni la structure qui reste celle d'une maison forte. Des parties médiévales sont conservées, notamment l'abside de la chapelle romane et une meurtrière près de sa porte d'entrée (murée), la base de l'élévation ouest de l'édifice, ainsi que des éléments architecturaux épars. L'abside de la chapelle, dont la voûte a été refaite, a été décorée à l'intérieur de peintures murales entre le 14e et le 17e siècle. Sur la cour intérieure, subsiste une fenêtre couverte en accolade, vestige du 15e siècle. Les communs, en retour à l'est (hangar prolongé au 20e siècle), et une ancienne écurie (puis atelier) au sud-ouest, sont antérieurs au 19e siècle. Après la Révolution, le domaine est démembré, une ferme dépendante de la propriété est vendue et le château lui-même est transformé en exploitation agricole jusqu'à la fin du 19e siècle ; des dépendances lui sont ajoutées au cours du siècle (bergerie et porcherie contre l'angle est), la chapelle dénaturée. Au début du 19e siècle, l'édifice est propriété d'un notable de Taulignan, Massot, maire de Montbrison de 1835 à 1839, puis il entre par alliance dans la famille Descour, qui en est toujours propriétaire et s'attache à le restaurer.