Cette rue latérale à l'église Saint-André a été ouverte à l'initiative des propriétaires riverains, qui réservent en 1845 une masse importante de terrains pour la création de l'église, de deux rues latérales et d'une petite place. Elle trouve son tracé et sa largeur définitifs seulement avec l'adoption du projet d'agrandissement de l’église en 1860. En 1863, la ville lui attribue officiellement le nom d'un important propriétaire foncier du début du 19e siècle, Claude Félissent (1776-1849), qui est à l'origine du lotissement des terrains situés à l'est de l'église. Le nom de rue Félissent avait auparavant été porté par la rue Montesquieu dans sa section orientale qui traversait le lotissement Félissent.