Le Fort, qui s’élève sur le col des Camaldoli à 415m d’ altitude, doit son nom au Maréchal Armand du Plessis de Richelieu, qui défendit la ville pendant le siège de 1746-47.

Construit au XVIIIe siècle, il fut restructuré au XIXe siècle.