Fondée au Ve siècle, le village de "Vallis Clara" prit une grande importance au XIIIe siècle avec la construction du pont, sous l'invocation du Saint-Esprit , auquel la cité doit son nom actuel.

Bâti de 1265 à 1309 à un endroit particulièrement dangereux, à cause des courants très rapides du Rhône, le pont mesure 919 mètres de long.

Il fut plusieurs fois modifié au cours de l'histoire et sur les 25 arches actuelles, seules 19 sont anciennes. Autrefois il était fermé à ses extrémités par des bastilles et deux tours s'élevaient au milieu.

Pour les besoins de la navigation, deux arches furent remplacées par une arche en fonte en 1854, puis par un pont suspendu en 1944 et, enfin, par une arche en béton plus en harmonie avec le reste du pont. Enfin, en 1860, le pont a été élargi.