Idéalement situé entre le port et la plage, le quartier du Passage était, avec La Chaume, le quartier traditionnel des marins pêcheurs des Sables-d’Olonne. Constitué de ruelles étroites et de maisons typiques de pêcheurs, le quartier du Passage est un lieu emblématique et témoigne du glorieux passé maritime des Sables-d’Olonne. Il abritait des maisons d’armateurs, l’ancienne caserne des Douanes, l’ancienne sous-préfecture ou encore des usines de conserves.
Jusqu’aux années 1960, le quartier du Passage était rythmé par les sorties en mer des pêcheurs et par les sirènes des usines de conserves. Les bistrots du port étaient les lieux de rendez-vous des marins, qui après chaque marée s‘y retrouvaient pour faire leurs comptes. Une ambiance particulière régnait dans ce quartier où tous les habitants se connaissaient et se soutenaient dans les moments difficiles.
À la fin du XIXème siècle avec le développement du tourisme, le quartier du Passage, côté Remblai s’étoffe : création du Grand Hôtel des Bains en 1845 et ouverture du Grand Casino en 1876. À cette époque, afin de faire face au nombre croissant de touristes, les familles du quartier du Passage louaient, chaque été, leur rez-de-chaussée aux touristes et descendaient vivre au sous-sol.
GÉRARD, Alain, Les Sables au temps de la grande pêche : Manuscrits de Collinet (1739-1782), 2002, Centre vendéen de recherches historiques.