C’est ici que l’ancien village de Vellinus, peuplé à l’origine de pêcheurs et vignerons, était installé.
La Chapelle des Pénitents, ancienne église Notre-Dame du Port-Haut, fut construite au XIIe siècle pour accueillir les paroissiens de Beaulieu. Avant sa construction, ces derniers devaient se rendre à l’église de Sioniac à 3km sur la colline. En partie détruite pendant la guerre de Cent Ans, elle fut rachetée en 1820 par la Confrérie des Pénitents Bleus.