El castillo fue uno de los cuatro fortines que en la antigüedad defendieron la ciudad. Comenzó a construirse en 1599 en una zona en la que se disponían dos lánguidas plataformas dotadas con pequeños cañones que ya habían demostrado su eficacia al rechazar un ataque pirata perpetrado por cinco navíos. La construcción del fortín concluyó a principios del siglo XVII, concretamente en 1604, y desde entonces sirvió como base defensiva ante posibles corsarios que buscaban refugio en el embarcadero del Puerto.
Además de baluarte defensivo, a lo largo de su historia ha sido lazareto, enfermería, ciudadela, depósito, sociedad de tiro y restaurante. A finales del siglo XX se acometió por parte del consistorio portuense una profunda remodelación que transformó el recinto en centro cultural municipal y escenario para conciertos musicales y exposiciones artísticas. A apenas unos 50 metros del castillo se conserva el antiguo almacén de pólvora o Polvorín.