De Gevangenpoort was oorspronkelijk de voorpoort van het buitenhof, de voorburcht met o.a. dienstgebouwen behorende bij het Binnenhof complex. Dus geen stadspoort zoals ook wel wordt gedacht.

De gevangenpoort was vanaf ongeveer 1420 tot 1828 de gevangenis van het Hof van Holland, waarin personen die een zwaar misdrijf hadden begaan terechtkwamen. In 1428 maakte Filips de Goede de "voorpoorte van den hove", zoals de poort oorspronkelijk genoemd werd, tot staatsgevangenis. Het aantal cellen zou echter niet altijd voldoende zijn.

Keizer Karel V bouwde tussen 1517 en 1535 een groot cellencomplex aan de poort vast en breidde ook het gerechtsgebouw uit.