Untersuchungen ergaben, dass das erste Geschoss über dem Tordurchgang bereits in den 1360er Jahren entstanden sein könnte. Das Bauwerk war zunächst ein freistehender Turm, welcher später durch seitliche Anbauten mit der Stadtmauer verbunden wurde. Dass der Turm zunächst keine Torfunktion hatte, ist wohl darauf zurückzuführen, dass er nicht in die Linie der Stadtmauer eingefügt wurde, sondern etwas hinter ihr zurückstand.

Es ist anzunehmen, dass der Turm des St.-Alban-Tores ursprünglich eine holzverkleidete und überdachte Wehrplatte hatte. Später wurde die Turmkrone durch den Ersatz der Wehrplatte mit einem Pultdach im Innern verändert. Der Turm erhielt nach 1647 ein flaches Pyramidendach; so erhielt der Torturm einen Dachstock, weshalb man die Zinnen der Krone zu schmalen Scharten umbaute. 1473 wurde am Turm in den Stadtmauergraben hinein ein Vorwerk mit Zugbrücke errichtet.