1499 wurde die Anlage von französischen Truppen besetzt. Grundlage für ein zwischen 1499 und 1512 erbautes Bollwerk im Nordosten der Anlage könnte ein Entwurf von Leonardo da Vinci sein. 1513 kam die Burg vorläufig und 1516 im Ewigen Frieden auch vertraglich in den Besitz der Schweizer. Von 1513 bis 1798 diente die Burg als Sitz der eidgenössischen Landvögte. 1531–1532 wurden grosse Teile der Befestigungen geschleift, da der Unterhalt als zu aufwendig betrachtet wurde.[4] Erhalten geblieben sind im Wesentlichen ausser dem genannten Bollwerk ein Teil der Wehrgangs sowie zwei im rechten Winkel zueinander stehende Wohnflügel. Der befestigte Hafen unmittelbar vor der Burg musste 1485 und 1486 ausgeschürft werden, er verlandete jedoch weiterhin und wurde 1535 endgültig aufgegeben beziehungsweise an den Ostrand der Stadt verlegt.