Das Schloss wurde 1432 von Humbert dem Bastard gekauft und verwandelt sich in eine Festung mit einem peripheren Gehege und zwei Backsteintürmen. Um gegen die Leute aus Estavayer-le-Lac zu gewinnen, teilte Humbert den großen Turm auf der Stadtseite durch eine mächtige Verteidigungsburg an der Vorderseite des Grabens. Diese sehr gut verteidigte Burg blieb jedoch leer, da Humbert 1443 starb und die Innenausstattung nicht fertigstellen konnte.