Mit dem Bau des Schlosses wurde im Jahre 1535 unter Graf Adolf XI von Schaumburg begonnen. Der Baumeister war Jörg Unkair, der hier eine der frühesten Bauten mit Formen der oberitalienischen Renaissancearchitektur schuf.

In den Räumlichkeiten ist heute das Finanzamt untergebracht.