Le bâtiment datant de 1760 a d'abord servi de palais de justice . Il a été reconverti en muséum en 1876 . L'aile sud a été complètement détruite lors des bombardements de 1944 et jamais reconstruite . Dans son projet de reconstruction du centre ville, l'architecte Auguste Perret souhaitait le détruire. Mais il a fait l'objet de plusieurs arrêtés de classement comme monument historique en 1948, 1949 et 1963 . Il a rouvert ses portes en 1973 et le 21 septembre 2007 après une période de travaux. Entre 2010 et 2012, le Muséum a accueilli quelque 120 000 visiteurs . Il est question d'exposer une partie des collections dans l'ancienne école Jean Macé qui se trouve à côté du musée .