Le musée prend place sur le site historique de l'ancien château de l'Hermine, bâti au XIXe siècle, ancienne résidence des ducs de Bretagne.
Grâce aux fouilles archéologiques de 2022-2023, les imposantes fondations médiévales ont été redécouvertes, révélant l’importance de ce site pour l’histoire de Vannes.
