Edifice majeur de la ville, Château Gaillard est le seul hôtel particulier médiéval en pierre conservé. Son commanditaire, Jean de Malestroit, chancelier du duc Jean V (1399-1442) est alors un des plus importants personnages du duché, à la fortune considérable.
Les propriétaires successifs ont imprimé leur marque, ainsi Pierre de Sérent, auteur du cabinet des Pères-du-Désert, ou Claude de Francheville, au bénéfice du portail actuel et du décor intérieur de boiseries, inspiré de celui du parlement de Rennes.
Depuis 1912, Château Gaillard abrite le musée d’histoire et d’archéologie. La majorité des objets proviennent des fouilles réalisées dans les grands monuments mégalithiques et sur les nombreux sites gallo-romains de la région.