Château-Gaillard est bâti au XVe siècle par Jean de Malestroit, chancelier du duc de Bretagne et évêque de Nantes. Il s'agit d'une construction ancienne, peut-être reliée aux murailles de la première enceinte qui délimitent son jardin, mais on sait peu de chose sur son histoire et ses origines mais on attribue la construction primitive aux templiers. Le manoir aurait abrité les nourrices des ducs de Bretagne et même Gilles de Retz. Le manoir à la façade étroite est agrandi et modifié au XVIe siècle. Longtemps siège de l'administration du parlement de Bretagne, il devient propriété privée et est acheté, en 1912, par la Société polymathique du Morbihan qui y installe ses musées. Par l'escalier en colimaçon aménagé dans la tourelle polygonale, on gagne le premier étage récemment restauré où se trouve le musée. La grande salle possède une belle cheminée du XVe siècle et des poutres peintes de motifs végétaux. La seconde salle a conservé des boiseries anciennes. Le musée archéologique est l'un des plus riches de France, en particulier pour ses collections de l'époque néolithique. L'essentiel des pièces exposées ' une part seulement des collections de la Société ' provient des fouilles effectuées dans le Morbihan à partir du début du XIXe siècle.