En forme de L, l'hôtel a sa façade principale sur la rue et une aile en retour au sud, un beau jardin à la française occupe les arrières. Le grand bâtiment a trois étages avec combles, la toiture se surélevant au centre en chapeau de gendarme. Sa façade est enrichie de soleils et mascarons qui ornent les linteaux. La porte d'entrée a ses vantaux de bois d'origine sculptés d'arabesques et des chiffres des Limur. À l'intérieur, le grand escalier carré en pierre blanche a gardé des balustres Louis XIII, et les salons leurs boiseries, glaces et médaillons. On connait peu de chose sur les origines de ce très bel immeuble dont la construction remonterait aux années 1685. Son premier propriétaire, et son constructeur, fut Raymond Le Doulx, un chanoine de la cathédrale de Vannes originaire de Bordeaux. Après sa mort, l'hôtel connaitra plusieurs propriétaires. Pendant la Révolution, l'hôtel de Limur est saisi sur Armand de Gouvello qui avait émigré. La commission militaire chargée de juger les prisonniers de Quiberon y siège en 1795. Il sera ensuite la propriété de Mahé de Villeneuve, maire sous le Consulat et l'Empire, puis de Joseph-François Danet, receveur général du département. Après le projet avorté de la ville d'en faire sa mairie, en 1820, la famille de Limur habite de nouveau la demeure jusqu'en 1947. La ville de Vannes en devient alors propriétaire, y aménage son musée des Beaux-Arts de 1955 à 1968 et se préoccupe aujourd'hui de pourvoir à sa restauration.