L'hôtel des douves (aujourd'hui l'hôtel de Limur) fut construit au XVIIème siècle pour Raymond Le Doulx, chanoine de la cathédrale de Vannes. Au moment de la Révolution, il fut saisi à Armand de Gouvello qui était parti en émigration et en 1795, la commission militaire chargé de juger les prisonniers de Quiberon y siégea. L'hôtel devient par la suite la propriété du maire François Mahé de Villeneuve, puis du receveur général Joseph-François Danet. Il finit par devenir, entre 1820 et 1947, la propriété de la famille de Limur [Note : Charles Jean Marie Chanu de Limur (1780-1850), fils de Jean-François-Marie Chanu (1753-1813) et de Jeanne-Louise Agathe Very de St Romain (née vers 1746 et mariée le 26 juillet 1778 à Vannes), marié le 24 mars 1816 à Françoise Calvé de Soursac (1786-1857), achète en 1819 auprès de la famille Gouvello, l’hotel de Penhouët, rue Thiers à Vannes qu’il rebaptise, Hôtel de Limur], qui lui donna son nom actuel. Ceux-ci le revendent en 1947 à la municipalité de Vannes. De 1955 à 1968, l'hôtel de Limur accueille le musée des beaux-arts. Ce bâtiment fait l’objet d’un classement au titre des monuments historiques depuis le 9 septembre 1993.