En 1627, les ursulines s'établissent à Vannes et fondent sur le port une maison avec couvent et chapelle, élevée de 1688 à 1690, dont la façade regarde à l'est pour s'ouvrir sur les quais. Après la Révolution, le couvent, devenu propriété privée, est acquis par les jésuites qui y créent un collège en 1850. Amputée en 1890, puis désaffectée, la chapelle devient ensuite bibliothèque, perdant alors sa décoration intérieure. Le lambris peint est conservé en partie, ainsi que l'extérieur, dont la très belle façade au riche décor de chapiteaux.