L'usage, autrefois, est d'enfermer les prisonniers dans les tours de l'enceinte : porte-prison, tour du Connétable, tour des Filles, ou au Petit-Couvent, bâtiments peu fonctionnels et dispersés. Une nouvelle prison est construite en 1825-1832 sur l'emplacement de la moitié orientale de l'ancien couvent des carmélites de Nazareth. L'architecte vannetais Louis-Philippe Brunet-Debaines élève un vaste quadrilatère de bâtiments à plusieurs niveaux, centrés autour d'une chapelle polygonale encore debout aujourd'hui malgré le terrible incendie de 1871.