Fundado por los monjes carmelitas en 1281, el complejo conventual de Castelsarrasin fue destruido en gran parte tras la Revolución Francesa, quedando sólo el campanario y el portal medievales.
Los Reverendos Padres Carmelitas se instalaron en Castelsarrasin en 1281 y construyeron un convento, una iglesia y un cementerio. Convertido en propiedad nacional durante la Revolución Francesa, el municipio adquirió el convento el 29 de mayo de 1791. Debido a su céntrica ubicación, planeó establecer allí su ayuntamiento. La iglesia, el claustro, los dormitorios y el refectorio fueron vendidos al departamento para la construcción de cárceles, la gendarmería y el tribunal. Sólo quedan el campanario (siglo XIV) y una puerta (finales del siglo XIII), entrada a lo que hoy es el Espace Paul Descazeaux.
