Fondé par les Carmes en 1281, l’ensemble conventuel de Castelsarrasin est en grande partie détruit après la Révolution, ne laissant aujourd’hui subsister que le clocher et un portail médiévaux.
Les Révérends Pères Carmes s'implantent à Castelsarrasin en 1281 et édifient un couvent, une église et un cimetière. Devenu bien national à la Révolution, la commune acquiert le couvent le 29 mai 1791. En raison de sa situation centrale, elle envisage d'y établir sa mairie. L'église, le cloître, les dortoirs et le réfectoire sont ensuite vendus au département pour y construire les prisons, la gendarmerie et le tribunal. Les seuls vestiges sont le clocher (XIVe siècle) et un portail (fin XIIIe siècle), entrée de l'actuel espace Paul Descazeaux.
