Bis zum Abbruch des Oberen Torturms 1824 war dort das Stadtgefängnis untergebracht. 1825/26 wurde der unterhalb des Rathauses gelegene „Eylenstall“ abgebrochen und als Ersatz das neue Stadtgefängnis erbaut: „mit 2 heizbaren und einem nicht heizbaren Gefängnis[raum]“. 1952/1953 gab es Umbaumaßnahmen.