Um 1506 zunächst nur Haus und Hof als Sitz des Vogtes im Südwesteck („altes Schloß“) errichtet. Nach Zerstörung der herrschaftlichen Wirtschaftsgebäude im Bereich der Burg 1542 endgültige Verlagerung des herrschaftlichen Zentrums ans Obere Tor: Auf 12 bürgerlichen Grundstücken zwischen 1542 und 1580 Errichtung von Wirtschaftsgebäuden (Fruchtkästen, Scheuern, Kelter) und neuer Vogtei (1546).

1707 mit Ausnahme der Vogtei vollständig abgebrannt und wiederaufgebaut.