1996 wurde mit den Bauarbeiten begonnen, doch die Kosten konnten mit den Spendengeldern nicht gedeckt werden und so stockte der Wiederaufbau immer wieder.
Trotzdem bedauerte der Schlossverein die Umwidmung der Spendengelder: „Das Geld ist für die Garnisonkirche gesammelt, es wäre schön, wenn es der Garnisonkirche zuflösse“.
