Magistrat und Stadtverordnetenversammlung standen dem Projekt allerdings skeptisch gegenüber, vor allem befürchtete man eine Verschandelung der zu durchfahrenden Straßenzüge.
Die Liste der vor Abriss und Verschandelung geretteten Bauten ist lang; hervorzuheben sind neben dem bis 1936 wiederhergestellten Simeonstift insbesondere das Dreikönigenhaus, der Frankenturm und die Fachwerkhäuser am Hauptmarkt.
Gegen den Bau hat sich eine Bürgerinitiative gebildet, die dadurch eine Verschandelung der Landschaft befürchtet und auf ein nahe gelegenes Vogelschutzgebiet verweist.