Ursprünglich handelte es sich um eine Wehranlage in Form eines Wasserschlosses, dessen Gräben noch 1934 sichtbar waren, aber nach 1945 zugeschüttet wurden.
Diese ließen in der Zeit zwischen 1743 und 1744 das mittlerweile baufällig gewordene Wasserschloss abbrechen und an dessen Stelle ein neues Schlösschen im Herrenhausstil errichten.
Die Burg in Adelshofen wurde mehrfach umgebaut, zerstört und wiederaufgebaut, zuletzt 1716 als Wasserschloss Adelshofen, doch die Anlage spielte keine Rolle als Herrensitz mehr.