Diese dubiose Bereicherung und anderes unehrenhaftes Verhalten reichten im Jahr 1765 für einige Anklagen von der dänischen Rentkammer, seine Amtsenthebung und die Streichung seiner Pensionsbezüge.
1881 legte er das Direktorat nieder und ließ sich 1884 ohne Pensionsbezüge in den Vorruhestand versetzen, um fortan ausschließlich musikalisch tätig zu sein.
Dies bewahrte ihn jedoch nicht davor, von den neuen nationalsozialistischen Machthabern aufgrund seiner bekanntermaßen christlich-sozialen politischen Einstellung verfolgt und schließlich mit einer Kürzung seiner Pensionsbezüge abgestraft zu werden.
