Die Nordstaaten-Demokraten rief er dementsprechend auf, vom Prinzip der Volkssouveränität in den Territorien zugunsten der Sklavenhalter aus dem Süden Abstand zu nehmen.
Letzteres und sein Vorgehen in der Nullifikationskrise brachte ihn bei vielen Sklavenhaltern in Verruf, dass er die nationale Einheit über ihre Interessen stellte.
So formulierten die Autoren beispielsweise: „Der Bürger in den sukzessiven Gestalten des Sklavenhalters, freien Unternehmers, Administrators, ist das logische Subjekt der Aufklärung“.