Im September 1974 verließ Walker Derby nach insgesamt 55 Pflichtspieleinsätzen und mit dem Drittligisten Brighton & Hove Albion fand er einen neuen Arbeitgeber.
Trotz aller Emotionen und langer Dispute des Unparteiischen mit den Spielern beider Seiten, blieb es bei den Derbys dennoch meist bei relativ fair geführten Partien.