Существует две версии происхождения норфолкского пиджака, ни одна из которых не считается абсолютно достоверной.
Первая версия гласит, что данный пиджак придумал Генри Фицалан-Говард, 15-й герцог Норфолк, который использовал его в качестве охотничьей куртки в конце 60-х годов XIX века. Согласно этой теории, данный предмет одежды был впоследствии замечен принцем Уэльским и будущим королем Эдуардом VII, чья загородная резиденция находилась в Сандрингемском доме в Норфолке, и уже благодаря ему стал популярным в 80-х годах XIX века.
Другая версия, представляющая историю данного фасона более длительной, состоит в том, что норфолкский пиджак был изобретен еще в 20-х годах XIX века Томасом Куком, 1-м графом Лестером, регулярно принимавшим гостей, таких как тогдашний Принц Уэльский и будущий король Георг IV, в своем поместье Холкем в Норфолке для охоты на уток.
Как бы то ни было, история норфолкского пиджака начинается в Норфолке, откуда мода на этот предмет одежды при непосредственном содействии высших слоев английской аристократии постепенно распространилась с охоты и на другие виды спортивного досуга, требующие подвижности: велосипед, гольф, рыбалка. Залогом успеха стал свободный крой пиджака, не сковывающий движения, тяжелая и плотная ткань, обеспечивающая тепло и защиту от британских ветров и дождей и функциональные детали. Для своего времени и задач норфолкский пиджак был чрезвычайно практичным и удобным предметом гардероба.
В конце XIX века некоторое общее послабление дресс-кода впустило "деревенский" норфолкский пиджак в город.
На фотографиях ниже Бэзил Рэтбоун в фильме «Шерлок Холмс в Вашингтоне»(1943) с помощью норфолкского пиджака (как части твидового костюма) незатейливо демонстрирует свою принадлежность к джентльменам Туманного Альбиона.