W 1886 roku 15 pracowników fabryki broni Royal Arsenal założyło klub Dial Square FC. Do jego powstawania najbardziej przyczynił się David Danskin. Szkocki inżynier wpłacił na rzecz powstania klubu 3 szylingi, pozostali wyłożyli po 6 starych pensów. Zebrane pieniądze wydano na kupno pierwszej w historii futbolówki. Danskin namówił do gry byłych zawodników Nottingham Forest - Freda Beardsley'a i Norrisa Batesa. Ci napisali list do poprzedniego pracodawcy z prośbą o przesłanie strojów dla nowej drużyny. Nottingham przekazał Dial Square komplet koszulek i piłkę. W pierwszym spotkaniu, rozegranym 11 grudnia 1886 roku, Dial Square pokonał Eastern Wanderers 6:0. Kilka tygodni później zmieniono nazwę klubu na Royal Arsenal. Pierwsze sukcesy przyszły już po trzech latach. W sezonie 1889/90 drużyna zdobyła Kent Senior Cup i London Charity Cup. Wtedy też Royal Arsenal pierwszy raz zagrał w Pucharze Anglii. Rok później zdobył London Senior Cup. W 1891 roku działacze zmienili nazwę na Woolwich Arsenal i przekształcili klub na zawodowy. Ta decyzja spowodowała, że London Football Association wykluczyła Arsenal ze wszystkich lokalnych rozgrywek. Londyńczycy próbowali założyć własną ligę, ale z pomysłu nic nie wyszło. Z ratunkiem przyszła Angielska Federacja Piłkarska (FA), która od sezonu 1892/93 zaprosiła Woolwich do II ligi.
"Kanonierzy" grali w niej przez 11 lat, do 1899 roku zajmowali miejsca w środku tabeli. Awans z drugiego miejsca za Preston udało się wywalczyć dopiero w 1904 roku. Wtedy zaczęły się kłopoty. Początek XX wieku był złotym okresem dla futbolu, ale nie dla Woolwich Arsenal. Drużyna rozgrywała mecze na peryferiach Londynu, frekwencja na meczach była bardzo mała. A w owym czasie o kondycji finansowej klubów decydowały wpływy z biletów. Z klubu odeszły największe gwiazdy jak Tim Coleman i Bert Freeman, ale i to nie poprawiło sytuacji. W 1910 roku ogłoszono bankructwo i wystawiono klub na sprzedaż. Przejął go biznesmen, polityk i właściciel Fulham - Henry Norris. By rozwiązać problemy Woolwich, nowy prezes chciał połączyć oba kluby. Na to nie zgodziła się jednak FA, podobnie jak na pomysł, by Woolwich rozgrywał spotkania na Craven Cottage (stadion Fulham). Później FA stwierdziła, że Norris nie może być właścicielem dwóch klubów. Biznesmen zrezygnował więc z Fulham.
W 1913 roku klub spadł do II ligi, ale udało mu się wynieść z odludnego Plumstead na Highbury. Rok później drużyna znów zmieniła nazwę - tym razem na Arsenal. W sezonie 1915 londyńczycy zajęli 5. miejsce w drugiej lidze. Potem rozgrywki zawieszono na cztery lata z powodu I wojny światowej. Po jej zakończeniu pierwszą ligę powiększono z 20 do 22 zespołów. Nie wiedziano jednak, w jaki sposób "dobrać" dwie dodatkowe drużyny. W grę wchodziło przywrócenie zespołów, które spadły - Chelsea i Tottenhamu, zajmujących kolejno 19. i 20. pozycję bądź drużyn z 3. (Barnsley) i 4. (Wolverhampton) miejsca w II lidze. Sprawę skomplikował jednak wyrok sądu, który uznał, że mecz 18. w lidze Manchesteru United z Liverpoolem (2:0) był ustawiony. Gdyby MU nie wygrało tego spotkania, spadłoby wraz z Tottenhamem do II ligi. Szybko ustalono, że pierwszym zespołem dokooptowanym do I ligi będzie Chelsea. Wtedy Norris poszedł do działaczy Liverpoolu i zaproponował, by wystąpili z wnioskiem, żeby drugim zespołem był piąty w drugiej lidze Arsenal. Co skłoniło działaczy "The Reds" do przyjęcia tej propozycji? Gdyby tego nie zrobili, Norris zgłosiłby wniosek, by Liverpool i MU wyrzucić z ligi za ustawianie meczów. Tym sposobem Norris zapewnił sobie dwa glosy. Kolejne trzy dostał od Chelsea, Preston i Derby za to, że nie kwestionował tego, że zespoły te powinny grać w powiększonej lidze. Czyli razem z własnym Arsenal miał już pięć głosów. Ale w głosowaniu brało udział 41 klubów. Gdy do niego doszło, 18 poparło, by do I ligi trafił Arsenal, 8 opowiedziało się za Tottenhamem. Według plotek przychylność działaczy Norris kupił za wielkie pieniądze. Do dziś nikt jednak tego nie udowodnił.
Arsenal grał więc w pierwszej lidze, ale bez sukcesów, coraz częściej bronił się przed spadkiem. W kwietniu 1925 roku Norris zatrudnił Herberta Chapmana i zapewnił mu potężny budżet na transfery. Norris mógł sobie na to pozwolić, bo dzięki przeprowadzce na Highbury sytuacja finansowa klubu była bardzo dobra. Pierwszym zakupem po przyjściu Chapmana było sprowadzenie z Sunderlandu 34-letniego Charliego Buchana. W 1927 roku "Daily Mail" oskarżyło Norrisa o oszustwo przy tym transferze. Były to czasy, w których zarobki piłkarzy były limitowane. A napastnik Sunderlandu dostał w kontrakcie dodatkowe, a nie zapisane w kontrakcie pieniądze za zmianę barw klubowych. W 1929 roku FA ukarała prezesa Arsenalu dożywotnim zakazem działalności w sporcie. Buchan jednak został w Arsenalu i po porażce z Newcastle 0:7 namówił szkoleniowca na zmianę taktyki.Już w pierwszym sezonie pod wodzą Chapmana Arsenal zajął najlepsze w historii, drugie miejsce w lidze. Ale potem było już gorzej, przez kilka sezonów drużyna kończyła rozgrywki w środku tabeli. W sezonie 1926/27 Arsenal pierwszy raz zagrał w finale Pucharu Anglii i przegrał 0:1 z Cardiff City. Pieniędzy jednak nie brakowało, więc Chapman kupował kolejnych piłkarzy: Eddiego Hapgooda, Davida Jacka, Aleksa Jamesa i Cliffa Bastina. To oni poprowadzili zespół do pierwszego w historii trofeum. W 1930 roku pokonał w finale Pucharu Anglii Huddersfield 3:0. Rok później wywalczył mistrzostwo Anglii. Następny sezonie był rozczarowaniem - drugie miejsce i przegraną w finale Puchar Anglii przyjmowano jako porażkę. Potem nadszedł jeden z najlepszych okresów w historii klubu. Przez trzy kolejne sezony (1932/33, 1933/34 i 1934/35) zdobywał mistrzostwo Anglii. Jedynym zgrzytem w tamtym okresie była kompromitująca porażka w Pucharze Anglii z trzecioligowym, amatorskim Walsall w sezonie 1932/33. Co prawda w zespole szalała wtedy grypa, ale do dziś porażka 0:2 uznawana jest za jedną z największych niespodzianek w historii Pucharu Anglii. W tym meczu nerwy puściły nawet Chapmanowi. Tommy Black, po którego faulu podyktowano rzut karny dla Walsall, został kilka dni później sprzedany do Playmouth.
W styczniu 1934 roku zmarł Chapman, a jego następcą został George Allison, który poprowadził zespół do kolejnych sukcesów. W 1936 roku wywalczył Puchar Anglii, dwa lata później mistrzostwo. W czasie wojny zawieszono rozgrywki, ale rozgrywano nieformalne Football League War Cup South (1942/42) i London or Southern League (1940/41, 1942/43, 1943/44).
W listopadzie 1945 roku Arsenal zagrał jeden z najbardziej kontrowersyjnych meczów w swojej historii. Na White Hart Lane towarzysko spotkał się z Dynamem Moskwa. W składzie Arsenalu znalazło się sześciu zawodników z innych klubów ze Stanley'em Matthewsem i Stanem Mortensenem na czele. "Gramy z pierwszą reprezentacją Anglii?" - pytali Rosjanie i grozili, że nie wyjdą na boisko. Także sędzia zastanawiał się nad rozpoczęciem spotkania z powodu gęstej mgły. Kibice mówili potem, że praktycznie nic nie widzieli. Niewiele było widać także z murawy - do dziś nie jest pewne, kto zdobywał gole. Do przerwy Arsenal prowadził 3:1, by przegrać mecz 3:4. Po spotkaniu Anglicy oskarżyli Dynamo, że w jego składzie grało 12 zawodników. Dodatkowo moskwianie mieli w przerwie przy niekorzystnym wyniku prosić sędziego, by przerwał spotkanie. Goście z kolei twierdzili, że londyńczycy grali bardzo brutalnie, a trener George Allison postawił spotkanie u bukmachera.
Pierwszym sukcesem po wojnie było mistrzostwo w sezonie 1947/1948. "Kanonierzy" tracili wówczas średnio 0,77 gola na mecz. W 1950 roku Arsenal zdobył Puchar Anglii, w kolejnym sezonie był bliski wygrania podwójnej korony. Ale pod koniec sezonu skład przetrzebiły kontuzje, a Arsenal przegrał dwa ostatnie mecze, w tym decydujące o tytule spotkanie z Manchesterem United. Tydzień później przegrał w finale Pucharu Anglii z Newcastle 0:1. Rok później Arsenal zdobył mistrzostwo. Na kolejne musiał czekać 17 lat. Potem londyńczycy stali się ligowymi przeciętniakami. Zatrudniano coraz gorszych szkoleniowców - jak Billy Wright. Jedynym piłkarzem Arsenalu, który zdobył z Anglią mistrzostwo świata w 1966 roku był George Eastham. Pomocnik londyńczyków nie zagrał jednak w turnieju ani minuty.
Lepsze czasy dla Arsenalu nadeszły dopiero po objęciu stanowiska szkoleniowca przez Bertiego Mee. Jego przyjściu towarzyszyło wiele kontrowersji. Do tej pory uznawany był za świetnego fizjoterapeutę, ale nie miał żadnego doświadczenia trenerskiego. Mee od początku miał dużo szczęścia. W 1966 roku juniorzy Arsenalu zdobyli młodzieżowy Puchar Anglii. Po kilku latach Charlie George, John Radford i Ray Kennedy stanowili już o sile pierwszej drużyny. W 1968 i 1969 roku Arsenal dochodził do finału Pucharu Ligi i za każdym razem przegrywał. Najpierw z Leeds United 0:1, a potem z trzecioligowym Swindon Town 1:3. W 1970 roku zespół zdobył pierwsze w historii trofeum europejskie - Puchar Miast Targowych. Rok później Arsenal zdobył pierwszą w historii podwójną koronę. A sezon zaczął się fatalnie - od porażki 0:1 z Evertonem. Walka o mistrzostwo rozstrzygnęła się w ostatniej kolejce. Arsenal na White Hart Lane pokonał Tottenham 1:0 i o jeden punkt wyprzedził Leeds. W Pucharze Anglii londyńczycy wygrali z Liverpoolem 2:1. Świętowanie sukcesu sparaliżowało Londyn, na jego ulice wyszło 250 tysięcy fanów Arsenalu.
W latach 1978-80 Arsenal trzy razy dochodził do finału Pucharu Anglii. Wygrywał tylko raz - 3:2 z Manchesterem United w 1979 roku. Dzięki temu triumfowi rok później londyńczycy grali w Pucharze Zdobywców Pucharów. W półfinale jako pierwsza angielska drużyna pokonała Juventus 1:1 i 1:0. W finale Arsenal grał z Valencią. Po 120 minutach było 0:0 i o zwycięstwie musiały zadecydować rzuty karne. Dla Arsenalu nie trafili Liam Brady i Graham Rix, u Hiszpanów spudłował tylko Mario Kempes i PZP pojechał do Valencii. Na kolejne sukcesy londyńczycy czekali do 1986 roku, gdy posadę trenera na Hughbury objął George Graham. To on wprowadził do drużyny Tony'ego Adamsa. Wraz z Vivem Andersonem i Kennym Sansomem tworzyli jedną z najlepszych defensyw w historii ligi. Już w pierwszym sezonie Graham, po zwycięstwie w finale nad Liverpoolem 2:1, zdobył Puchar Ligi. "Wielokrotnie graliśmy lepiej, ale to, co osiągnęliśmy na końcu, czyni ten finał jednym z najważniejszych momentów w historii Arsenalu. To świetny początek mojej pracy w Arsenalu" - mówił po tym zwycięstwie Graham. Rok później mógł obronić to trofeum, ale w finale przegrał z Luton Town 2:1. Dwa lata później Arsenal w niesamowitych okolicznościach po 18 latach odzyskał mistrzostwo Anglii po zwycięstwie w decydującym spotkaniu z Liverpoolem 0:2.Sukces powtórzył dwa lata później i zadebiutował w Pucharze Europy Mistrzów Krajowych, gdzie odpadł w II rundzie. Po sukcesie w 1989 roku Arsenal nie grał w PEMK, bo angielskie drużyny były wykluczone z powodu tragedii na stadionie Hoysel. W kolejnym sezonie londyńczycy zajęli słabe 10. miejsce w lidze, ale zdobyli Puchar Ligi (2:1 z Sheffield Wednesday) i Puchar Anglii (2:1 z Sheffield Wednesday). To jedyny przypadek w historii angielskiego futbolu, by te same drużyny spotkały się w jednym roku w finałach dwóch krajowych pucharów. W kolejnym sezonie Arsenal zajął 4. miejsce w lidze i zdobył Puchar Zdobywców Pucharów, ogrywając w finale Parmę 1:0.
Rok później Arsenal miał szanse zostać pierwszą drużyną, która obroni PZP. Ale w pamiętnym finale w Paryżu to Real Saragossa wygrała 2:1, strzelając drugiego gola po fatalnym błędzie Davida Seamana. Niewiele wcześniej w atmosferze skandalu z klubu odszedł Graham. Jego następcami byli Stewart Houston i Bruce Rioch. Najlepszą recenzją pracy tego ostatniego jest to, że sprowadził na Highbury Dennisa Bergkampa.
Gdy w 1996 roku zespół objął Arsene Wenger, nie wzbudził zaufania kibiców i piłkarzy. Francuz wprowadził niepraktykowany w Anglii zwyczaj wyjazdów na zgrupowania w przeddzień meczów. "W tym czasie francuska liga była zupełnie u nas nieznana. Anglicy uważali i nadal uważają, że nie jest dość sexy. W ich oczach więcej wdzięku ma Bundesliga" - wspomina na łamach "Cahiers de Football", zajmujący się francuską ligą w dzienniku "Liverpool Echo", Ric George. Z inicjatywy Wengera Arsenal kosztem 10 milionów funtów wybudował nowoczesny ośrodek treningowy w Shenley z kilkoma boiskami i hotelem. Piłkarze Wengera zaczęli leczyć się w znalezionej przez niego klinice na południu Francji, gdzie nie tylko opieka medyczna przyśpiesza leczenie, ale również klimat i krajobraz. Wenger, z wykształcenia ekonomista słynie z tego, że prowadzi biznes klubowy oszczędnie - według zasady tanio kupić, drogo sprzedać. Za jedyne 500 tysięcy funtów sprowadził Nicolasa Anelkę, z którym Paris Saint-Germain nie chciał podpisać zawodowego kontraktu. Po dwóch latach sprzedał go za 30 milionów dolarów Realowi Madryt. W zamian kupił Thierry'ego Henry'ego, który zupełnie nie sprawdził się w Juventusie Turyn.
Już w pierwszy sezonie w Anglii Wenger otarł się o mistrzowski tytuł. Jego piłkarze zakończyli sezon na 3. miejscu. Przed startem do nowego sezonu Francuz wzmocnił skład głównie cudzoziemcami. Sprowadził ich na Highbury aż tyle, że gdyby zechciał, w meczu mógłby nie wystąpić ani jeden Anglik. Dziś jest ich w kadrze pierwszego zespołu 23! Angielska prasa nazwała politykę Wengera "rewolucją francuską". W pewnym momencie w Arsenalu doszło do konfliktu między piłkarzami angielskimi i francuskimi. Były reprezentacyjny napastnik Anglii Wright nie chciał się pogodzić ze stratą miejsca w pierwszym składzie na rzecz 18-letniego Anelki. W obronie ulubieńca stanęła londyńska prasa, która zarzuciła Wengerowi bezzasadne forowanie rodaków. "Przed ustaleniem składu nie zaglądam zawodnikom w paszporty" - odpowiedział ze spokojem Wenger (powtarza te słowa do dziś).Prasa pisała, że francuscy gracze trzymają się razem poza boiskiem, ale również i na nim. Na przykład nawołują się po francusku, co nie sprzyja porozumieniu z pozostałymi. "To nonsens. Gdzie jest powiedziane, że zawodnicy w drużynie muszą być koniecznie przyjaciółmi. Niech poza boiskiem każdy spędza czas z tym, z kim chce. Język? Skoro Anelka jeszcze się go nie nauczył wystarczająco, nie mogę postawić mu ultimatum: mów po angielsku albo milcz" - tłumaczył Wenger.
Potem korzystał już nie tylko z francuskich piłkarzy, których zaczęli doceniać i inni, w tym największy rywal Alex Ferguson z Manchesteru United.
Zaledwie dwa lata po objęciu posady szkoleniowca Kanonierów, Wenger poprowadził Arsenal do zdobycia drugiej w historii podwójnej korony - triumfując w rozgrywkach Premier League oraz FA Cup. W kolejnych latach The Gunners prowadzili ostrą walkę o prym w Anglii z Czerwonymi Diabłami. Kolejny tytuł Arsenal zdobył w 2002 roku, w którym Kanonierzy sięgnęli także po Puchar Anglii. Rok później obronili tytuł FA Cup.
Największym sukcesem Arsene Wengera był sezon 2004, kiedy Kanonierzy zwyciężyli w lidze, nie odnosząc żadnej porażki, co przeszło do historii angielskiej piłki. Niezwyciężona passa trwała przez 49 spotkań. Wówczas w drużynie z północnego Londynu występowały największe gwiazdy europejskiego futbolu - Thierry Henry, Dennis Bergkamp, Marc Overmars, Patrick Vieira, Cesc Fabregas, Robert Pires, Kolo Toure, Fredrik Ljungberg czy Sol Campbell.
Sezon 2005/06 okazał się porażką w Premier League, jednak przyniósł pierwszy finał Ligi Mistrzów w historii klubu. Kanonierzy po kontrowersyjnym spotkaniu przegrali z Barceloną 2-1. Dwa lata później z klubu odszedł Thierry Henry oraz Freddie Ljungberg, a krytycy twierdzili, że Arsenal straci wielką czwórkę Premier League na rzecz Tottenhamu Hotspur. Kanonierzy szybko uciszyli niedowiarków, wspaniale rozpoczynając sezon i liderując w nim do stycznia. The Gunners byli jednak niedoświadczonym zespołem i pomimo świetnej gry, gdy klub nawiedziły kontuzje, Arsenal stracił pozycję lidera na rzecz Manchesteru United, a później także drugą lokatę, którą zajęła Chelsea.
Już w 1888 roku, czyli zaledwie 2 lata po założeniu Arsenalu, klub posiadł swój pierwszy herb [patrz-1]. Widniały na nim trzy kolumny, które wyglądały nieco jak kominy, w rzeczywistości były to jednak armaty zwrócone ku górze. Pojawienie się armat wiązało się z faktem, że wielu ówczesnych piłkarzy The Gunners było pracownikami fabryki broni w Borough of Woolwich [tam też początkowo grali, na następujących obiektach: Plumstead Common, Sportsman Ground, Manor Ground i Invicta Ground; W 1913 roku klub przeniósł się na Highbury - patrz, "Highbury Stadium"], a w sama okolica słynęła z licznych zakładów zbrojeniowych o bogatej historii.
Bardzo dawno temu, bowiem pod koniec XIX wieku, herby nie miały jeszcze takiego znaczenia jak obecnie. Nikt się z nimi specjalnie nie identyfikował. Nie miały statusu marki. Koszulki także były raczej zwyczajne, chyba, że chodziło o bardzo prestiżowe spotkanie, na przykład finał Pucharu Anglii. Herbu używano jedynie w oficjalnych listach i pismach klubu oraz programach meczowych.
Po przeniesieniu się klubu w 1913 roku na Highbury, nikt nie wiedział, czy Kanonierzy podtrzymają tradycję armat i swoje związki z Woolwich. The Gunners zdecydowali się jednak zachować swój znak rozpoznawczy w postaci armat. Zmieniono jedynie nazwę - Woolwich Arsenal stał się Arsenalem. W końcu nastała I Wojna Światowa i rozgrywki zawieszono na 4 lata. W sezonie 1919/1920 przywrócono je do życia, musiało jednak minąć trochę czasu, zanim wszystko się unormowało. W tym burzliwym okresie herb w ogóle nie funkcjonował. W końcu jednak, w sezonie 1922/23, w pierwszym programie meczowym przygotowanym na spotkanie z Burlney, pojawił się nowy herb [patrz-2]. Był to dosyć śmiały projekt. 3 proste armaty zwrócone ku górze zastąpiono jedną, narysowaną przestrzennie i zwróconą ku wschodowi. Herbu tego używano jedynie przez 3 lata, a w sezonie 1925-26 zastąpiono go nowym [patrz-3]. Różnice były zasadnicze: Armata tym razem zwrócona była w lewą stronę i nie była przedstawiona przestrzennie. Po prawej stronie znajdował się, jakże bliski każdemu sympatykowi, napis "The Gunners." 
W sezonie 1949/1950 pojawił się nowy herb, prawdopodobnie najsłynniejszy [patrz-5]. Ujrzeć go można było w programie przedmeczowym. Armata była zwrócona w lewą stronę, napis "Arsenal" był napisany gotycką czcionką, a na dole herbu widniały wspaniałe słowa: Victora Concordia Crescit. Słowa te znane były kibicom już na koniec sezonu 1947/48, a wypowiedział je [a w zasadzie zapisał] Harry Homer, będący autorem programu meczowego. Można było wówczas wyczytać: "[...]Próbuję znaleźć odpowiedni cytat, który podsumowałby ten wspaniały sezon w wykonaniu Toma Whittakera, Joe'a Mercera i wszystkich ludzi związanych z Arsenalem. Może posłużę się łaciną? 'Victoria Concordia Crescit'. Oznacza to: 'Harmonia rodzi zwycięstwo'."
Przez kolejne 53 lata projekt ten praktycznie się nie zmienił. Przeszedł jedynie pewne zabiegi kosmetyczne [patrz-6]. W sezonie 2001/02 dodano więcej żółtego koloru, ze względów komercyjnych [patrz-7]. W ten sposób biało-złoty napis "Arsenal" stał się zółty. Poza tym wyraźniejszy stał się napis Vicotra Concordia Crescit, który "przemalowano" na kolor czerwony.