Armstrong syntyi 3.helmikuuta 1898 Memphisissä, Tennesseessä. Hän sai lapsena piano-ja urkutunteja Memphisissä ja toimi pianistina ja urkurina kirkossa ja koulussaan. Hänen äitinsä ja isoäitinsä vihasivat populaarimusiikkia ja pitivät bluesia vulgaarina. Itse asiassa hänet hakattiin, koska hänellä oli kopio W. C. Handyn kappaleesta ” St. Louis Blues.”Myöhemmin hän muisteli leikkineensä” eteenpäin meneviä kristittyjä sotilaita ”kirkossa eräänä päivänä” selvällä sykkeellä”, mikä oli jonkin verran hänen pappinsa tyrmistystä.

Armstrong sai muodollisen musiikkikoulutuksensa Fisk Universityssä, Chicago College of Musicissa (sai opettajantodistuksen 1924) ja New York College of Musicissa (sai diplomin 1929). Hän jätti Fiskin vuonna 1917, kun hänen perheensä muutti Chicagoon, ja hänen ammattilaisuransa alkoi siellä työskennellessään Jonesin musiikkikaupassa South State Streetillä ”song-pluggerina”.

Jonesin musiikkikaupassa Armstrong oppi ja esitteli kaiken kaupassa saatavilla olevan musiikin, ja häntä mainostettiin ”The Jazz Wonder Child.”Täällä hän tapasi Jelly Roll Mortonin, joka oli luultavasti aikakauden paras jazzpianisti. Heidän kohtaamisestaan on tullut legendaarinen jazzhistorioitsijoiden keskuudessa. Armstrong ja Morton vaihtoivat aikansa standardeja, ja hän esitteli raskasta, jalkaa polkevaa tyyliään. Hän piti tätä tärkeänä opetuksena. Tuosta päivästä eteenpäin hän soitti raskaalla, aggressiivisella rytmikkäällä tyylillä, josta tuli hänen tavaramerkkinsä koko hänen uransa ajan.

Armstrong oli hyvin tunnettu ja arvostettu ikätovereidensa keskuudessa. Muusikoiden kehut olivat tyypillisesti samanlaisia kuin suuren basistin George ”Pops” Fosterin, joka kutsui häntä ”suureksi pianistiksi ja suureksi muusikoksi.”Hänen aikanaan piano oli rytmiosuuden keskipiste, jonka tehtävänä oli ylläpitää rytmiä ja perussointurakennetta vapauttaakseen klarinetti -, trumpetti-tai kornettisolistit mielikuvituslennoilleen. Pianonsoitto ei välttämättä keskittynyt soolosoittoon, kuten Armstrong itse todistaa: ”King Oliverin aikana ei ollut tyyliä, että pianisti soittaisi paljon sooloja. Joskus minulle tuli tarve juosta pianoa ylös ja alas ja tehdä muutamia juoksuja ja asioita, ja Joe kääntyi ympäri ja katsoi minua ja sanoi: ’Meillä on klarinetti bändissä.””

hänen nelitahtinen, jämäkkä tyylinsä takasi Armstrongille hyväksynnän ikätovereidensa keskuudessa ja hyvän seuraajan yleisön keskuudessa. Pianistina hänen varhaisiin töihinsä kuuluivat säestävät laulajat, muun muassa blues great Alberta Hunter. Armstrong oli myös hyvä organisoija ja johti omaa yhtyettään monta vuotta. Hänen muita lahjojaan olivat sovittaminen, säveltäminen ja laulaminen.

Armstrongin ura jazzin parissa kesti yli viisikymmentä vuotta ja keskittyi Chicagoon ja New Yorkiin. Ensimmäiset soittotyönsä hän sai Jonesin musiikkikauppaan tekemiensä kontaktien kautta. Hänen ensimmäinen merkittävä bändikokemuksensa oli alkuperäisen New Orleans Creole Jazz Bandin kanssa, joka soitti De Luxe Cafessa. Yhtyeeseen kuuluivat Lawrence duhé klarinetilla, Sugar Johnson ja Freddie Keppard korneteilla, Roy Palmer pasuunalla, Sidney Bechet klarinetilla ja sopraanosaksofonilla, Tubby Hall rummuilla, Jimmy Palao viululla, Bob Frank piccololla ja Wellman Braud bassolla. Se kertoo tästä yhtyeestä, jonka Armstrong kertoi yhden kuuluisimmista tarinoistaan: kun hän kysyi, millä näppäimellä he soittivat ensimmäisen numeronsa, he sanoivat hänelle: ”’Key, we don’ t know what key. Juuri kun kuulet kaksi koputusta, ala soittaa. Painoin kaiken pianon päälle, – joten mikä tahansa avain siinä olikaan, minäkin olisin siinä. Hetken päästä tunsin, mitä koskettimia he soittivat, koska siihen aikaan en usko, että he käyttivät viittä sointua enempää.

Alkuperäinen New Orleans Creole Jazz Band soitti puhtaalla, svengaavalla New Orleans-tyylillä ja menestyi varsin hyvin. Yleisössä oli usein aikansa johtavia muusikoita ja tähtiä, kuten Bill ”Bojangles” Robinson, Walkerin ja Williamsin vaudeville-ryhmä, Eddie Cantor, Al Jolson ja Sophie Tucker. King Oliver ja Johnny Dodds tulivat eräänä iltana kuuntelemaan yhtyettä ja kutsuivat Armstrongin liittymään yhtyeeseensä, King Oliverin Creole Jazz Bandiin, joka soitti Lincoln Gardensissa (myöhemmin Royal Gardens). Vuonna 1922 Louis Armstrong liittyi hänen seuraansa, ja Oliverin yhtyeeseen kuuluivat tuolloin Oliver ja Louis Armstrong korneteissa, Honoré Dutrey pasuunassa, Johnny Dodds klarinetissa, Baby Dodds rummuissa, Bill Johnson banjossa ja Armstrong pianossa. Tästä yhtyeestä on tietysti tullut yksi koko jazzhistorian tunnetuimmista ja se muodosti ytimen Louis Armstrongin Hot Five-ja Hot Seven-levytyssessioille.