James Forten se narodil 2.Září 1766 ve Philadelphii v Pensylvánii. Jeho rodiči byli Thomas a Sarah Forten. Byl také vnukem otroků. Jeho formativní roky strávil ve Filadelfii, a navštěvoval Quaker school Anthonyho Benezeta pro afroamerické děti. V době, kdy mu bylo osm let, pracoval pro Robert Bridges sail loft. Tady pracoval i jeho otec. Následující rok se jeho otec stal obětí nešťastné nehody na lodi a zemřel. Tato tragédie vedla k tomu, že devítiletý James musel přijmout další práci na podporu své rodiny.

postupem času se James Forten začal zajímat o politiku a vášnivě bojoval za a podporoval střídmost, volební právo žen a rovná práva Afroameričanů. V roce 1800 byl lídrem v Organizaci petice, která požadovala, aby Kongres emancipoval všechny otroky. Vzhledem k tomu, že se jednalo o rok prezidentských voleb, říkalo se, že několik prezidentských kandidátů (mezi nimi Thomas Jefferson) nebylo příliš spokojeno s černochem obhajujícím emancipaci otroků. Jeho aktivismus byl dále uznán, když napsal a vydal brožuru odsuzující Pennsylvánský zákonodárce za zákaz imigrace osvobozených černých otroků z jiných států.

během svého raného dospívání pracoval jako chlapec v prášku během revoluční války na plachetnici Royal Lewis. Poté, co byl zajat britskou armádou, byl propuštěn a vrátil se domů, aby pokračoval ve své předchozí práci. Potěšen svou prací a obětavostí byl jmenován do pozice předáka v podkroví. V roce 1798 se Bridges rozhodl odejít do důchodu a chtěl, aby Forten zůstal na starosti podkroví. Nakonec podnik vlastnil James Forten a zaměstnával téměř čtyřicet pracovníků.

v roce 1817 se Forten spojil s Richardem Allenem, zakladatelem africké metodistické biskupské církve, aby vytvořil konvenci barev. Zajímavé je, že organizace argumentovala pro migraci volných černých otroků do Kanady, ale vehementně odolávala jakémukoli hnutí za návrat na africký kontinent. Dalšími významnými muži, kteří se připojili k Fortenovi a Allenovi, byli William Wells Brown, Samuel Eli Cornish a Henry Highland Garnet.

James Forten zemřel 4. března 1842. Jeho raná léta byla věnována zajištění jeho ovdovělé matky, jeho střední roky k získání obrovského ekonomického bohatství a nápravě brutálních nespravedlností, které byly spáchány na jeho afrických Američanech, chudí lidé, a ženy.