James Forten blev født fri den 2.September 1766 i Philadelphia, Pennsylvania. Hans forældre var Thomas og Sarah Forten. Han var også sønnesøn af slaver. Hans formative år blev brugt i Philadelphia, og han deltog i Anthony Benesets Kvækerskole for afroamerikanske børn. Da han blev otte år gammel, arbejdede han for Robert Bridges sejlloft. Det var også her hans far arbejdede. Det følgende år blev hans far offer for en uheldig sejlulykke og døde. Denne tragedie resulterede i, at den ni år gamle James måtte påtage sig yderligere arbejde for at forsørge sin familie.

over tid blev James Forten interesseret i politik og kæmpede ivrigt for og støttede temperament, kvinders valgret og lige rettigheder for afroamerikanere. I 1800 var han førende inden for organisering af et andragende, der opfordrede Kongressen til at frigøre alle slaver. I betragtning af det faktum, at dette var et præsidentvalgår, havde rygtet det, at et par af præsidentkandidaterne (blandt dem Thomas Jefferson) ikke var alt for tilfredse med en sort mand, der fortaler for frigørelse af slaver. Hans aktivisme blev yderligere anerkendt, da han skrev og udgav en pjece, der fordømte Pennsylvania-lovgiveren for at forbyde indvandring af frigjorte sorte slaver fra andre stater.

i sine tidlige teenageår arbejdede han som pulverdreng under Revolutionskrigen på Det Kongelige sejlskib. Efter at være blevet fanget af den britiske hær blev han løsladt og vendte hjem for at genoptage sit tidligere job. Tilfreds med sit arbejde og engagement blev han udnævnt til formandens stilling på loftet. I 1798 besluttede Bridges at gå på pension og ønskede, at Forten skulle forblive ansvarlig for loftet. Til sidst ejede James Forten virksomheden og beskæftigede næsten fyrre arbejdere.

i 1817 sluttede Forten sig til Richard Allen, grundlæggeren af African Methodist Episcopal Church, for at danne Farvekonventionen. Interessant nok argumenterede organisationen for migration af frie sorte slaver til Canada, men modstod kraftigt enhver bevægelse for at vende tilbage til det afrikanske kontinent. Andre fremtrædende mænd, der sluttede sig til forten og Allen, var Vilhelm brun, Samuel Eli Cornishog Henry Highland granat.

James Forten døde den 4.Marts 1842. Hans tidlige år var blevet viet til at sørge for sin enkemor, hans mellemår mod at erhverve en enorm økonomisk formue og rette op på de brutale uretfærdigheder, der var begået over hans afroamerikanere, fattige mennesker, og kvinder.