James Forten föddes fri den 2 September 1766 i Philadelphia, Pennsylvania. Hans föräldrar var Thomas och Sarah Forten. Han var också sonson till slavar. Hans formativa år spenderades i Philadelphia, och han deltog i Anthony Benezets Quaker school for African American children. När han blev åtta år gammal arbetade han för Robert Bridges sail loft. Det var här hans far arbetade också. Året därpå blev hans far offer för en olycklig båtolycka och dog. Denna tragedi resulterade i att nio år gamla James måste ta på sig ytterligare arbete för att försörja sin familj.

med tiden blev James Forten intresserad av politik och kämpade ivrigt för och stödde måttlighet, kvinnors rösträtt och lika rättigheter för afroamerikaner. År 1800 var han ledare för att organisera en framställning som krävde att kongressen skulle frigöra alla slavar. Med tanke på att detta var ett presidentval år, ryktet hade det att några av presidentkandidaterna (bland dem Thomas Jefferson) inte var alltför nöjda med en svart man som förespråkade slavarnas frigörelse. Hans aktivism erkändes ytterligare när han skrev och publicerade en broschyr som fördömde Pennsylvania lagstiftare för att förbjuda invandring av befriade svarta slavar från andra stater.

under sina tidiga tonåren arbetade han som pulverpojke under revolutionskriget på Royal Lewis segelfartyg. Efter att ha fångats av den brittiska militären släpptes han och återvände hem för att återuppta sitt tidigare jobb. Nöjd med sitt arbete och engagemang utsågs han till förman på loftet. Vid 1798 beslutade Bridges att gå i pension och ville Forten att förbli ansvarig för loftet. Så småningom ägde James Forten verksamheten och anställde nästan fyrtio arbetare.

år 1817 gick Forten med Richard Allen, grundaren av African Methodist Episcopal Church, för att bilda Färgkonventionen. Intressant nog argumenterade organisationen för migration av fria svarta slavar till Kanada, men motstod starkt någon rörelse för en återgång till den afrikanska kontinenten. Andra framstående män som gick med i Forten och Allen var William Wells Brown, Samuel Eli Cornish och Henry Highland Garnet.

James Forten dog den 4 mars 1842. Hans tidiga år hade ägnats åt att försörja sin änka mor, hans mellersta år mot att förvärva en stor ekonomisk förmögenhet och rätta till de brutala orättvisor som hade begåtts på hans kolleger afroamerikaner, fattiga människor, och kvinnor.