James Forten syntyi vapaana 2.syyskuuta 1766 Philadelphiassa, Pennsylvaniassa. Hänen vanhempansa olivat Thomas ja Sarah Forten. Hän oli myös orjien pojanpoika. Nuoruusvuotensa hän vietti Philadelphiassa ja kävi Anthony Benezetin afroamerikkalaisille lapsille tarkoitettua kveekarikoulua. Kun hän täytti kahdeksan vuotta, hän työskenteli Robert Bridgesin purjeveneellä. Täällä hänen isänsäkin työskenteli. Seuraavana vuonna hänen isänsä joutui onnettomaan veneilyonnettomuuteen ja kuoli. Tämä murhenäytelmä johti siihen, että yhdeksänvuotiaan Jamesin oli otettava lisätyötä elättääkseen perheensä.

ajan myötä James Forten kiinnostui politiikasta ja kampanjoi innokkaasti raittiuden, naisten äänioikeuden ja afroamerikkalaisten yhtäläisten oikeuksien puolesta ja kannatti niitä. Vuonna 1800 hän johti adressin järjestämistä, jossa vaadittiin kongressia vapauttamaan kaikki orjat. Ottaen huomioon, että tämä oli presidentinvaalien vuosi, huhu oli se, että muutama presidenttiehdokkaat (joukossa Thomas Jefferson) eivät olleet kovin tyytyväisiä musta mies puoltaa vapauttamista orjia. Hänen aktivisminsa tunnustettiin, kun hän kirjoitti ja julkaisi pamfletin, jossa hän arvosteli Pennsylvanian lainsäädäntöelintä siitä, että se kielsi vapautettujen mustien orjien maahanmuuton muista osavaltioista.

varhaisteini-ikäisenä hän työskenteli puuteripoikana vapaussodan aikana Royal Lewisin purjelaivalla. Jäätyään brittiarmeijan vangiksi hänet vapautettiin ja hän palasi kotiin jatkamaan aiempaa työtään. Tyytyväisenä työhönsä ja omistautuneisuuteensa hänet nimitettiin työnjohtajan virkaan parvelle. Vuoteen 1798 mennessä Bridges päätti jäädä eläkkeelle ja halusi Forten pysyvän ullakon johdossa. Lopulta James Forten omisti yrityksen ja työllisti lähes neljäkymmentä työntekijää.

vuonna 1817 Forten liittoutui afrikkalaisen Metodistipiisppikirkon perustajan Richard Allenin kanssa muodostaen värillisten konventin. Mielenkiintoista on, että järjestö puolusti vapaiden mustien orjien muuttoa Kanadaan, mutta vastusti kiivaasti kaikkia liikkeitä Afrikan mantereelle palaamiseksi. Muita merkittäviä Forten ja Allenin jäseniä olivat William Wells Brown, Samuel Eli Cornish ja Henry Highland Garnet.

James Forten kuoli 4. maaliskuuta 1842. Hänen varhaisvuotensa oli omistettu leskeksi jääneen äitinsä elättämiselle, keski-ikänsä suunnattoman taloudellisen omaisuuden hankkimiselle ja niiden julmien epäoikeudenmukaisuuksien korjaamiselle, joita hänen afroamerikkalaisille, köyhille ja naisille oli tehty.