James Forten wurde am 2. September 1766 in Philadelphia, Pennsylvania, frei geboren. Seine Eltern waren Thomas und Sarah Forten. Er war auch der Enkel von Sklaven. Seine prägenden Jahre verbrachte er in Philadelphia und besuchte Anthony Benezets Quäkerschule für afroamerikanische Kinder. Als er acht Jahre alt wurde, arbeitete er für Robert Bridges’s Sail Loft. Hier arbeitete auch sein Vater. Im folgenden Jahr wurde sein Vater Opfer eines unglücklichen Bootsunfalls und starb. Diese Tragödie führte dazu, dass der neunjährige James zusätzliche Arbeit aufnehmen musste, um seine Familie zu ernähren.

Im Laufe der Zeit interessierte sich James Forten für Politik und setzte sich eifrig für Mäßigung, Frauenwahlrecht und gleiche Rechte für Afroamerikaner ein. Im Jahr 1800 war er führend bei der Organisation einer Petition, die den Kongress aufforderte, alle Sklaven zu emanzipieren. Angesichts der Tatsache, dass dies ein Präsidentschaftswahljahr war, gab es Gerüchte, dass einige der Präsidentschaftskandidaten (unter ihnen Thomas Jefferson) nicht allzu zufrieden mit einem schwarzen Mann waren, der sich für die Emanzipation von Sklaven einsetzte. Sein Aktivismus wurde weiter anerkannt, als er eine Broschüre schrieb und veröffentlichte, in der er die Legislative von Pennsylvania wegen des Verbots der Einwanderung befreiter schwarzer Sklaven aus anderen Staaten anprangerte.

Während seiner frühen Jugend arbeitete er als Pulverjunge während des Unabhängigkeitskrieges auf dem Royal Lewis Segelschiff. Nachdem er von der britischen Armee gefangen genommen worden war, wurde er freigelassen und kehrte nach Hause zurück, um seinen vorherigen Job wieder aufzunehmen. Zufrieden mit seiner Arbeit und seinem Engagement wurde er zum Vorarbeiter auf dem Dachboden ernannt. 1798 beschloss Bridges, sich zurückzuziehen, und wollte, dass Forten für das Loft verantwortlich blieb. Schließlich besaß James Forten das Geschäft und beschäftigte fast vierzig Arbeiter.

1817 schloss sich Forten mit Richard Allen, dem Gründer der African Methodist Episcopal Church, zusammen, um die Convention of Color zu bilden. Interessanterweise plädierte die Organisation für die Migration freier schwarzer Sklaven nach Kanada, widersetzte sich jedoch vehement jeder Bewegung für eine Rückkehr auf den afrikanischen Kontinent. Andere prominente Männer, die sich Forten und Allen anschlossen, waren William Wells Brown, Samuel Eli Cornish und Henry Highland Garnet.

James Forten starb am 4. März 1842. Seine frühen Jahre waren der Versorgung seiner verwitweten Mutter gewidmet, seine mittleren Jahre dem Erwerb eines riesigen wirtschaftlichen Vermögens und der Behebung der brutalen Ungerechtigkeiten, die seinen Afroamerikanern, Armen und Frauen angetan worden waren.