James Forten nació libre el 2 de septiembre de 1766 en Filadelfia, Pensilvania. Sus padres fueron Thomas y Sarah Forten. También era nieto de esclavos. Sus años de formación los pasó en Filadelfia, y asistió a la escuela cuáquera de Anthony Benezet para niños afroamericanos. Cuando cumplió ocho años, ya trabajaba para el desván de Robert Bridges. Aquí es donde su padre también trabajaba. Al año siguiente, su padre fue víctima de un desafortunado accidente de navegación y murió. Esta tragedia dio lugar a que James, de nueve años de edad, tuviera que asumir un trabajo adicional para mantener a su familia.

Con el tiempo, James Forten se interesó por la política y abogó ávidamente por la templanza, el sufragio femenino y la igualdad de derechos para los afroamericanos. En 1800, fue el líder en la organización de una petición que llamaba al Congreso a emancipar a todos los esclavos. Dado que este era un año de elecciones presidenciales, se rumoreaba que algunos de los candidatos presidenciales (entre ellos Thomas Jefferson) no estaban muy contentos con un hombre negro que abogaba por la emancipación de los esclavos. Su activismo se reconoció aún más cuando escribió y publicó un folleto denunciando a la legislatura de Pensilvania por prohibir la inmigración de esclavos negros liberados de otros estados.

Durante su adolescencia, trabajó como polvorín durante la Guerra de la Independencia en el velero Royal Lewis. Después de ser capturado por el ejército británico, fue liberado y regresó a casa para reanudar su trabajo anterior. Satisfecho con su trabajo y dedicación, fue nombrado para el puesto de capataz en el desván. En 1798, Bridges decidió retirarse y quiso que Forten se mantuviera a cargo del desván. Finalmente, James Forten fue dueño del negocio y empleó a casi cuarenta trabajadores.

En 1817, Forten se unió a Richard Allen, el fundador de la Iglesia Episcopal Metodista Africana, para formar la Convención de Color. Curiosamente, la organización abogó por la migración de esclavos negros libres a Canadá, pero se resistió vehementemente a cualquier movimiento para regresar al continente africano. Otros hombres prominentes que se unieron a Forten y Allen fueron William Wells Brown, Samuel Eli Cornish y Henry Highland Garnet.

James Forten murió el 4 de marzo de 1842. Sus primeros años se dedicaron a mantener a su madre viuda, sus años intermedios a adquirir una vasta fortuna económica y rectificar las injusticias brutales que se habían perpetrado contra sus compatriotas afroamericanos, personas pobres y mujeres.