James Forten nasceu livre, em 2 de setembro de 1766, em Filadélfia, Pensilvânia. Seus pais eram Thomas e Sarah Forten. Era também neto de escravos. Seus anos de formação foram passados na Filadélfia, e ele estudou na escola Quaker de Anthony Benezet para crianças afro-americanas. Quando fez oito anos, trabalhava para o veleiro de Robert Bridges. Foi aqui que o pai dele também trabalhou. No ano seguinte, seu pai foi vítima de um infeliz acidente de barco e morreu. Esta tragédia resultou em James de nove anos de idade ter que assumir um trabalho adicional para sustentar sua família.Com o tempo, James Forten interessou-se pela política e fez campanha e apoiou a temperança, o sufrágio feminino e a igualdade de direitos para os afro-americanos. Em 1800, ele foi o líder na organização de uma petição que pedia ao Congresso para emancipar todos os escravos. Dado o fato de que este foi um ano de eleições presidenciais, havia rumores de que alguns dos candidatos presidenciais (entre eles Thomas Jefferson) não estavam muito satisfeitos com um homem negro defendendo a emancipação dos escravos. Seu ativismo foi reconhecido ainda mais quando ele escreveu e publicou um panfleto denunciando a legislatura da Pensilvânia por proibir a imigração de escravos negros libertados de outros estados.

durante a sua adolescência, trabalhou como moço de pólvora durante a Guerra Revolucionária no navio de vela Royal Lewis. Depois de ser capturado pelo exército britânico, ele foi liberado e voltou para casa para retomar seu trabalho anterior. Satisfeito com seu trabalho e dedicação, ele foi nomeado para o cargo de capataz no loft. Em 1798, Bridges decidiu retirar-se e queria que Forten permanecesse no comando do loft. Eventualmente, James Forten era dono do negócio e empregava quase quarenta trabalhadores.Em 1817, Forten juntou-se a Richard Allen, fundador da Igreja Episcopal Metodista Africana, para formar a Convenção de cor. Curiosamente, a organização defendeu a migração de escravos negros livres para o Canadá, mas veementemente resistiu a qualquer movimento para um retorno ao continente africano. Outros homens proeminentes que se juntaram a Forten e Allen foram William Wells Brown, Samuel Eli Cornish e Henry Highland Garnet.James Forten morreu em 4 de Março de 1842. Seus primeiros anos tinham sido dedicados a prover para sua mãe viúva, seus anos médios para adquirir uma vasta fortuna econômica e corrigir as injustiças brutais que haviam sido perpetradas em seus companheiros afro-americanos, pobres e mulheres.