Backus nasceu em Filadélfia, Pensilvânia, mas cresceu em Wilmington, Delaware. Estudou na Hill School em Pottstown. Após entrar na Universidade da Virginia para estudar química e falhar nos estudos, entrou para as forças armadas dos Estados Unidos e iniciou treinamento médico. Durante seu estágio em um hospital, foi diagnosticado com um tumor no cérebro, que foi removido com sucesso; uma placa foi instalada em sua cabeça, e ele largou o treinamento médico após nove meses e uma nova operação para substituir a placa.

Após mudar-se para Nova Iorque iniciou treinamento em técnica de rádio, e descobriu interesse pela matemática. Graduou-se na Universidade de Columbia em matemática em 1949, e entrou na IBM no ano seguinte. Durante seus três primeiros anos, John trabalhou no computador SSEC; seu primeiro grande projeto foi escrever um programa de computador para calcular as posições da lua. Em 1953 Backus desenvolveu a linguagem Speedcoding, a primeira linguagem de alto nível criada para um computador IBM.

As dificuldades contemporâneas em programação eram grandes, e em 1954 Backus montou uma equipe para definir e desenvolver o Fortran para o IBM 704. Apesar de não ser historicamente a primeira linguagem de programação de alto nível, o Fortran foi a primeira a ter grande uso. Durante a segunda metade da década de 1950, John serviu comitês internacionais para desenvolver o ALGOL 58 e o ALGOL 60, que tornou-se rapidamente o padrão para a publicação de algoritmos.

Posteriormente trabalhou em programação funcional.

Backus aposentou-se em 1991, e morreu em sua residência em Ashland, Oregon, em março de 2007, aos 82 anos de idade.