Caldwell nació en una casa de los bosques de Moreland (Georgia). Hijo de un pastor presbiteriano, siempre simpatizó políticamente con los obreros, pues él mismo había tenido varios oficios: fue jugador profesional de fútbol americano (era alto y fuerte), jornalero del algodón, periodista, corresponsal de guerra y, finalmente, escritor y guionista.