Frank Ball llegó a Elmendorf, un pequeño pueblo al sudeste de San Antonio, Texas, alrededor de 1885. A través de un préstamo del banco local abrió una fábrica para procesar algodón y la llegada del tren, pocos años después, hizo prosperar su negocio volviéndolo rico. Frank se casó con Elizabeth, y acrecentó su fortuna haciendo negocios de bienes raíces, eventualmente abrió una gran tienda en el pueblo.

La familia Ball crió en total ocho hijos, Joseph D. Ball, su segundo hijo, nació el 7 de enero de 1896. La niñez de Joe fue normal, pero era un niño de carácter retraído que disfrutaba más de la pesca y largas excursiones en solitario, que de actividades con otros chicos. Siendo ya un adolescente adquirió pasión por las pistolas y solía pasar largas horas practicando el tiro, se sabe que llegó a ser un tirador muy habilidoso.

En 1917, cuando los Estados Unidos declaran la guerra a Alemenia, Joe se enlista y es enviado al frente poco después. No existen registros sobre su desempeño durante la guerra, pero sobrevive y en 1919 es dado de baja honorablemente y regresa a Elmendorf.

A su regreso trabaja durante algún tiempo con su padre, pero al parecer, los dos años en las trincheras le hacen difícil adaptarse a la vida civil y renuncia. Habiendo aprendido algo de negocios, se da cuenta que La Prohibición ha dado lugar a una gran demanda de licor ilegal por lo que decide dedicarse al contrabando y, a pesar de los riesgos (mismos que parece disfrutar), se dedica a recorrer la región en su Ford modelo A vendiendo whisky.

A mediados de los años 20, Joe contrata a un joven afro-americano llamado Clifton Wheeler para que le ayude en el negocio, siendo un tipo inteligente y más bien taimado, pronto él queda encargado del trabajo sucio. Se ha dicho que Clifton temía a Joe, ya que cuando éste se emborrachaba, se entretenía haciéndolo bailar disparando a sus pies.