Джимми Янг родился 14 ноября 1948 года. Он не интересовался боксом до 14 лет, но затем у него украли радиоприемник, что побудило его пойти в боксерский зал, чтобы научиться защищаться. В 1969 году Янг принимает решение о переходе в профессиональный бокс, чтобы начать зарабатывать.