Jerry Rivera est née à Humacao,

une ville située sur la côte est de Porto Rico. Il a déménagé avec sa famille à Levittown dans la ville de Toa Baja, où il a fait ses études primaires et secondaires. Toute sa famille est composée de musiciens, dont les artistes tropicaux Edwin Rivera [ es ] et sa sœur cadette Saned.

Deux autres frères, Ito et Jose, sont des musiciens instrumentaux professionnels. Ses parents, également musiciens, l'ont inspiré à devenir musicien et, enfant, il accompagnait souvent sa mère Dominga, chanteuse, et son père Edwin, guitariste et directeur du Los Barones Trio, lors de leurs spectacles.