Estudió trombón con Pepe Ruellán Lequerica; después, con distintos profesores, violín, trompeta, contrabajo y guitarra. Se trasladó a San Juan y allí, con Ernesto Tizol, en cuya orquesta tocó el trombón, amplió sus conocimientos de música.

En 1917, Rafael Hernández estaba trabajando como músico en Carolina del Norte, cuando los Estados Unidos entraron a la Primera Guerra Mundial. El músico de jazz James Reese Europe reclutó a los hermanos Rafael y Jesús Hernández, junto con otros 16 puertorriqueños, para que se unieran a la orquesta Europa, la banda musical de los Harlem Hell Fighters del Ejército estadounidense.

Hernández se enroló en el ejército y fue asignado al regimiento de infantería 369 de los Estados Unidos (antes conocido como el décimo quinto regimiento de infantería, Guardia Nacional de Nueva York). El regimiento, apodado como los Harlem Hell Fighters por los alemanes, sirvió en Francia. El batallón 369 fue condecorado con la Croix de Guerre por el presidente francés.

Tras la guerra, Hernández se mudó a la ciudad de Nueva York. En 1920, viajó a Cuba, donde vivió hasta 1924, donde trabajó en las primeras audiciones de la radio cubana. A su regreso a Nueva York, organizó un trío llamado Trío Borinquen o Borincano.

En 1932, Rafael Hernández se mudó a México, donde dirigió una orquesta y entró en el Conservatorio Nacional de Música para incrementar su acervo musical. En esa época, también se convirtió en actor y creó las bandas sonoras de muchas películas mexicanas de la llamada Época de Oro.​ Durante su estancia en México, Hernández compuso la canción Qué chula es Puebla, considerada como el himno no oficial del estado.​

Hernández contrajo matrimonio con una mexicana. En 1937, escribió Lamento borincano, una de sus grandes obras; y ese mismo año compuso Preciosa, considerada como su pieza maestra. Hernández regresó a Puerto Rico en 1947, donde se convirtió en el director de la Orquesta Sinfónica de Puerto Rico. También trabajó como consultor para la emisora gubernamental WIPR.

Entre 1956 y 1959, Hernández fungió como Presidente Honorario de la Asociación de Compositores y Autores de Puerto Rico.

La obra musical de Rafael Hernández constituye un legado de incalculable valor en el pentagrama de la música puertorriqueña e hispanoamericana. Su legado abarca prácticamente todos los géneros musicales contando más de 2.000 composiciones, entre las que se encuentran: además de las ya mencionadas, Silencio, Ausencia, Perfume de gardenias, Desvelo de amor, Preciosa, la nana convertida en rumba, El cumbanchero, y paremos de contar.