Fue creador de la melodía Chan-chan, que ha sido versionada en todo el mundo, por diferentes exponentes y orquestas de nuestra música afrocaribeña, incluso en diferentes géneros, ritmos y manifestaciones musicales. Fue inventor del armónico, un híbrido de siete cuerdas entre la guitarra española y el tres cubano. Este instrumento pretende imitar el timbre del tres adicionando una cuerda octavada en la tercera cuerda (sol). Su afinación es igual a la guitarra. Primera cuerda mi, segunda si, tercera sol (cuerda doble octavada) y re, la, mi, afinados una octava por encima de la afinación propia de la guitarra.

Comenzó su carrera musical muy joven cuando compuso sus primeras canciones y en los años treinta formó parte de diversas agrupaciones artísticas de Santiago, como el Cuarteto de Trovadores Orientales y el Cuarteto Hatuey. También fue vocalista del conjunto de Miguel Matamoros.

En 1948, Repilado, como voz segunda y tocador de tres funda con Lorenzo Hierrezuelo el legendario dúo Los Compadres. Lorenzo, como primer vocal, se llamó Compay Primo y Repilado, como hacía la segunda voz, adoptó el sobrenombre de Compay Segundo, que le acompañaría hasta el día de su muerte. Los Compadres constituyeron todo un fenómeno de popularidad que se prolongó hasta 1955 cuando Reinaldo Hierrezuelo, hermano de Lorenzo, sustituye a Compay Segundo quien a su vez forma un nuevo grupo al que bautiza como Compay Segundo y sus muchachos.

Su fama internacional le llegó en 1997 con su participación en el disco Buena Vista Social Club, que ganó varios premios Grammy y con su aparición en la película del mismo nombre realizada por Wim Wenders.

En abril del 2002, compartió el escenario del Palacio de los Congresos de París, Francia, con el también destacado sonero Adalberto Álvarez en un concierto homenaje a la contribución sonora de Cuba en el aniversario 20 de la fundación de Radio Latina.

En los últimos años actuó ante millones de espectadores y grabó nueve discos. No pudo cumplir su sueño de llegar a la edad a la que llegó su abuela, que fue persona esclavizada y murió libre a la edad de 106 años.​

Compay Segundo Falleció en La Habana debido a una insuficiencia renal con 95 años.