No tardaron en llamar la atención de algunos músicos santiagueros que solicitaron los servicios de Ibrahim para cantar en toda una serie de orquestas, concretamente el Conjunto Wilson, el Conjunto Sorpresa y Maravilla Beltrán. Posteriormente cantó con la mejor agrupación musical de Santiago, la Orquesta Chepín-Chovén, un combo de jazz muy influyente, dirigido por el compositor Electo Rosell (conocido artísticamente como Chepín).

En 1955, obtuvo un éxito con el disco El platanal de Bartolo.. Esto le dio algo de fama pero la canción tuvo repercusiones más amplias sin que su nombre apareciera en los créditos.

En 1957 se mudó a La Habana y trabajó con la legendaria Orquesta Ritmo Oriental, del gran Benny Moré, tal vez el músico cubano más importante del Siglo XX antes de entrar de nuevo al grupo de Pacho Alonso, que también se había ido a La Habana. Ahora se llamaban Los Bocucos, nombre tomado de un tambor que se usa en el carnaval santiaguero. En todas estas encamaciones, Ferrer era quien cantaba las guarachas, los sones y otros números a contra ritmo. Pero su emoción pertenecía más a lo clásico, a la forma más cadenciosa y destilada del bolero.

En 1962, Los Bocucos hicieron una gira por el mundo socialista y se presentaron en la Féte de1’Humanité, en París, para el Partido Comunista Francés, en la Exposición Vemo en Praga y, finalmente, en el Teatro Boishoi de Moscú. Ferrer se quedó en Los Bocucos hasta su retiro en 1991. Juan de Marcos González, el director musical del Grupo Sierra Maestra y asesor de arreglos y grabación en las sesiones del Buena Vista Social Club, pensó de inmediato en Ibrahim y fue a su casa a pedirle que grabara con ellos.

Ferrer canta en el álbum Afro-Cuban All Stars, que fuera nominado para el Grammy, y en el álbum Buena Vista Social Club, ganador de un Grammy y más de 5 millones de copias vendidas. Buena Vista Social Club presenta a Ibrahim Ferrer, producido por Ry Cooder vendió un millón y medio de copias. Este disco demuestra sus formidables habilidades para improvisar ritmos y, lo que es más importante, su maestría del bolero: el más notable es Silencio, donde canta a dueto con Omara Portuondo.