Después de tocar en los lugares latinos de la Ciudad de Nueva York, Colón se unió a la joven orquesta de Rafi Val y La Diferente. La primera grabación de Gilberto Colón fue en 1971, colaborando en el piano para Rafi Val en su álbum La Diferente. Colón siguió presentándose y grabando en los subsiguientes álbumes de La Diferente (La Sociedad 72´ y Fuerza Bruta 74´).

Ya 1975 Colón se acercó a Héctor Lavoe con el fin de unirse a su orquesta.

Para 1977, Colón participó en la grabación del álbum Comedia, siendo esa su primera grabación con Lavoe. En ese mismo álbum, Colón interpreta un extenso solo de piano en la canción Bandolera que le valió el premio de Mejor Solo Piano Latino del Año. Inicialmente fue otorgado al Profesor Joe Torres (pianista que alternaba en la orquesta de Lavoe) debido a un error de redacción.​ Hasta la actualidad, este solo de piano sigue siendo considerado uno de los más memorables jamás registradas en un álbum de salsa comercial.

​Colón ha trabajado y grabado con la mayoría de artistas populares de la música latina incluyendo a Pete El Conde Rodríguez, Francisco Kako Bastar, Louie Ramírez, Adalberto Santiago, La Bruja, Héctor Lavoe, The Big Three (Tito Puente, Tito Rodríguez y Machito), Machito y sus Afro Cubans, El Conjunto Libre, Boricua Legends, entre otros,  y con su propia banda: Ensalada de Pulpo, con la cual en el año 2008, lanzó al mercado su primer álbum como solista con el nombre de Pulpo’s Hot Bread obteniendo al año siguiente el premio Independent Music Award al Mejor Álbum Latino en la Octava entrega anual de los Premios a la Música Independiente (The 8th Annual Independent Music Awards). ​

Actualmente sigue activo en la música y es pianista en su banda Ensalada de Pulpo, The Machito Orchestra, la orquesta de La Gente, Los Hermanos Moreno, Boricua Legends Band, y paremos de contar.