Después, Eddie se juntó con Wilie Colón y para aquel entonces ya había hecho su transición para convertirse en bajista. Con la orquesta de Colón, hizo su primera grabación, El Malo en 1966. A los 17 años, se unió a la orquesta de Charlie Palmieri, quien fue el que le colocó el apodo de Gua Gua, debido a que una vez estando con Don Charlie en las montañas Catskill y como era su tutor compartían la misma habitación de hotel, Rivera salió de la ducha, a lo que lo vio Palmieri le dijo: Te pareces a un autobús que sale de la niebla de Londres! ¡Eso es! Eres, Gua Gua, Eddie la Gua Gua Rivera! y así se quedó.
Luego trabajó con Pete Bonet y el fallecido Louie Ramírez en Nueva York. Después trabajó con Ray Barretto y Mongo Santamaría, con quienes recorrió todo el mundo, y aprendió bien el jazz. Luego se quedó en Nueva York por un tiempo mientras tocaba con las orquestas de Larry Harlow, Johnny Pacheco y Eddie Palmieri.
Decidió probar su suerte con el rock and roll y se unió a The Rascals (los del exitazo Groovin) y se fue de gira con ellos.
De regreso a Nueva York y en la comunidad latina, tocó en muchas grabaciones de los sellos legendarios, Fania Records, y luego viajó con Gato Barbieri durante tres años.
En 1980, se mudó a Puerto Rico para formar la banda Batacumbele. Descubrió a Giovanni Hidalgo, Cachate Maldonado y Eric Figueroa. Trabajaron juntos durante cuatro años prósperos.
En 1984, se radicó en Miami y empezó a trabajar localmente con Néstor Torres y Hansel y Raúl. Giovanni Hidalgo lo llamó para grabaciones y para filmar un video instructivo y Larry Halow lo llamó para hacer giras mundiales.
Lamentablemente, durante una cirugía exploratoria Eddie tuvo graves complicaciones. Presuntamente le colocaron sangre contaminada durante transfusiones y tuvieron que ponerlo en terapia intensiva y tuvo que soportar la quimioterapia. Antes de su fallecimiento en el 2014, fue ministro musical del Faith Christian Center.