Posteriormente se trasladó a Barranquilla, ciudad en la que se unió a la orquesta La Protesta, que había sido creada en 1970.

En 1971 se trasladó a Medellín para unirse a Fruko y su banda Los Tesos, con quienes interpretó algunos de sus grandes éxitos durante una temporada y realizó giras por Colombia, Ecuador, Perú y Estados Unidos.

A mediados de los años 70, Arroyo se convirtió en líder de Latín Brothers; con esta banda de trombones y violín tuvo la oportunidad de editar excelentes discos. También grabó en esa época algunos temas con la banda Los Líderes.

En 1981 formó su propio grupo, La Verdad, cuyo álbum de debut se titularía Arroyando.

En 1985 interpretó un tema en el álbum Llegaron, de la banda de Alberto Barros Los Titanes, iniciando una fructífera colaboración. Barros tocaba el trombón y contribuyó a los arreglos de algunos de los discos de Arroyo y La Verdad. Charlie Pla, hermano del líder latino e intérprete de timbales Roberto Pla, se ocupó de la percusión con La Verdad en varios de sus discos.

En 1989 actuó en el Empire Ballroom de Londres. Sus discos Fuego en mi mente (1988), En acción (1990) y La guerra de los callados (1991) se editaron en el Reino Unido a través de la subsidiaria de Island Records, Mango. El álbum Fuego en mi mente (1989) contiene un solo de piano de Chelito de Castro y varias canciones influidas por la música africana y la salsa contemporánea.

Es bueno acotar que también grabó con Manuel Villanueva y su orquesta, Pacho Galán, El Súper Combo Los Diamantes, Los Bestiales, La Sonora Guantanamera, entre otras espectaculares agrupaciones.

En 1990, dado que Arroyo había ganado el premio Congo de Oro en el Carnaval de Barranquilla en numerosas ocasiones, se creó el premio Súper Congo de Oro para él, de modo que pudiera dar oportunidad a otras bandas de acceder al premio.

Joe pudo interpretar gran variedad de ritmos latinos tradicionales como la salsa, el son, el montuno y la cumbia nativa, Joe Arroyo experimentó y desarrolló, a partir de la fusión de ritmos colombianos y caribeños, un estilo propio que sería denominado con una derivación de su nombre: el Joesón.

Fue pionero, a mediados de los años 80´, de la forma de fusión pancaribeña denominada son caribeño, y muchos de sus discos, excelentes, son ejemplos paradigmáticos de la mejor salsa caribeña.

Y además de varios Congos de oro y súper Congos de oro (premios muy importantes para las orquestas del caribe y más allá), también recibió un Grammy: Premio a la Excelencia Musical en 2011 y

El 19 de julio del 2003, víspera del día de la independencia de su país, la comunidad colombiana de Nueva York le rindió un homenaje multitudinario.

El 17 de diciembre de 2011, la Alcaldía de Barranquilla inauguró una estatua de Joe Arroyo en el parque de los Músicos.

El 1ero. De marzo de 2012, un científico colombiano descubrió una especie nueva de abeja en la Costa Caribe colombiana que fue denominada en honor del cantante, la Geotrigona joearroyoi.