Como su hermano, Francis Cugat (1893-1981), autor de la famosa portada de El gran Gatsby (1925), también se convirtió en artista gráfico, más en concreto en caricaturista.

Entre 1915 y 1918 interpretó tangos en Nueva York junto a una banda conocida como Los Gigolós. Posteriormente también se dedicó a dibujar tiras cómicas para el periódico Los Angeles Times.

Cugat se casó en cinco ocasiones. En 1918 contrajo matrimonio con la artista cubana Rita Montaner, y luego de divorciarse, lo hizo con la mexicana Carmen Castillo en 1928. Una de sus esposas más famosas fue la pelirroja cantante Abbe Lane, a quien conoció a los quince años y con quien se casó cuando ella tenía veinte y él, cincuenta; actuó con él, en numerosas ocasiones hasta el ruidoso divorcio de la pareja en 1964, tras once años de matrimonio; Lane no dejó un buen retrato de Cugat en sus memorias noveladas But Where Is Love? / ¿Pero dónde está el amor? (1990), y en el litigio del divorcio Cugat la dejó prácticamente sin nada.

El 7 de agosto de 1966 contrajo matrimonio con la bailarina Charo Baeza, que se convirtió así en su quinta esposa hasta su divorcio en 1970. La pareja se encargó de inaugurar el casino Caesars Palace en Las Vegas.

En 1940 Xavier grabó la canción Perfidia con el cantante Miguelito Valdés, la cual se convirtió en un gran éxito. Su música seguía las modas del momento, y grabó canciones de todo tipo de géneros: conga, mambo, merengue, rumba y samba, entre otros. Su ejemplo fue muy pronto seguido por otras orquestas, como la de Pérez Prado. Su orquesta fue una cantera de donde surgieron destacados intérpretes de la canción tropical como Tito Rodríguez, Vitín Avilés, entre otros.

Cugat cumplió extensas etapas de grabación de discos con sellos como Columbia Records y RCA Víctor. Con el primero son célebres Mambo at the Waldorf, Merengue, by Cugat, Cugat Favorite Rhumbas, y otros, todos con doce temas de contenido; y  con el sello RCA Víctor es de gran popularidad el disco Cugat in Spain entre otros. Xavier Cugat tocaba el violín, y es notorio que gustaba de los diversos instrumentos de la orquesta, y, más notorio aún, que la marimba no faltaba en ninguna de sus interpretaciones y grabaciones, lo que muestra su gran afinidad por este instrumento musical. Precisamente es notable el uso que de la marimba hace en el álbum ¡Merengue by Cugat! Este disco fue editado en 1955 con motivo de la celebración en Santo Domingo de la Feria de la paz y confraternidad del mundo libre que celebrara el dictador Rafael Leónidas Trujillo en ese mismo año.

Participó en la banda sonora de las primeras películas con sonido y apareció en diversas películas de Hollywood, siempre en el papel de director de música rítmica, al tiempo que participaba junto a su orquesta en la actuación.

Xavier Cugat dirigió, actuó y escribió el guion de la película talkie en idioma español Charros, gauchos y manolas (1930), con la actriz mexicana Delia Magaña y el actor argentino Paul Ellis. También lo hizo con el cortometraje Un fotógrafo distraído (1930), asimismo en idioma español.

Participó como actor en diversas películas en idioma inglés, los cortometrajes Mexicana (1929),Let’s Go Latin (1937) y Xavier Cugat and His Orchestra (1952). También actuó en películas de la Metro Goldwyn Mayer, muchas de ellas

Era muy conocido por sujetar en sus brazos un perrito chihuahua mientras dirigía su orquesta. En la película Días de radio de Woody Allen, el director de orquesta sujeta un perrito en brazos, dando a entender que se trata del propio Cugat. Además, su música es habitual en gran parte de las películas del director neoyorquino.

En la tercera escena de Un tranvía llamado deseo se menciona el nombre de Xavier Cugat.

Su nombre también se menciona en la canción Joe le taxi de Vanessa Paradis.

En la película A Goofy Movie de Disney es mencionado Xavier Cugat como El Rey Del Mambo.

Xavier Cugat es mencionado por el sargento encargado de la radio en la película Good Morning Vietnam, como uno de los músicos aptos para sonar en antena durante la guerra.