Comenzó a tocar el piano de manera autodidacta, A los siete años, su padre lo matriculó en la Juilliard School, para recibir lecciones del instrumento. Cuando Palmieri cumplió 14 años, participó en varios concursos de talentos y ganó varios premios junto con su hermano menor, Eddie. Su abuelo, lo introdujo en la música de las bandas de música latina.
En 1943, cuando tenía solo 16 años y continuaba aún en la high school, hizo su debut profesional como pianista con la Osario Selasie Band. Graduado en 1946, debutó en el mundo discográfico con el tema Se Va La Rumba, como miembro de la banda de Rafael Muñiz.
En octubre de 1947, Tito Puente, quedó impresionado con Palmieri y le contrató para tocar con su banda en el Copacabana Club; permaneció con Tito hasta 1953, tocando después con numerosas bandas. Trabajó con la Pupi Campo’s Band y en el show diario que Jack Paar tenía en la CBS-TV. Palmieri formó también un par de orquestas para tocar en el Palladium Ballroom.

Palmieri trabajó durante varios años en Chicago, aunque regresó a Nueva York y formó una banda llamada La Charanga La Duboney. Mientras tocaba, una noche, en el Monte Carlo Ballroom, Palmieri escuchó a un joven llamado Johnny Pacheco tocando la flauta y quedó impresionado. La mezcla de la flauta de Pacheco con las cuerdas de la orquesta de Palmieri, fueron el origen de la locura por la Charanga en los Estados Unidos.
Palmieri firmó con United Artists Records y obtuvo varios éxitos. Sin embargo, Pacheco dejó la banda y United Artists rompió su contrato por un conflicto de intereses con su artista más comercial, Tito Rodríguez. Firmó entonces con Alegre Records y obtuvo nuevos éxitos, con los discos Cómo bailan la pachanga y La pachanga se baila así.
Cuando decayó la popularidad de la pachanga, Palmieri giró hacia el nuevo ritmo de éxito, el Boogaloo, reformando la estructura de su orquesta, dejando aparte las cuerdas y la flauta e incorporando trompetas y trombones, y reduciendo el nombre de su banda a La Duboney.
En 1965, consiguió un nuevo éxito con Tengo máquina y voy a 60, y en 1967 con Hay que estar en algo/Either You Have It or You Don’t.
En 1968, Palmieri grabó Latin Bugalu para Atlantic Records.
En la década de 1970, Palmieri ejerció de director musical para el programa de TV, El Mundo de Tito Puente, además desarrolló una labor pedagógica sobre música latina.
En 1971, tras reorganizar su banda, Charlie comienza a tocar el órgano, colaborando en los discos de su hermano.
En 1974, edita un LP titulado El Gigante del Teclado, del cual se destacaron los éxitos La hija de Lola, La vecina, El Pan Sobao, entre otros, con la participación del cantante puertorriqueño Vitín Avilés. Dos años más tarde, en 1976, añadió la melódica en su grabación The Heavyweight, un LP editado por Alegre Records, que también incluyó a Bobby Rodríguez en el bajo, Quique Dávila en los timbales, Papiro Allende en las congas, Willie Rodríguez en los bongos, Roy Román y Lou Laurita en las trompetas, Bobby Nelson en el saxo, Marco Katz al trombón, Harry Viggiano tocando el tres, más los vocalistas Meñique, Julito Villot, y Adalberto Santiago.
Entre los muchos artistas con los que trabajó Palmieri, están su hermano Eddie, Celia Cruz, Tito Puente, Herbie Mann, Ismael Rivera, Rafael Cortijo, Ismael Quintana, Bobby Capo, Mongo Santamaría, Ray Barretto, y paremos de contar.
En 1980, Palmieri se instaló en Puerto Rico pero, viajando a Nueva York por razones de trabajo, sufrió un ataque cardíaco. Se recuperó pronto y volvió al mundo de la música en 1988, realizando una gira por el Reino Unido.2 Palmieri se dedicó a partir de entonces a dar lecciones de piano en el Schuylerville Music Center del Bronx. Ese mismo año, 1988, apareció en la película Salsa.1
En 1987 comenzó un proyecto con el percusionista Mongo Santamaría, donde graba lo que se conoce como su último solo en piano en el tema titulado Mayeya, del álbum Soy Yo.
El 12 de septiembre de 1988, Charlie Palmieri sufrió otro ataque en Nueva York, donde estaba para un concierto como director musical de Joe Cuba. Murió al día siguiente en el Jacobi Hospital del Bronx.