A mediados de 1997 Boca Juniors se interesó por su pase. Fue así que llegó al Club de la Ribera junto con los hermanos Barros Schelotto. Los tres habían sido pedidos insistentemente por Diego Armando Maradona, que jugaba sus últimos partidos antes de retirarse del fútbol profesional en octubre de ese año.
Palermo se hizo prontamente con un puesto en el equipo titular aunque sus primeras actuaciones no fueron convincentes. Pero con el correr del Torneo Apertura de 1997 hizo valer su potencia goleadora y contribuyó al subcampeonato logrado por Boca.
En 1998, con la llegada de Carlos Bianchi a la dirección técnica del Xeneize, formó una efectiva dupla con Guillermo Barros Schelotto que contribuyó decisivamente a la obtención del Torneo Apertura. En ese campeonato Palermo se consagró goleador con 20 goles, récord en torneos cortos. En 1999 Boca repitió el título en el Clausura.
En medio de la disputa del Torneo Apertura de ese mismo año Boca visitó a Colón de Santa Fe y Palermo sufrió la rotura de ligamentos cruzados de la rodilla derecha. Su gol en aquel partido, que marcó ya lesionado, fue su tanto número 100 en Primera División. La recuperación demandó más de seis meses y su vuelta se produjo en un importante encuentro por la vuelta de los cuartos de final de la Copa Libertadores de América del año 2000. El rival de Boca era River Plate y Palermo, que aún no había recuperado su mejor forma física, marcó el definitivo 3-0 sobre el final del encuentro, disputado en la Bombonera.
Si bien su participación en la Copa Libertadores que Boca logró en 2000 fue escasa, su concurso fue decisivo para la obtención de la Copa Intercontinental de ese mismo año. Ese día Palermo marcó dos goles en los primeros minutos del encuentro que Boca le ganó a Real Madrid 2-1, lo que le valió el premio al mejor jugador de la final. A la vuelta de Japón, Palermo contribuyó con otro gol a la consagración de Boca como ganador del Torneo Apertura.
