Fue el primer edificio en abrir Strada Nuova en el lado de la montaña. El palacio fue construido por voluntad de Agostino Pallavicino a partir de 1558 y pronto entró en el “rollo” de 1576 en la “primo bussolo”.

La obra de Bernardino Cantone, aunque la crítica, que durante años vio la mano de Galeazzo Alessi, lo pone en estrecha relación con las obras genovesas y milanesas del arquitecto peruano. El edificio da a la calle con una perspectiva muy estructurada desde el punto de vista arquitectónico. El refinado portal de mármol blanco presenta un frontón cónico roto que acoge el escudo con el símbolo familiar. El habitual visor óptico que veía el desarrollo, en secuencia, de atrio, patio y jardín (desaparecido tras la apertura de los túneles vehiculares de Portello) no está hoy en el lugar que el Instituto de Crédito, actual propietario, le dio al patio, lo cerró al techo y le negó la función de diafragma.

De gran interés es la decoración en fresco, realizada por artistas llamados del Pallavicino, Andrea y Ottavio Semino, que trabajaban en las bóvedas de los salones de la planta baja con episodios de historia antigua. Con la apertura de Via Interiano, trazada por el arquitecto Ignazio Gardella senior en 1854, el palacio fue cortado en un costado y revestido con un paramento de piedra y mármol como modelo de la fachada preexistente.