Fu il primo edificio ad aprire Strada Nuova sul lato a monte. Il palazzo venne edificato per volere di Agostino Pallavicino a partire dal 1558 e presto inserito nel rollo del 1576 al primo bussolo.

Opera di Bernardino Cantone, sebbene la critica, che per anni vi ha visto la mano di Galeazzo Alessi, lo metta in strettissima relazione con le opere genovesi e milanesi dell’architetto perugino. Il palazzo affaccia sulla strada con un prospetto fortemente strutturato dal punto di vista architettonico.

Il raffinato portale in marmo bianco presenta un frontone centinato spezzato che accoglie lo scudo con l’arma familiare. Il consueto cannocchiale ottico che vedeva lo sviluppo, in sequenza, di atrio, cortile e giardino (scomparso in seguito all’apertura dei tunnel veicolari di Portello) è oggi falsato dall’allestimento che l’Istituto di credito, attuale proprietario, ha dato al cortile, chiudendolo a tetto e negandone la funzione di diaframma.

Di grande interesse la decorazione a fresco, realizzata da artisti chiamati dal Pallavicino, Andrea e Ottavio Semino, che lavoravano alle volte dei salotti del piano terreno con episodi di storia antica. Con l’apertura di via Interiano, tracciata dall’architetto Ignazio Gardella senior nel 1854, il palazzo venne tagliato su un fianco e rivestito da un paramento in pietra e marmo a modello del prospetto preesistente.