Il fut le premier bâtiment à ouvrir la Strada Nuova en amont. Le palais a été construit sur ordre d'Agostino Pallavicino à partir de 1558 et a été rapidement inclus dans le rollo de 1576 au premier gobelet.

Il est l'œuvre de Bernardino Cantone, bien que les critiques, qui y ont vu pendant des années la main de Galeazzo Alessi, le mettent en étroite relation avec les œuvres génoises et milanaises de l'architecte de Pérouse. Le palais donne sur la rue avec une façade fortement structurée sur le plan architectural.

Le portail raffiné en marbre blanc présente un fronton central brisé qui abrite l'écu des armoiries de la famille. L'habituel télescope optique qui a vu se développer successivement l'atrium, la cour et le jardin (qui a disparu à la suite de l'ouverture des tunnels routiers du Portello) est maintenant déformé par l'aménagement que l'Institut de Crédit, l'actuel propriétaire, a donné à la cour, en la fermant par un toit et en niant sa fonction de diaphragme.

Les décorations à fresque des artistes appelés par la famille Pallavicino, Andrea et Ottavio Semino, qui ont travaillé sur les voûtes des salons du rez-de-chaussée avec des épisodes de l'histoire ancienne, sont d'un grand intérêt. Avec l'ouverture de la Via Interiano, tracée par l'architecte Ignazio Gardella senior en 1854, le palais a été coupé sur un côté et recouvert d'un parement de pierre et de marbre sur le modèle de la façade préexistante.