Entrer sur la Piazza di San Matteo, c'est faire un voyage dans le temps; on sort du coin d'un caruggio et le précieux trésor de la famille Doria s'ouvre à nous. Les couleurs, les matériaux et les formes gothiques des palais et de l'abbaye de San Matteo enveloppent le visiteur et lui donnent l'impression que le temps s'est arrêté ici et qu'un gentilhomme en habits médiévaux pourrait regarder depuis une loggia.
Le palais le plus ancien est celui de Branca Doria, construit en même temps que l'église, mais avec la façade originale sur Vico Falamonica. Il donne sur la place San Matteo avec l'arcade du portique médiéval. Derrière le palais, au début du XIVe siècle, a été construit le précieux cloître quadrangulaire, avec des colonnes accouplées et des arcs en ogive. 
Branca Doria était un homme politique génois, mentionné dans le Canto XXXIII de l'Enfer. Bien que Branca soit encore en vie, il est déjà condamné à l'avance à l'enfer, alors que son corps sur terre a été enlevé par un démon. Il s'agit d'un châtiment anticipé que Dante réservait aux damnés. Branca serait né vers 1233 et, comme d'autres membres de sa famille, aurait occupé diverses fonctions politiques et commerciales en Sardaigne. Gendre de Michele Zanche, seigneur de Logudoro, pour s'emparer des domaines de son beau-père, il l'aurait invité à un banquet et l'aurait ensuite fait massacrer avec toute sa suite. Pour ce fait, dont il n'existe en réalité aucune confirmation historique, Dante le place parmi les traîtres aux invités.