Le palais est reconnaissable au portique à quatre arcades et piliers octogonaux et aux polyphores transformés en fenêtres au XVIIe siècle. Il a été vivement endommagé pendant la Seconde Guerre mondiale, puis récupéré à partir de 1950. 
Il fut donné par la République de Gênes à Lamba Doria en reconnaissance de sa valeur de seigneur de la guerre pendant la bataille de Korcula (1298), où les Génois remportèrent une importante victoire sur les Vénitiens. 
Le vénitien Marco Polo fut fait prisonnier dans la même bataille de Korcula. Il décrira à Rustichello de Pise, qui les transcrira, les événements de son voyage en Orient: il naquit donc à Gênes son célèbre livre, le Million.