La porta dei Vacca prende nome dalla famiglia Vachero che possedeva molti edifici nella zona.

La porta chiude a occidente le mura del Barbarossa del XI secolo e, avendo due torri semicircolari collegate da un arco a sesto acuto e cammino di ronda merlato, è molto simile a porta Soprana che si trova al lato opposto della città storica.

La torre a monte è stata inglobata nel Settecento nel palazzo Serra, mentre quella a mare è tornata visibile grazie ai restauri del 1960. Notevole è il fronte interno, con doppie colonne con capitelli fitomorfi e zoomorfi.