La casa torre sorge nel rione di porta Altinate e un tempo faceva parte del centenario di S. Andrea, definito così dall’omonima chiesa. Il palazzo è collocato all’interno della Contrada Estense che dal 1300 al 1700 si estendeva dall’Osteria della Campana, presso la torre degli Anziani, fino alla chiesa di S. Andrea e prese il nome di Contrada Pischariorum, dal momento che vi si svolgeva il mercato del pesce, spostato in piazza delle Erbe solo dal XVIII secolo.

Andrea Calore, basandosi su Giovanni da Nono, attribuisce la costruzione del palazzo ad Alberto Bibi, notaio e tesoriere di Ezzelino III da Romano (1237-1256). Terminata la tirannide, nonostante i venti avversi per coloro che avevano sostenuto Ezzelino, Alberto riuscì ad inserirsi nelle alte sfere della politica di Padova Duecentesca, ricoprendo importanti incarichi diplomatici che lo portarono ad arricchire ulteriormente la propria famiglia.  Erede del palazzo fu il figlio Antonio, podestà di Belluno.

Il secondo piano presenta un inserto in pietra con tre stemmi: quelli laterali inerenti alla famiglia Bibi, quello centrale è del comune. L’associazione dello stemma comunale con quello privato della famiglia era funzionale ad indicare il ruolo pubblico di uno dei componenti della famiglia.

La casa-torre rimase di famiglia Bibi fino al 1357, anno in cui venne venduto a Paolo Dotto.