Il palazzo è dal 1600, erroneamente attribuito ad Ezzelino il Balbo, credenza che prende ancora più forza con i Portenari nel 1700 e poi nel 1800 con Carlo Leoni, autore di una targa in marmo, ancora presente sulla

facciata del palazzo, in cui si legge: “Rispettarono i secoli/ Questo edificio/ Da Ezzelino Balbo Eretto/ circa 1160”.

Più plausibile è che il palazzo appartenesse agli Enghelfredi, famiglia attiva tra il XII-XIII secolo.

La Cronaca di Rolandino parla di un

grande palazzo tra via S. Lucia e via S.

Andrea, costruito da Enghelfredo e

Giovanni da Nono afferma che Simone

Enghelfredi abitava nel grande palazzo con arco ma senza torre.

La prima generazione della famiglia è

conosciuta grazie a Paduano, un sarto che abitava tra via S. Andrea e via S. Lucia.  Enghelfredo, della seconda generazione ricopre il ruolo di tesoriere di Ezzelino III da Romano. Nell’ultima generazione i componenti diventano cavalieri, giudici e podestà.

Dal testamento di Francesco il Vecchio

(1363) risulta che l’edificio era in mano ai Da Carrara. Dalla caduta della Signoria non si conosce il nome del nuovo proprietario del palazzo se non che era un milanese, da

cu deriverebbe il cambio di nome del volto in "volto dei Milanesi". Nel 1760, un incendio che coinvolse il volto, provocò la perdita dell'affresco del Mantegna raffigurante le gesta del Gattamelata, conosciuto solo grazie alla testimonianza del Rossetti, studioso della seconda metà del 1700.

Verso fine del 1700 la sala, sopra il volto, venne presa in affitto e usata come teatro fino al 1873.