Giovanni da Nono attribuisce il palazzo all’importante famiglia Buzzacarini, da cui proverrebbe un giudice che nel 1253 divenne personaggio di spicco grazie alla  vicinanza con Ezzelino. Sarebbero proprio Folco e Salione, i discendenti del giudice Buzzacarino, i committenti del palazzo, che secondo il Gloria esisteva già nel 1272. Alla morte di Folco e Salione il palazzo fu abitato dai discendenti che si distinsero in ambito militare, nella vita civile e religiosa. Una delle discendenti più famose è Fina Buzzacarini, sposa di Francesco I da Carrara.