Biskopsborgen i Husaby byggdes runt 1480 av Brynolf Gerlaksson, biskop i Skara. Borgen var inte biskopens enda, han hade tre andra, det stora Läckö men även Brunnsbo och Säckestad. Borgens livslängd blev dock inte lång, redan 1527 drogs borgen in till kronan i samband med Västerås recess. Troligtvis förstöres den kort därefter.