I slutet av 1100-talet byggdes ett mäktigt torn, en kastal, som snart omgärdades av en ringmur. Borgen byggdes under 1200-talets senare del och torde ha stått klar 1281.
Under krigen mellan Sverige och Danmark förstördes slottet i början av 1500-talet och upprustades inte förrän under Johan III:s regeringstid.
Från 1572 var först Johan Baptista Pahr och sedan dennes bror Dominicus byggmästare på slottet, som då blev en av Sveriges första bastionsfästningar. Arbetena på slottet upphörde dock 1593, på hertig Karls befallning, men 1602 började försvarsverken förstärkas, och härmed fortsattes till Kalmarkrigets utbrott. 8 augusti 1611 inneslöts slottet av danskarna, och redan följande dag uppgavs det av sin befälhavare, Johan Månsson Ulfsparre, men 27 september 1611 kringrändes det av Gustaf Adolf, som dock inte förrän 7 oktober lyckades förmå den danske befälhavaren Kristen Hansen att kapitulera. 2 juni 1612 kom danskarna tillbaka och efter 9 dagars beskjutning uppgavs slottet av Peder Michelsson (Hammarsköld) till Gert Rantzau.
Efter freden i Knäred 1613 återlämnades det i utplundrat och illa medfaret tillstånd, så att reparationsarbeten måste påbörjas. Dessa avbröts dock efter ett tiotal år. Ett mindre jordverk byggdes dock 1643, och från 1651, då Öland förlänats åt Karl Gustav, fortsattes slottsbyggnaden under ledning av Nicodemus Tessin den äldre. När krig med Danmark återigen bröt ut, var Borgholms slott så pass befäst, att kapten Henrik Julius Heideman kunde försvara det mot danskarna, vilka den 17 augusti försökte en stormning. Följande dag undsattes slottet av amiral Wachtmeister, som fördrev danskarna.
Byggnadsarbetena avstannade efter Karl X Gustavs död 1660. De återupptogs 1681 men nedlades snart igen. Slottet blev därför aldrig fullbordat enligt Tessins plan, och Erik Dahlberghs ståtliga teckning i Suecia antiqua et hodierna är sålunda oriktig. Så småningom förföll även den färdiga delen av borgen. I de sista användbara lokalerna fanns mot slutet bland annat skola och textilfärgning. 14 oktober 1806 fullbordade en vådeld förstörelseverket.
Eget besök på platsen
