Grunden till slottet lades på 1570-talet. Då hade den gamla borgen på Visingsö, Näs slott, varit ruin sedan länge och tre byar – Ströja, Vallby och Husaby – avhysts från området.
För att bygga upp första delen av slottet användes tegel från klosterbyggnaderna i Alvastra och nystartat tegelbruk i Gränna. Slottet var byggt i fyrkant med fyra torn och vallgrav och fullbordades först på 1660-talet. Slottet hade också fyra torn med förgyllda spiror.
Grevskapet omfattade gårdar på Visingsö samt i Småland och Västergötland, 1569 sammanlagt 468 hemman och på 1640-talet ytterligare ungefär 100 hemman. 1654 fick greve Per Brahe d.y. hals- och handrätt över de bosatta på Visingsö, det vill säga rätt att utdöma straff.
Slottet övergavs efter att grevskapet 1680 indragits till den svenska kronan. Slottet användes mellan 1715 och 1719 som förläggning för krigsfångar från stora nordiska kriget, företrädesvis ryssar. De fångar som dog under fångenskapen begravdes på Visingsö, på den så kallade Rysskyrkogården.
Slottet lades i ruiner av en förödande brand natten mellan den 22 och 23 december 1718. De ryska krigsfångarna har från vissa håll anklagats för att ha legat bakom eldsvådan men en samtida källa pekar åt ett annat håll. Lagman Brohmans undersökning på plats i januari 1719 fastställde att branden var en olyckshändelse i det tyska vaktmanskapets logi i slottets nordöstra hörn. Ingen i vaktmanskapet lade någon skuld på krigsfångarna, som däremot inte tycks ha varit särskilt aktiva i försöken att släcka branden.
Dagens kvarvarande slottsruin består mest av murarna från den södra slottslängan.
Eget besök på platsen
