Stegeholm anlades före 1370, sannolikt av kung Albrekt av Mecklenburgs far, hertig Albrekt den store av Mecklenburg, och gavs av honom till tyska riddersmän, till dess alla hertigens besittningar i Sverige övertogs av Bo Jonsson (Grip), vars arvingar ägde det till 1419. Det innehades därefter av Erik av Pommern, Engelbrekts underbefälhavare Jösse Nilsson genomförde 21 september 1434 en misslyckad stormning av borgen. År 1436 belägrades det av Tjustborna under Bo Knutsson (Grip), det gav sig senare till Karl Knutsson (Bonde). Det besatts därefter omväxlande av svensk-separatistiska och unionsvänliga eller dansksinnade hövitsmän.
Stegeholms län bestod under unionstiden av Kinda, Ydre och Tjusts härader samt 1485 Norra Vedbo härad. Under Vasatiden räknas sedan enbart Tjust (och i vissa tider det nybildade Tunaläns härad) till länet som också från den tiden hade ett viss beroendeförhållande till Kalmar län.
Stegeholm brändes 1517 jämte den dit 1433 flyttade staden Västervik av Kristian II:s danska flotta, men Sverige återtog och återuppbyggde slottet 1521. Under en del av 1612 var det åter besatt av danskarna. Stegeholm gavs tillsammans med Västervik och tillhörande gårdar 1562 åt Stureätten som grevskapet Västervik. År 1570 utökades Stegeholm av Johan III till förmån för hans moster, Svante Stures änka ("kung Märta"), med flera socknar i nordvästra Småland och gods i Västergötland. I samband med detta fick grevskapet namnet Stegeholm och Västervik.
År 1651, sedan Stureätten 1616 dött ut på manssidan, gavs Västervik och Stegeholm som grevskap åt fältmarskalken Hans Christoff von Königsmarck men återtogs genom den stora reduktionen. Königsmarckarna lät i det gamla förfallna slottets ställe uppföra ett präktigt palats som 1–2 september 1677 förstördes tillsammans med staden av den dansk-holländska flottan.
Slottet och Slottsholmen fick därefter förfalla, 1734 fick stadsborna rätt att bryta sten från ruinen och Västerviksvarvet lät uppföra becksjuderi och smedja inom slottets kvarstående murar. Från 1881 började dock Sällskapet för Westerviks Förskönade att restaurera Slottsholmens ruin och anlägga planteringar. 1903 övertogs ansvaret för parken och ruinen av Västerviks stad.
