Ursprunget till borgen var en kastal från slutet av 1100-talet som byggdes på i omgångar. Troligen var det Birger jarl som började anlägga borgbygget. Under Albrekt av Mecklenburgs tid innehades borgen som förläning av den tyske riddaren Raven von Barnekow, som lät utföra viktiga byggnadsarbeten på slottet, senare även Bo Jonsson Grip.
Ytterligare om- och tillbyggnader gjordes under medeltiden. Gustav Vasa förstärkte borgen för försvarsändamål och ett runt kanontorn från hans tid finns bevarat.
Den medeltida borgen ombyggdes i slutet av 1500-talet av hertig Karl (senare Karl IX) till ett renässansslott. Slottet brann tillsammans med den övriga staden 1665. Det återuppfördes inte, utan en del av teglet användes som material i ombyggnaden av Stockholms slott.
Delar av slottet rustades upp på 1900-talet och inrymmer numera Sörmlands museums permanenta utställningar i Kungstornet, samt en restaurangrörelse i Gästabudssalen och Drottningkällaren.
