Tofta finns omnämnt första gången 1387 och var då en bondby. Åren 1466–1470 köpte Gustaf Olofsson (Stenbock) åtta gårdar i byn i avsikt att skapa en ny befäst sätesgård. Bönderna avhystes från sina gårdar och 1475 stod sätesgården troligen färdig, för då började Gustaf Olofsson skriva sig till Toftaholm.
Gustaf Olofssons medeltida stenhus var beläget på en ö i Vidöstern, den så kallade Stenhusholmen. Sätesgårdens huvudbyggnad var flera våningar hög. De murarna som än idag står är helt i sten och i området finns det mängder med medeltida tegel, vilket antyder att byggnaden varit imponerande och lyxig. Under den östra delen av huset finns en källare med en bevarad ingång. Borgen är avskild från resten av holmen genom en vallgrav och var en stark befästning. Läget vid Lagastigen gjorde den strategiskt viktig. På 1500-talet härjades borgen av danska trupper men byggdes åter upp under vasatiden.
Toftaholm kom med Gustaf Olofssons dotter Anna till yngre släkten Stenbock och genom gifte på 1660-talet till grevliga ätten Bonde af Björnö. Släkten Bonde sålde av Toftaholm cirka 1920 och därefter har ägarna växlat flera gånger.
På det smalaste stället mellan Vidöstern och Flåren, där vägen passerar Toftaån, anlades Tofta skans av Per Brahe den yngre i juni 1657. Den förstärktes 1658, men efter krigets slut fick skansen förfalla.
