Norr om Fröjels kyrka står ruinen av en medeltida byggnad, som tolkats som en kastal, trots att den skiljer sig något från de övriga kastalerna på Gotland. Kastalen är kvadratisk, 9,7 meter i sida, och 5,7 meter hög. Den är byggd i skalmurskonstruktion av tuktad kalksten och kvadersten i hörnen. Murarna är 1,7 meter tjocka. Kastalen restaurerades 1961 och är en fornlämning.