Första gången Bergkvara omtalas är vid mitten av 1300-talet. Under 1470-talet byggdes stenhuset och var under en tid ett av de mäktigaste stenhusen i södra Sverige. Det första slaget i Dackefejden stod i närheten av och slottet belägrades och brändes senare av Dacke.