Björnöhus började byggas av ägaren till Kråkerum, Svante Bielke. Han ville ha ett nytt imponerande slott med utsikt över Kalmarsund. När Svante Bielke avled 1609 fortsatte hans änka Elisabet Leijonhufvud bygget. I samband med Kalmarkriget raserades dock slottet och efter fredsslutet återupptogs inte bygget. Efter hennes död 1612 lämnades det att förfalla. Slottet uppfördes möjligen på platsen för ett äldre, medeltida stenhus.
Ruinen omtalas redan i antikvitetsrannsakningarna på 1600-talet. Kyrkoherden i Högsby Nils Löfgren beskrev 1820 ruinen och en 90-årig öbo berättade då att det i hans ungdom ännu funnits kvar fönsterbågar och dörrar i byggnadens nedre våningar. Vid mitten av 1800-talet uppfördes ett utkikstorn för kustbevakningen i borgens sydvästra del, men det revs 1914.
Borgruinen har restaurerats på 1930-talet. 1955 började man med att rensa murarna som täckts av rassten. Året därpå rensades fyra av rummen och 1958 frilades resten av ruinen.
