Fiskeren Marius Skov og Post Niels Rasmussen byggede i starten af trediverne et fælles fiskhus på havnen.

Efter Marius død overtog  Niels Rasmussens søn – øens anden fisker og købmand Anton – hans andel. Betalingen kom i stand, som et tilgodebevis i købmandsbutikke, så enken på Sølyst – Mille – kunne få olie til oliefyret. Senere har broderen Jørgen Greve Rasmussen overtaget den anden halvdel af huset fra sin far.

I 2016 var skuret i forfald

En kreds af Hjortøboere overtog huset i 2016 efter arvingerne og har siden sat det i stand. I 2022 er fiskhuset overtaget af Hjortø Beboerforening.

I dag anvendes den ene halvdel til museum og den anden halvdel anvendes af Svendborg Havn.