Herrgården finns med på 1788 års karta, som "Herregård" men kallas nu oriktigt för slott. På kartan 1807 beskrivs Gränsö gård, under baron Riesselskiöld. Där finns sammanlagt 6 visthusbodar, stall och magasin, byggda i fyrkant mellan gården och stranden, som har en rejäl brygganläggning. År 1830 byggde Erik Sparre om gården. Då revs alla bodar, utom de bägge stallen som än i dag finns kvar. Det ena är nu café och det andra utställningslokal. Så här skriver Mikael Gustafsson, Kalmar, i sin bok "Skärgårdshistoria", Tjust N. delen: 'De två holländska skeppsbyggarna Paridan van Hoorn och Christian Welshuisen fick Gränsö som betalning av Gustav II Adolf år 1626 för 15 örlogsfartyg som de byggt. De ägde gården till 1646 då Gabriel Oxenstierna tog över (Se vidare Gustafssons bok, sid 28)" År 1886 hamnade Gränsö i baron Fleetwoods ägo, och förblev så till 1967 då kommunen köpte ön. I feb (?) 1993 brann huvudbyggnaden ner till grunden. Den återuppbyggdes året efter en våning lägre än tidigare.