Het kasteel van Rhoon werd rond 1432 gebouwd door de familie Van Duiveland. Hoe het kasteel er in die tijd precies uit heeft gezien is onbekend. Na diverse overstromingen en branden kreeg het kasteel in 1598 zijn huidige vorm. In 1683 gaat de familie Van Duiveland failliet en kocht de familie Bentinck het kasteel als buitenhuis. De familie woonde voornamelijk in Den Haag, waar ze nauwe contacten onderhielden met de Prins van Oranje.

Begin de negentiende eeuw werd de voorgevel van het kasteel veranderd naar de huidige vorm en wit gestuct door Willem Gustaaf Frederik Bentinck, hierdoor werd het kasteel ‘Het Witte Huis’ genoemd. Mede door de verbouwing liepen de schulden te hoog op, waardoor het kasteel in 1830 verkocht werd aan één van de belangrijkste Nederlandse reders van de negentiende eeuw, Anthony van Hoboken. De familie heeft tot aan de dood van Edward van Hoboken in 1913 het kasteel bewoond, hierna kwam het in beheer van opzichters.

Met de uitbraak van de Tweede Wereldoorlog veranderde er veel in de omgeving en ontdeed men het kasteel van zijn interieur. Na de oorlog blijft het kasteel verwaarloosd en leeg achter. Om het kasteel te redden van de sloop komt het in handen van Stichting Kasteel van Rhoon die het kasteel heeft gerestaureerd en ingericht.

Nu is het kasteel van Rhoon te bezoeken voor de meest uiteenlopende evenementen en bijzondere gebeurtenissen. Het kasteel bruist ook van de culturele activiteiten die je kunt bezoeken.