Das mehr als eintausend Jahre alte Ralswiek war früher ein bedeutender Seehandelsplatz. Ralswiek ist zudem ein alter Siedlungsplatz und war im Lehensbesitz verschiedener rügenscher Adelsfamilien. Hugo Sholto Graf Douglas ließ von 1894 bis 1896 das Schloss nach Entwürfen des Berliner Architekten Gustav Stroh errichten. 1913 erfolgte der Anbau des Marstalls nach Entwurf des Stralsunder Baumeisters Franz Juhre. Der das Haus umgebende Park wurde im Jahr 1810 angelegt und später von Graf Douglas erweitert und ausgebaut.
Die weitgehend erhaltene Inneneinrichtung (Eingangshalle, Treppenhaus, Vertäfelung, Türgriffe, Glasfenster) wurde teilweise von dem bedeutenden Jugendstil-Architekten Henry van de Velde entworfen. Nach der Enteignung der Familie Douglas nach dem zweiten Weltkrieg wurde das Schloss als Altenheim und später als Behinderten- und Pflegeheim des Deutschen Roten Kreuzes genutzt.
Nach dem Erwerb der Familie Raulff wurde das Schloss von 1999 bis 2002 zu dem heutigen Schlosshotel Ralswiek umgebaut.