Pałac znajduje się w ramach zespołu pałacowo-parkowego w północno-wschodniej części miejscowości, na południe od zespołu folwarcznego. Budowla sąsiaduje z założeniem parku krajobrazowego, a po stronie zachodniej ze stawem wiejskim, tzw. Stawem Piaskowym. W ramach powojennej adaptacji zespołu na ośrodek pomocy społecznej, pałac rozbudowano i wzniesiono w jego sąsiedztwie zabudowania związane z nową funkcją obiektu.
Wieś posiada średniowieczną genezę i została po raz pierwszy wymieniona w dokumencie z 1295 roku regulującym granice dóbr chwarszczańskich templariuszy. W 1337 roku według księgi ziemskiej margrabiego Ludwika wieś liczyła 64 łany ziemi i znajdowały się tutaj trzy działy rycerskie oraz kościół parafialny. W 1486 roku Kamień Wielki należał do rodziny von Schönebeck, dzierżącej również pobliski Dąbroszyn. Rodzina ta pozostawała w posiadaniu tutejszych dóbr ziemskich do początku XVIII wieku. Najstarsza wzmianka o siedzibie szlacheckiej w Kamieniu Wielkim pochodzi z roku 1608. Miejscowość należała wówczas do dwóch rodzin szlacheckich. W trakcie działań wojny trzydziestoletniej wieś została w znacznym stopniu zniszczona i opuszczona. W 1658 roku, zapewne z inicjatywy von Schönebecków, założono tutaj młyn papierniczy. W 1660 roku część dóbr ziemskich znalazła się w posiadaniu Hansa Heinricha von Schlabrendorfa, generała majora, komendanta twierdzy w Kołobrzegu. W tutejszym kościele, do 1945 roku, znajdowała się jego kamienna płyta nagrobna oraz poświęcone mu drewniane epitafium. Inna część miejscowości była w rękach marszałka polnego Hansa Adama von Schöninga z Dąbroszyna, a po jego śmierci stanowiła uposażenie wdowy Johanne Margarethe von Pölnitz. Następnym właścicielem był syn marszałka Johann Ludwig von Schöning, który zmarł w 1713 roku. Po tej dacie Kamień Wielki stał się uposażeniem wdowim Julianne Charlotte von Dönhoff. W połowie XVIII i na początku XIX wieku tutejszymi dobrami ziemskimi władali Wreechowie i Dönhoffowie z Dąbroszyna. W 1822 roku właścicielką Kamienia Wielkiego została Amelie hrabina von Dönhoff, a następnie dobra stały się własnością jej męża Antona barona von Stolberg-Wernigerode. Z jego to najprawdopodobniej inicjatywy wybudowano w latach 20. XIX wieku klasycystyczny pałac, a następnie w 1834 roku założono zespół parkowy według projektu znanego berlińskiego architekta krajobrazu Josepha Lenne. W 1924 roku majątek ziemski został zakupiony i rozparcelowany przez Towarzystwo Ziemskie „Eigene Scholle” (własna ziemia) z Frankfurtu nad Odrą.
Po 1945 roku dobra ziemskie zostały znacjonalizowane. Początkowo zespół pałacowo-parkowy należał do Państwowych Nieruchomości Ziemskich. W 1962 roku zespół wydzielono i przeznaczono na cele domu pomocy społecznej. Obecnie znajduje się tutaj Dom Pomocy Społecznej dla Dorosłych.
Pałac wzniesiony został w latach 20. XIX wieku w stylu klasycystycznym. Budowla powstała z inicjatywy właściciela tutejszych dóbr ziemskich. Obiekt zlokalizowany jest na osi wschód-zachód i założony został na planie prostokątnym. Jest to budowla murowana z kamienia i cegły, o tynkowanych elewacjach. Budowla jest podpiwniczona, prostopadłościenna, dwukondygnacyjna, nakryta dachem mansardowym z facjatą. W miejscu dzisiejszej rezydencji znajdował się wcześniej dwór szlachecki, z którego zachowały się sklepione kolebkowo piwnice z lunetami, datowane na XVII i XVIII wiek. Obecnie do wschodniej elewacji przylega parterowe, powojenne skrzydło, natomiast do elewacji zachodniej dodany został budynek zawierający windę z przeszklonym szybem. Elewacja frontowa – północna została ukształtowana jako siedmioosiowa z wejściem pośrodku, poprzedzonym aktualnie dodaną dobudówką. Elewacja tylna jest dziewięcioosiowa, z ozdobnym wejściem w polu ryzalitu. Na detal architektoniczny elewacji składa się boniowanie, fryz złożony z kolistych plakietek i płycin oraz gzyms koronujący. Elewacje boczne są aktualnie – w wyniku powojennej przebudowy i rozbudowy – nieczytelne. Pierwotny układ wnętrza uległ niemal całkowitemu zatarciu w związku z powojennymi remontami i adaptacjami. Do dnia dzisiejszego wewnątrz budowli nie zachowały się jakiekolwiek elementy historycznego wystroju i wyposażenia wnętrz. Nie zachowała się również stolarka okienna i drzwiowa.
W okresie powojennym pierwsze roboty budowlane przy pałacu przeprowadzono w latach 1965-1971. Wewnątrz wykonano nowy układ pomieszczeń, dostosowując je do nowych funkcji. W dwóch pomieszczeniach piwnicznych wykonano kaplicę. Kolejnym etapem prac (lata 1987-1992) była rozbudowa pałacu o parterowe skrzydło po stronie wschodniej. W latach 1993-1994 przeprowadzono kompleksowy remont wnętrza oraz rekonstrukcję elewacji w oparciu o przekazy ikonograficzne, zarazem przełożono połacie dachowe dachówką karpiówką, a po stronie zachodniej dodano budynek mieszczący windę.
W latach 90. XX wieku w obrębie parku prowadzono prace porządkowe oraz uczytelniono układ przestrzenny. W 1995 roku Ośrodek Ochrony Zabytkowego Krajobrazu w Warszawie opracował projekt rewaloryzacji parku, jednak zaplanowanych wówczas prac nie podjęto do dnia dzisiejszego ze względu na brak środków finansowych.
