Spełniając prośbę Augusta II, Karol Unrug w 1730 przekazał królowi w dożywocie swoją siedzibę w Kargowej. Pochodzący z ok. poł. XVII w. obiekt przekształcono w ciągu dwóch lat w rezydencję, wznosząc ponadto szereg budynków z planowanego wielkiego założenia. Budowę prowadził Karol Pöppelmann wg proj. Karola Christopha Knöffela. Z Drezna sprowadzono rzeźbiarza K. Kirchnera oraz licznych rzemieślników. Realizację przedsięwzięcia przerwała śmierć Augusta II, a w czasie krótkiej wojny sukcesyjnej o tron Polski mieszczanie splądrowali i spalili obiekty. Unrugowie odbudowali pałac, w uproszczonej jednak formie. Był remontowany w 60. latach XX w. i na pocz. XXI w. Jest murowany na planie podkowy z ryzalitami na osi poprzecznej, dwutraktowy, piętrowy, nakryty dachem wielospadowym. Ryzality zwieńczone są przyczółkami. Wejście frontowe ujęte zostało zdwojonymi półkolumnami i pilastrami. Przyległy park krajobrazowy, zachował elementy wcześniejszego układu geometrycznego.
Menu