Wzniesiony został w latach 1426–1429 na zrębach rycerskiego zamku z ok. 1350, jako siedziba balliwatu brandenburskiego. Przy odbudowie po pożarze, balliw, książę Maurycy de Nassau, polecił przekształcić obiekt w rezydencję. W latach 1661–1666 zbudowane zostało barokowe założenie, zaprojektowane przez Jacoba van Campen i Petera Posta, na wzór prywatnego pałacu księcia w Amsterdamie. Budowę prowadziło dwóch mistrzów holenderskich – Cornelis Rykwaert i Gorus Peron, a pracę nadzorował książęcy doradca budowlany Jean de Bonjour. Nowa siedziba balliwa otrzymała plan kwadratu z budynkiem mieszkalnym we wschodniej części i dziedzińcem otoczonym niskim murem. Całość oblewała fosa. W 2. poł. XVIII w. zniekształcono układ, burząc mur dziedzińca i zasypując fosę. Po 1945 w obiekcie funkcjonował dom kultury, lecz ok. 1970 został opuszczony, a w 1975 podpalony, prawdopodobnie z inspiracji Milicji Obywatelskiej. Zachowany w postaci nagich murów bez dachu, jest murowany, prostokątny w planie.
