Zlokalizowany na zachodnim obrzeżu wsi, XVIII-wieczny spichlerz jest obecnie jedyną pozostałością, istniejącego w przeszłości na terenie majątku zwanego Szczańcem Średnim, założenia pałacowo-parkowo-folwarcznego. Sąsiadujące z nim ruiny, to ślady dawnej, wspaniałej siedziby szlacheckiej, zwanej Czerwonym lub Średnim Dworem.
Jej początki sięgają XVI wieku, kiedy właścicielem majątku był Eustachy von Stentz, przedstawiciel znamienitego rodu, zamieszkującego Szczaniec przynajmniej od XIV wieku. Najprawdopodobniej to właśnie on wzniósł najstarszą część dworu, który poprzez późniejsze rozbudowy uzyskał formę trzech połączonych budowli, zlokalizowanych wzdłuż zachodniego boku podwórza folwarcznego. Najstarszą, wiarygodną wzmianką, łączącą ten ród ze Szczańcem jest dokument z 1415 roku, w którym Hans von Stentz (ojciec Raphaela, budowniczego najstarszej szczanieckiej rezydencji – zlokalizowanego po sąsiedzku zamku zwanego Białym Dworem), zrzekł się jeziora Lubinickiego na rzecz opata klasztoru w Paradyżu.
Najstarszy, południowo-zachodni człon Czerwonego Dworu pochodzi najprawdopodobniej z 2. poł. XVI lub początku XVII wieku. W połowie wieku XVIII został on rozbudowany o część wschodnią, z wykorzystaniem murów renesansowego skrzydła wschodniego. W kolejnym stuleciu przeprowadzono tu prace remontowe, a w latach 20. XX wieku ponownie go rozbudowano i przebudowano, dodając od północy kolejne skrzydło, które połączyło dwór z sąsiadującym od północy spichlerzem. Murowane z cegły z dodatkiem kamienia, starsze części obiektu tworzyły nieregularny czworobok wokół wewnętrznego dziedzińca, zwracając się elewacją frontową ku dziedzińcowi folwarcznemu. Dodawane przez wieki bryły poszczególnych części różnią się formą i gabarytem. Podczas kolejnych etapów rozbudowy celowo unikano ujednolicania architektury. Stworzyła się dzięki temu cenna i ciekawa mieszanka form i stylów. Część najnowsza, założona na planie litery „L” była niższa od najstarszego skrzydła południowo-zachodniego. Najwyższa zaś była XVIII-wieczna, frontowa część dworu. Najstarszy człon budowli w kształcie podkowy składał się z trzech piętrowych, posadowionych na wysokim podpiwniczeniu, jednotraktowych skrzydeł, obudowujących po trapezie dziedziniec wewnętrzny. Układ wnętrz parteru i piętra był analogiczny. W części tej wszystkie pomieszczenia piwnic i większość pomieszczeń parteru posiadała sklepienia. Jedna z sal nakryta była belkowym, drewnianym stropem. Większość ścian działowych piętra miała konstrukcję szkieletową. Niespotykanym na tych terenach rozwiązaniem i najcenniejszym elementem wystroju była, obiegająca wewnętrzny dziedziniec na wysokości piętra, drewniana galeria, otwarta pierwotnie w formie loggi do jego wnętrza arkadami wspartymi na ozdobnie opracowanych słupach. Piętrowe elewacje części najstarszej wzniesione były na licowanych kamieniem, szkarpowych podmurówkach. Murowany, dwupiętrowy budynek frontowy wzniesiony był na planie prostokąta, nakryty wysokim, łamanym dachem. Dwutraktowe wnętrze o traktach różnej głębokości, mieściło przesuniętą na południe sień. Dwukondygnacyjna elewacja frontowa przepruta była prostokątnymi otworami okiennymi w siedmiu, regularnie rozmieszczonych osiach. Centralna część fasady zdobiona była boniowaniem. Całość opasywał dekoracyjny fryz z motywem spirali, którego niewielkie fragmenty przetrwały na ocalałym fragmencie ściany dworu. Nad umieszczonym centralnie wejściem głównym osadzony był kamienny kartusz z herbem Knobelsdorffów. Elewacje boczne tej części były trzykondygnacyjne. Obiekt, choć w złym stanie, istniał jeszcze w roku 1969. Zachowane jeszcze wówczas fragmenty budowli oraz elementy jej wystroju i wyposażenia, m.in. drewniana galeria dziedzińca, strop o ozdobnie profilowanych belkach, polichromie ścienne czy kartusze herbowe, były śladami jej pierwotnej świetności i bogactwa oraz reprezentacyjnego charakteru. Z tej wspaniałej niegdyś budowli zdołano uratować jedynie część belek, wymontowanych tuż przed rozbiórką. Zdobią one obecnie strop w jednej z sal wieży rycerskiej w Witkowie.
