A sváb tájház létrehozásához megvásárolt hát az egykori német telepes részen, Alsófaluban (Altstadt) található. A házat 1924-ben Weinber Ferenc (1900-1972) kezdte el építtetni feleségével, Stöckl Máriával. Ferenc édesapja osztotta ketté a korábbi telket, így biztosítván önálló telket fiának. A jómódú család földműveléssel foglalkozott, illetve szecskavágásból éltek: a fölaprított kukoricaszárat takarmányként budapesti fuvarosoknak adták el. Két lovuk és két tehenük volt. A ház két részletben épült, a sóskúti kőből kirakott pincében „1943.IX. HÓ 20.” felirat olvasható. A villanyt 1942-ben vezették be.
1948-ban egy felvidéki magyar családot telepítettek be a házba, akik a tisztaszobában, a tisztakonyhában és a lakószobában éltek. Az eredeti tulajdonos és felesége a hátsó konyhát és a kamrát használta 1962-ig. A pincét, ahol a bor mellett a zöldséget, tejet tárolták, két részre osztották. 1924-ben született fiuk, Antal 1948 farsangján, január 27-én vette el a taksonyi származású Wagner Terézt. Házasságkötésük után – a haraszti körülmények miatt – Taksonyban telepedtek le. Wagner Teréz testvéreit Németországba telepítették ki.
A kilakoltatás utáni kezdeti években a két család mondhatni barátságos viszonyban élt, azután fokozatosan elmérgesedett a viszony. Folyamatos volt a pereskedés közöttük: Weinberék vissza szerették volna kapni saját kézzel épített házukat, a betelepítettek pedig az egész házat szerették volna uralni. Weinberék nem használhatták saját gangjukat, sőt az ő általuk telepített lugasról sem szüretelhették le a szőlőt. A bormennyiség folyamatos megcsappanása után kénytelenek voltak a pincét kerítéssel elválasztani. Mivel a betelepültek nem földműveléssel foglalkoztak, ezért zavarta őket, hogy Weinber Ferenc jószágot tartott. Míg a Weinber család földjén szorgoskodott, addíg a betelepítettek több ízben kihajtották az utcára a disznókat, mivel azokat büdösnek tartották. Folyamatos volt a bor, a tej és a tojás megdézsmálása. Nemegyszer a betelepített család fője hangulata határozta meg, hogy Weinberék milyen vendéget fogadhatnak és mikor.
Az Alsófaluban köztudott volt a betelepített család sváb gyűlölete. 1956-os forradalom leverésekor – kihasználva a felfordulást és a szovjet csapatok támogatását – a Weinber család atrocitásnak volt kitéve a betelepült családfőtől: életveszélyesen megfenyegette őket és tettlegességre is sor került. A tettlegesség célja a végleges eltávozásra kényszerítés volt. Ezután Ferenc sógora amiért a Weinber családot védte, börtönbüntetést kapott. A reménytelen kísérletezések után, miszerint visszakapják két kezükkel épített házukat, végső és elkeseredett elhatározásra jutottak, hogy saját házukból véglegesen eltávoznak. Végül közös házat építettek a Szilágyi utcában. A ház felújítása során, melyben a Heimatland Harast Alapítvány tagjai mellett sok helybeli mesterember is részt vett, az 1940-es évek elejének haraszti hagyományait tükröző állapot visszaállítása volt a cél. Az utcai ablakokról leszedték a redőnyöket, ismét téglaburkolatot kapott az istálló, elbontották a tiszta konyha helyén kialakított fürdőszobát, az ajtókat és ablakokat újra zöld színűre festették, a házat pedig fehérre meszelték.