Náš Domek pro poutníky se nachází na historické půdě. V areálu dnešní ulice Komturgasse (Komturova ulička) měli svojí komendu v letech 1365 až 1570 Johanité. Tuto komendu vedl komtur. Patrně z této doby pocházejí nejstarší části našeho podstávkového domu.

Dnešní budova vznikla patrně před zhruba 300 lety jako selská usedlost. Od té doby prošla několika přestavbami. V roce 1917 získalo statek s podstávkovým domem a kravínem zdejší katolické společenství. Stáj byla v roce 1919 přestavěna na kapli. Ta byla v roce 1935 nahrazena malým kostelem Sv. Konráda z Parzhamu.

Selské stavení se proměnilo na faru. Nejprve se nastěhoval kostelník s manželkou, v roce 1945 pak první samostatný farář v Hirschfelde. Jeho nástupci v úřadě pak budovu obývali až do roku 1992.Do roku 2010 nebyla budova využívána. Nedostávalo se finančních prostředků na rekonstrukci. Pouze v blokové světnici se občas konalo odpolední setkání farní obce.

Silně poškozená budova měla před sebou jedinou perspektivu, že bude jednoho dne stržena. Nápad, přebudovat tuto stavební památku na ubytovnu pro poutníky na Žitavské svatojakubské stezce znamenala pro budovu budoucnost.