Gården har en historie som går helt tilbake til middelalderen. Det antas at Stumberg og Berger var en gård i 1344. På slutten av 1500-tallet ble den adelig setegård tilhørende familien Rosenkrantz. Til Stumberg hørte i gamle dager søndre Tistedalen med sager og kvernbruk. Hovedbygningen som er et av de første sveitserhus i Norge, ble reist av rektor Jens Lyster Frølich i 1840 åra. I 1889 kjøpte Hans Stumberg gården, og den har siden vært i denne familiens eie.

Kilde: Harald Bakke. Id herred – En grænsebygds historie. Fredrikshald 1915