De zwerfkei wordt gezien als toonbeeld van het museum. De kei is in de twintiger jaren van de vorige eeuw van een boerenerf bij de Lonnekerberg naar het museum verplaatst. Tot eind vorige eeuw stond hij altijd aan de voorkant van het gebouw. De zwerfkei is weggehaald omdat de entree niet meer toegankelijk was voor minder validen. Door de vernieuwing van de entree is er nu weer plaats voor de kei.