Die alte Burg Wollerau wird um 1508 letztmals urkundlich mit der Ortsangabe "ennethalb dem Bach" erwähnt. Gemeint ist der Krebsbach, im Gebiet des heutigen Alterszentrums Turm-Matt. Noch zu Beginn dieses Jahrhunderts war die Wiese als "Schlosswiese" bekannt. Der Turm selbst, dessen Fundation beim Bau der Turm-Matt gesichtet wurde, soll von einem Graben umgeben gewesen sein, über den eine Fallbrücke führte. In nächster Nähe befand sich die Richtstätte mit dem Galgen. Noch um die Jahrhundertwende stand dort ein Haus mit einem "Helgenhüsli", das an die ehemalige Richtstätte und das "Galgenkappeli" erinnerte, und in dem 1785 viele Gebeine gefunden worden sein sollen.

Seit 1985 steht das Alterszentrum Turm-Matt im Bereich der einstigen Burg Wollerau.