Het is niet duidelijk wanneer men met de bouw van dit kasteel is begonnen.
Het kasteel werd als bordeel gebruikt en wordt in de geschiedenis voor het eerst genoemd als "Goed ter Beke" in 1328.
In de 16e eeuw werd de naam verandert in "Hof ter Beke".

Het kasteel werd pas veel later, in 1680, voltooid.

Een van de eigenaren waren de Familie Geelhand en Ullens. De familiewapens zijn nog zichtbaar.

De bijgebouwen zijn tussen 1859 en 1864 gebouwd.
In 1855 werd de vierkante toren gebouwd.

Er zijn plannen om alles te restaureren.