Het huis was tot 1449 in het bezit van het geslacht van Abcoude, toen werd het onder dwang verkocht aan de bisschop van Utrecht en kwam uiteindelijk in het bezit van het Sticht.

Bisschop David van Bourgondië, die het kasteel tussen 1459 en 1496 in bezit had, liet het kasteel grondig verbouwen. Hierbij werd de oude donjon volledig ingesloten door nieuwbouw. Tijdens deze verbouwing werd ook de nu nog intacte Bourgondische toren gebouwd. BRON Wikipedia