В 1682-1696 годах его посещали цари Петр и Иван, а также царевна Софья Алексеевна. Значительно чаще других здесь бывали Петр и его мать, царица Наталья Кирилловна. При Петре I под дворец был подведен новый фундамент.