Замок был построен в 1797—1801 годы, его первый камень заложен 26 февраля (9 марта) 1797 года. Проект дворца был разработан архитектором В. И. Баженовым по поручению императора Павла I, желавшего сделать его своей главной парадной резиденцией. Строительством руководил архитектор В. Бренна (который долгое время ошибочно считался автором проекта)[5]. Бренна переработал первоначальный проект дворца и создал художественную отделку его интерьеров.