Строительство роскошной усадьбы, ставшей впоследствии украшением города Екатеринбурга, началось с двухэтажного углового дома, в 1794-1799 годах. Основой для дома на Вознесенской горке, самом высоком месте города, стали недостроенные «каменные палаты», которые были заложены в 1794 году.

Хозяин П. Харитонов – золотопромышленник и заводчик, устраивал здесь шикарные балы, обеды, а в прилегающем к усадьбе большом саду – гулянья местной знати.

Но недолго – в 1836 году он и Г. Зотов был сослан в Финляндию за лиходейство.