Главный дом городской усадьбы, XIX-ХХ века