Усадьба Оржевских, 2-я пол. XIX века