Дом Гореловых, XIX в.