Дом Толстых, XIX век