Жилой дом Торопова, 2-я половина XIX века