Жилой дом Баранова, 2-я половина XIX века