Особняк купца Иванова, 2-я половина XIX в.