Особняк Е.С. Зубарева, середина XIX века