Дом В.И. Князева, XIX век