Дом Гончаровых, XVIII-XIX веков