Усадьба купцов Авдеевых, вторая половина XIX века