Ансамбль усадьбы Волконских, XVII-XIX веков