В 1787 году приобретен президентом Вотчинной коллегии Матвеем Васильевичем Дмитриевым-Мамоновым, сын которого Александр был в то время фаворитом Екатерины II. В 1812 году дом принадлежал единственному сыну фаворита, графу Матвею Александровичу Дмитриеву-Мамонову. Матвей Александрович Дмитриев-Мамонов (1790 – 1863) вступил в Московское ополчение, участвовал в Бородинском, Тарутинском и Малоярославецком сражениях. На свои средства сформировал добровольческий полк, в 1813 году стал его шефом в чине генерал-майора. Во время французской оккупации в его доме расположился пасынок Наполеона принц Евгений Богарне. Итальянский корпус принца Евгения входил в Москву по Тверской дороге, и дом Мамонова оказался первым представительным домом на его пути. Итальянцы были расквартированы в окрестностях и, вероятно, защитили от огня несколько кварталов от Тверской до Патриарших прудов. Дом Мамоновых также не горел. После войны судьба графа Мамонова сложилась печально: он был основателем преддекабристского кружка «Орден русских рыцарей», отказался присягать Николаю I, был объявлен умалишенным. Дом графа в Мамоновском переулке был в 1830 году продан под размещение глазной больницы, и вот уже почти два века он является медицинским учреждением. В 1940 году при реконструкции улицы Горького созданный архитектором Матвеем Казаковым особняк мог погибнуть. Но исторический памятник не сломали, а переместили, причем постройку весом в 13300 тонн пришлось повернуть на 97 градусов и надвинуть на заранее возведенный цокольный этаж .