Первоначальное двухэтажное здание было построено в 1837-м году архитектором Д. Адамини (в наши дни от него сохранился угловой балкон). А в 1899 архитектор Алексей фон Гоген достроил ещё три этажа и придал дому тот уникальный вид, который сегодня красуется на перекрёстке Ул Рубинштейна и Графского пер
Заказчиком перестройки был Иван Алексеевич Жевержеев, богатый купец владевший фабрикой церковной утвари и тканей, поставляя их по всей России…
В 1910-м году он один из основателей и председатель литературно-художественного объединения "Союз молодежи" (среди его членов были Михаил Матюшин, Павел Филонов, Казимир Малевич, Владимир Маяковский, братья Бурлюки...