Особняк А.Н. Чемодурова, середина XIX века