В XVIII веке на месте памятника находился братский корпус, построенный между 1759-1768 гг. В 1810 году этот корпус сильно пострадал от пожара. В 1822-1827 гг. корпус основательно перестроен.
При архимандрите Фотии, в 1826-1827 гг., построена башня. Использовалась как помещение для сторожа, смотрителя, конного двора и склад.
В ВОВ существенных разрушений не понесла. В настоящее время полуподвал башни используется под овощехранилище семинарской столовой .