Гранитная набережная, XVIII-XIX вв.