Горячее, холодное и архивное хранение в S3: классы и автоматизация lifecycle

Экономия от холодного хранения начинается не в момент разового переноса данных в дешёвый класс, а тогда, когда устаревшие данные удаляются сами, по правилу, а не по напоминанию в календаре инженера. Многие компании один раз выбирают класс хранения для архива и на этом останавливаются: свежие логи месяцами лежат в горячем тарифе просто потому, что никто не поставил TTL, а временные копии, старые версии объектов и просроченные бэкапы годами занимают место, пока кто-нибудь вручную их не удалит. Разовый выбор класса даёт разовую экономию, а lifecycle-правило на expiration — постоянную, без того чтобы инженер каждый месяц вручную чистил бакет от того, что давно никому не нужно.

В VK Object Storage три класса хранения — Hotbox, Icebox и Glacier, — а их жизненным циклом управляет Bucket Lifecycle Policy: правило Expiration избавляеn от рутинной чистки бакета, удаляя объекты по истечении заданного срока без участия инженера. Класс хранения для объекта можно сменить и вручную — между Hotbox и Icebox переключение прямое, а Glacier подключается по запросу для по-настоящему холодных архивов. Разберём, чем классы отличаются друг от друга и как собрать lifecycle-правило на expiration для логов, временных копий и версий бэкапов, чтобы больше не чистить бакет руками каждый месяц.

Горячие, холодные и архивные данные

Класс хранения выбирают по профилю доступа: как часто к объекту обращаются и насколько критична скорость ответа.

Горячее хранение (hot storage) подходит для мультимедиа, каталогов и данных приложений, к которым обращаются постоянно — здесь хранение дороже, зато скорость и дешёвый трафик это окупают.

Холодное хранение (cold storage) — это архивы, логи старше месяца, бэкапы, которые переезжают в класс с дешёвым хранением, но более дорогим доступом. Компания платит меньше за гигабайт в месяц и немного больше за каждое обращение к архиву, поэтому выигрыш зависит от того, насколько редко эти данные действительно нужны.

Архивное хранение — крайняя точка этой шкалы: данные, к которым обращаются несколько раз в год или реже, но которые нельзя удалить по регуляторным или бизнес-причинам. Так работает tiered storage — данные двигаются по лестнице классов вслед за тем, как меняется частота обращения к ним, и компания платит только за тот уровень доступа, который ей реально нужен сейчас.

Классы Hotbox, Icebox и Glacier

VK Object Storage предлагает три класса, и у каждого своя экономика хранения и доступа.

• Hotbox — горячий класс для данных с частым доступом: мультимедиа, файлы приложений, данные для CDN. Хранение дороже, зато трафик и запросы дешевле.
• Icebox — холодное хранение: архивы, бэкапы, логи с редким доступом. Хранение дешевле горячего класса, а исходящий трафик дороже.
• Glacier — глубокий архив для «ледяных» данных объёмом от 100 ТБ с доступом несколько раз в год и реже. Извлечение данных из него занимает много времени, зато хранение самое дешёвое, а весь трафик, входящий и исходящий, бесплатный.

Lifecycle-политики на практике

Bucket Lifecycle Policy — набор правил, который переводит объекты между классами (Transition) и удаляет их (Expiration) по условиям: возраст объекта по дням, префикс пути, теги.

Отдельно можно настроить поведение для версий объектов. NoncurrentVersionExpiration удаляет старые версии объекта, а ExpiredObjectDeleteMarker убирает маркеры удаления без содержимого. Эти три параметра важны там, где включено версионирование бакета: без них старые версии копятся и хранятся вечно, увеличивая счёт незаметно для команды.

Пример lifecycle-правила

Правило ниже переводит логи из горячего класса в холодный через 30 дней и удаляет их через год. Идентификаторы классов хранения (StorageClass) сверяйте в документации VK Cloud:

json

{
  "Rules": [
    {
      "ID": "logs-hot-to-cold-then-delete",
      "Filter": { "Prefix": "logs/" },
      "Status": "Enabled",
      "Transitions": [
        { "Days": 30, "StorageClass": "ICEBOX" }
      ],
      "Expiration": { "Days": 365 }
    }
  ]
}

Правило работает без участия человека: объекты из папки logs/ через 30 дней переходят в Icebox, а через 365 дней удаляются целиком. Для видео или бэкапов достаточно поменять префикс, срок перехода и добавить второй Transition — например, в Glacier для долговременного хранения данных, которые почти никогда не запрашиваются, но должны храниться по регламенту.

Примеры правил: логи, видео, бэкапы

Три сценария закрывают большинство задач с холодным архивом в облаке.

Для логов и видео правило комбинирует несколько Transition подряд: сначала Hotbox для быстрого доступа, затем Icebox для среднего срока, затем Glacier для долгого архива. Для бэкапов дешевле сразу класть копии в Icebox и настраивать ротацию — удалять версии старше нужного количества дней, чтобы не платить за бесконечно растущий архив.

Для критичных резервных копий стоит включить Object Lock: он блокирует изменение и удаление объекта на заданный срок даже при компрометации учётной записи. Это отдельный механизм поверх lifecycle, который защищает бэкапы от шифровальщиков и случайного удаления.

Подводные камни

Холодное хранение экономит на хранении, но не на доступе. У Icebox исходящий трафик дороже, чем у Hotbox — 1,54 против 1,2 ₽ за ГБ, поэтому частые обращения к «холодным» объектам могут съесть всю экономию на хранении. Прежде чем переносить данные в холодный класс, оцените не только объём, но и реальную частоту будущих обращений к нему.

Второй момент — минимальные сроки хранения, типичные для холодных и архивных классов в экосистеме S3. При досрочном удалении или переносе объекта тарификация обычно идёт за оставшуюся часть минимального периода, поэтому переносить данные в архив стоит только тогда, когда они останутся там надолго. Уточняйте условия в актуальных тарифах перед миграцией.

Glacier рассчитан на объёмы от 100 ТБ и доступ несколько раз в год — не стоит переносить туда данные, которые могут понадобиться уже завтра. Главное правило выбора класса: решает профиль доступа, а не возраст файла сам по себе. Старый, но часто запрашиваемый объект остаётся в горячем классе, а свежий, но редко нужный переезжает в холодный.

Проверьте эти пункты до запуска lifecycle-правила на боевом бакете: посчитайте реальную частоту обращений к архиву за последние месяцы, уточните минимальный срок хранения для выбранного класса и убедитесь, что критичные бэкапы защищены Object Lock отдельно от обычного правила перехода.

Классы хранения VK Cloud и их настройка

Hotbox, Icebox и Glacier включаются на уровне бакета в VK Object Storage. Оценить экономию для своего объёма можно калькулятором на сайте VK Cloud, а детали API и параметров классов смотрите в документации.

За этими классами стоит одна из крупнейших инсталляций S3-совместимого хранилища в России: более 400 ПБ данных и свыше 95 млрд объектов, из них 35 млрд в горячем доступе. Хранилище — собственная разработка VK Tech без open-source движков вроде Ceph или MinIO, метаданные держатся в in-memory Tarantool, а скорость чтения начинается от 350 Гбит/с. Инфраструктура работает в 6 ЦОД на территории России с георепликацией, а у платформы есть сертификат ФСТЭК по 4 уровню доверия № 4890 от 12.12.2024.

Надёжность хранения данных заявлена на уровне 99,999999% по SLA VK Cloud.

Хранилище полностью совместимо с Amazon S3 API: Lifecycle, Versioning, Object Lock, Multipart Upload и CORS работают без переписывания существующих интеграций. Входящий трафик бесплатен на всех классах, а сервис интегрирован с CDN и Managed Kubernetes, что закрывает связку хранения, доставки и обработки без стороннего звена в инфраструктуре.

Тренд на рынке подтверждает целесообразность такого подхода: по прогнозу Gartner, к 2028 году модели STaaS закроют более 35% капитальных затрат на хранение данных против менее 10% в 2023 году. Компании, которые уже сейчас строят lifecycle-политики поверх нескольких классов хранения, реже пересматривают архитектуру хранения под давлением растущих счетов.

Заключение

Холодное хранение выгодно не как разовая миграция, а как постоянно работающее lifecycle-правило: Hotbox для активных данных, Icebox и Glacier для архивов и редких обращений, Transition и Expiration для автоматического перевода и удаления. Расчёт по открытым тарифам показывает экономию около 52% при переносе 100 ТБ из горячего класса в холодный, а для Glacier эффект ещё выше за счёт бесплатного трафика.