Раскладываем данные по корзинам: что отправить в файловое хранилище, а что в S3

Пять лет назад каждый день в мире генерировалось 33 триллиона Гб данных. Цифра уже значительная, но это было еще до бума нейросетей. До того как соцсети заполнили миллионы фото в стиле студии Ghibli, до чат-ботов в каждый дом и нейровидео. До того как мы стали трекать сотни событий в каждом автомобиле и бытовой технике. Поэтому нет ничего удивительного, что сейчас мы приближаемся к отметке в 175 триллионов Гб новых данных в день. Скорее всего, нам придется пересмотреть многие подходы к построению дата-центров и хранению данных.

В том, как эффективно обрабатывать и хранить данные, какая принципиальная разница есть между файловыми хранилищами и объектными S3, разбираемся в этом материале.

Задачи хранения данных

Данных становится настолько много, что бизнес не всегда понимает, зачем столько их. И часто вообще не имеет инструментов для аналитики и оптимизированного хранения. А ведь нужно иметь:

1. Виртуальные машины или выделенные серверы, чтобы поддерживать работу собственных сервисов и приложений.
2. Файловое хранилище для обмена и резервного копирования данных. В связи с участившимися кибератаками бэкапы могут значительно сократить репутационные потери и буквально спасти бизнес. Хранить бэкапы в том же контуре малоэффективно: если злоумышленники получают доступ к ИТ-инфраструктуре, они уничтожат и их тоже.
3. Хранилище для дата-сетов и инструменты для поддержки их консистентности, чтобы не обучать модели на грязных данных. Грязные данные тоже где-то нужно хранить, причем так, чтобы туда имели доступ команда аналитиков и команда разметки.
4. Инструменты для масштабирования, чтобы справляться с изменяющимися нагрузками на ИТ-инфраструктуру. Причем здесь есть риск упасть в одну из крайностей: терять время из-за медленного масштабирования и постоянного приближения к потолку вместимости — или встретиться с проблемой утилизации ресурсов.

Существует два решения, которые помогут решить часть описанных проблем с данными: файловое хранилище и хранилище S3. Разберем их в деталях.

Для Enterprise-сегмента и случаев, когда нужно работать с терабайтами данных, есть еще решения по типу Data Lakehouse, но о них мы говорить в этой статье не будем: это особый случай.

Особенности файлового хранилища VK Cloud

Файловое хранилище (далее ФХ) — это надежный способ организации данных с иерархией, поддержкой общего доступа и совместимостью с любыми приложениями. Представляет собой файловую систему, которая подключается к виртуальным машинам. Подключить файловое хранилище для серверов на Windows и Linux возможно по протоколу NFS или через CIFS. Подробнее о подключении можно прочитать в инструкции.

C точки зрения производительности ФХ обладает низкой задержкой и хорошо работает с большим количеством небольших файлов. Например, когда нужно организовать работу команды с тысячами бухгалтерских документов, это лучшее решение, но о сценариях применения мы поговорим подробнее чуть ниже. У файлового хранилища есть и ограничения, связанные с обработкой метаданных. Набор стандартов POSIX фиксирован: тип, права, владелец/группа, size, ссылки, mtime/ctime/atime — добавить или убрать что-то из этого списка нельзя. Данные Creation time (btime) есть не везде и не всегда передаются по сети.

Большие файлы весом несколько Гб обновляются заметно дольше, поэтому с ними труднее работать. Кроме этого, могут наблюдаться следующие сложности:

• медленная передача, сложность восстановления при ошибках;
• не все файловые системы поддерживают большие файлы (старые FAT32 — максимум 4 Гб);
• некоторые приложения не могут обрабатывать файлы такого объема целиком.

Для каких задач использовать файловое хранилище

Файловое хранилище лучше подойдет для хранения:

• бэкапов (скорее инкрементальных), архивов, медиа и документов;
• файлов с частым чтением и записью;
• небольших объемов данных (общий объем до 1 Тб, средний объем файлов <1 Гб), к которым должен быть организован постоянный общий доступ.

Клиент может увеличивать доступный объем ФХ по мере роста его инфраструктуры — масштабирование происходит достаточно быстро, а пороговое значение можно легко настроить.

С файлами внутри ФХ можно работать совместно, то есть использовать для работы удаленных команд. Клиент разворачивает приложение (например, сайт, внутренний портал или систему обработки данных), которое работает на нескольких виртуальных машинах и должно использовать одни и те же файлы: изображения, документы, отчеты, логи, бэкапы и т. д. Чтобы избежать дублирования данных и обеспечить согласованный доступ ко всем файлам из разных инстансов, клиент подключает сетевое файловое хранилище.

Это позволяет:

• обеспечить единое хранилище файлов между несколькими серверами;
• избежать проблем с рассинхронизацией данных;
• упростить масштабирование приложения;
• получить отказоустойчивость и резервное копирование из коробки.

При этом локальный диск ВМ тут бы не подошел, ведь на нем:

• данные недоступны другим машинам;
• при удалении ВМ данные теряются;
• нет централизованного управления.

Особенности объектного хранилища S3

Объектное хранилище S3 предполагает отсутствие иерархии и плоское пространство имен в бакетах. Объектов в бакетах может быть неограниченное количество. Хранилище обеспечивает высокую производительность, подходит для высоконагруженных систем и используется как основа для хранения данных в отказоустойчивых кластерах приложений.

Доступ организован по HTTP API. Кроме этого, решение характеризуется высокой долговечностью, масштабируемостью и богатыми механизмами шифрования и настройки политик.

S3 эффективнее использовать для больших объемов данных (от 1 Тб), статичных данных или редких перезаписей и сценариев write-once/read-many, но не подходит для произвольной дозаписи и «файловой» семантики. Иначе говоря, объектное хранилище не обладает гибкостью файлового и не подойдет для работы с данными, которые используются в ежедневных задачах.

Для каких задач использовать объектное хранилище S3

Задачи, связанные с хостингом статического контента. Это могут быть как целые сайты, так и SPA или тяжелый медиаконтент. Сюда также можно отнести медицинские и юридические документы, которые не подлежат изменениям. Работа с резервными и временными данными. S3 отлично подходит для хранения полных бэкапов и снапшотов, а также для создания промежуточных зон при миграции, временных стейджей для ETL/ELT и обмена данными между системами, аккаунтами и командами. Отдельно стоит выделить совместимость с Iceberg/Hudi/Delta для табличных слоев.

Распространение ПО. Репозитории обновлений, установщики, пакеты, публичные релизы. Хранение CI/CD-артефактов и Terraform state.

Сбор логов и телеметрии. Объектное хранилище широко применяется для ML/AI: хранения дата-сетов, результатов препроцессинга и моделей.

Объектные хранилища S3 выбирают благодаря массовым загрузкам и дешевому хранению больших объемов данных.

Когда лучше отказаться от использования S3

• Транзакционные БД, частые мелкие произвольные записи, низкая задержка — выбирайте блочные устройства / БД / файловые сервисы.
• Нужна POSIX‑семантика, блокировки и редактирование «на месте».
• Частые переименования / частичные обновления объектов, операции Copy и Delete будут обходиться дорого.

Общие выводы

Бизнес-задачи чаще предполагают совместное использование файлового и объектного хранилища, поскольку решения обладают своей спецификацией.

Строгое использование решений под свои задачи и гибридная реализация помогут выстроить рабочие процессы и оптимизировать затраты на ИТ-инфраструктуру и хранение данных.