Объектное, файловое и блочное хранилище: в чём разница и что выбрать под задачу

Объектное хранилище — это способ хранить файлы и другие неструктурированные данные в виде объектов с уникальным идентификатором и метаданными, без иерархии папок, с доступом по S3 API. Вопрос «объектное хранилище — что это» встает в конкретный момент: когда на блочном диске под бэкапы закончилось место, а архив логов за год весит больше, чем вся основная база.

Три модели хранения данных — объектная, файловая и блочная — решают разные задачи, и путаница между ними дорого стоит. Медленная база данных на объектном хранилище, переплата за блочные тома под холодный архив, сетевые папки там, где нужен S3 API на миллионы обращений в сутки — каждая из этих ошибок оборачивается либо лишними расходами, либо упавшим под нагрузкой сервисом.

Разница не в том, какое хранилище лучше. Блочное хранилище держит транзакции быстрее объектного физически, за счёт прямой записи по блокам, а объектное масштабируется на порядки шире файлового, потому что не хранит дерево папок. Вопрос стоит иначе: что именно вы храните и как к этому обращаетесь.

Ниже разберём устройство всех трёх моделей, расскажем, как устроено объектное хранилище и S3 изнутри, а также покажем таблицу с восемью критериями сравнения и матрицу «сценарий → тип», чтобы для медиа, боевой базы, бэкапов или ML-датасета выбрать конкретный сервис в VK Cloud.

Три способа хранить данные

Приложение обращается к данным одним из трёх способов.

• Блочное хранилище отдаёт сырой том, разбитый на блоки фиксированного размера, и работает с ним как с локальным диском: операционная система сама решает, что и куда писать.
• Файловое хранилище добавляет поверх диска иерархию — папки, вложенность, права доступа — и отдаёт данные по сетевым протоколам вроде NFS или SMB.
• Объектное хранилище отказывается от иерархии вовсе: каждый файл — это объект, у него есть уникальный идентификатор, сами данные и произвольные метаданные, и все объекты лежат в одном плоском пространстве имён внутри бакета.

Откуда взялись разные типы хранилищ

Блочное хранилище старше всех: жёсткие диски и первые СУБД в 1970–1980-х годах работали именно с блоками, потому что база данных сама управляет размещением записей и ей не нужна файловая абстракция поверх. Файловое хранилище выросло из потребности делить папки между несколькими компьютерами в одной сети: NFS, а позже SMB, закрыли задачу общего доступа к документам и общему сетевому диску между сотрудниками одной команды.

Объектное хранилище — младшее из трёх, оно возникло как ответ на проблему, с которой блочная и файловая модели не справлялись: взрывной рост неструктурированных данных при Web-scale. Файловая иерархия с миллиардами файлов в одной директории деградирует по производительности, а блочные тома ограничены объёмом самого диска. Amazon S3 запустили 14 марта 2006 года, и REST API S3 с тех пор стал стандартом для объектного доступа: почти все современные объектные хранилища, включая российские, совместимы с этим API. Масштаб проблемы, которую решает объектная модель, растёт: по прогнозу IDC Global DataSphere, мировой объём данных увеличится с 149 зеттабайт в 2024 году до 394 зеттабайт к 2028 году, и подавляющая часть этого прироста придётся именно на неструктурированные данные вроде медиа, логов и датасетов.

Объектное хранилище и S3: как устроено

Объектное хранилище — что это на практике, а не в определении: сервис, где вы кладёте файл в бакет по HTTP-запросу и получаете обратно URL, по которому файл доступен, без монтирования диска и без файлового сервера между приложением и данными. S3 — это протокол, а не бренд одного облака: S3-совместимое хранилище понимает те же команды PUT, GET, DELETE, что и оригинальный Amazon S3. Поэтому клиент, написанный под одно S3-облачное хранилище, обычно работает и с другим без переписывания кода.

Объекты, бакеты, метаданные

Базовая единица объектного хранилища — объект: данные, уникальный идентификатор и метаданные (тип содержимого, дата, кастомные теги). Объекты складываются в бакеты, и внутри бакета нет вложенных папок в файловом смысле — путь вроде photos/2026/report.jpg просто часть имени объекта, а не реальная иерархия каталогов.

Плоское пространство имён и даёт объектному хранилищу практически неограниченную масштабируемость: добавление миллиардного объекта не замедляет доступ к первому. Доступ идёт по S3 API поверх HTTPS, поэтому к бакету можно обращаться из любого языка программирования, из браузера через presigned-ссылку или из другого облака.

То, как это устроено на уровне протокола, подробно разобрано в статье «Что такое S3 в облаке и как оно работает для хранения данных».

Где применяют

Объектное хранение файлов закрывает пять сценариев: медиатека сайта или приложения (изображения, видео, аудио), бэкапы виртуальных машин и баз данных, статические файлы сайта (CSS, JS, изображения за CDN), датасеты для машинного обучения и Big Data, а также архивы логов. Общий признак — данные пишутся один раз и читаются много раз, редко изменяются частями и нуждаются в доступе по HTTP из разных мест, а не с одного сервера.

Файловое хранилище: когда нужно

Файловое хранилище остаётся правильным выбором там, где приложению или пользователю нужна именно файловая система — с папками, правами на уровне каталога и монтированием как сетевого диска, а не через SDK или API.

Иерархия и общий доступ

NAS и сетевые папки работают через протоколы NFS (в Linux-мире) или SMB (в Windows-мире) и выглядят для приложения как обычная папка на диске, только физически данные лежат на отдельном сервере. Это удобно для:

• legacy-приложений, которые изначально писались под работу с локальной файловой системой и не умеют в S3 API;
• общих папок нескольких сервисов, которым нужен одновременный доступ к одному и тому же дереву файлов;
• конфигурационных файлов, куда несколько процессов пишут и откуда читают одновременно.

Однако иерархия ограничивает масштаб. Файловая система с миллионами мелких файлов в одном каталоге теряет производительность на операциях листинга, а масштабирование NAS горизонтально сложнее, чем добавление ёмкости в объектное хранилище. Разграничить, что отправлять в файловое хранилище, а что переносить в объектное, подробно разобрано в статье «Раскладываем данные по корзинам: что отправить в файловое хранилище, а что в S3».

Блочное хранилище: для БД и ОС

Блочное хранилище — это диск в чистом виде: том разбит на блоки одинакового размера, и операционная система или СУБД поверх него сами решают, какой блок что хранит. Отсюда у него самая низкая латентность из трёх моделей, потому что запись идёт напрямую по адресу блока, in-place, без похода за метаданными и без сетевого API.

Тома и низкая задержка

Блочные тома — стандартный выбор под диски виртуальных машин и боевые базы данных. СУБД пишет и читает страницы данных с задержкой в единицы миллисекунд, а для транзакционной нагрузки это критично. Метаданных на уровне самого блочного хранилища почти нет — файловая система вроде ext4, NTFS или XFS появляется уже поверх тома, если она вообще нужна.

Ограничение здесь противоположно объектному хранилищу: у тома фиксированный размер, и когда данные его перерастают, том приходится расширять или переносить данные заранее — бесконечно докладывать, как в бакет, не получится.

Совместный доступ к одному блочному тому обычно ограничен одним хостом или одной виртуальной машиной единовременно — это не файловая шара, где к одному дереву каталогов пишут пять сервисов сразу.

Матрица выбора по сценариям

Выбор типа хранилища определяется не тем, что современнее, а паттерном доступа: как часто меняются данные, нужен ли общий доступ, критична ли задержка в миллисекундах.

Что выбрать в VK Cloud

В VK Cloud объектная модель закрыта сервисом Object Storage — собственная разработка VK Tech без использования сторонних open-source движков вроде Ceph или MinIO, развивается с 2013 года, то есть больше 13 лет находится в промышленной эксплуатации. Полная совместимость с S3 REST API означает, что существующий код под Amazon S3 или другое S3 cloud подключается к Object Storage без переписывания.

Инсталляция по данным VK Cloud держит более 400 ПБ данных, свыше 95 млрд объектов, из которых 35 млрд в горячем доступе, распределённых по 6 ЦОД, с пропускной способностью от 350 Гбит/с и временем ответа до первого байта (TTFB) менее 20 мс. Durability данных — до 99,999999% (8 девяток) по SLA.

Данные распределяются по трём классам хранения под разные паттерны доступа: Hotbox для часто используемых данных с минимальной задержкой, а Icebox для холодных данных вроде архивов и бэкапов. Правильно настроенные lifecycle-политики, которые сами переносят данные между классами по возрасту, дают экономию от 50% на хранении по данным VK Cloud (тарифы меняются, сверяйте актуальные цифры на cloud.vk.com). Из практических инструментов доступны Multipart Upload для файлов до 320 ТБ, Pre-Signed URLs для временного доступа, Versioning, Object Lock в режиме WORM для защиты бэкапов от шифровальщиков, а также CORS, Webhooks, ACL, IAM и серверное шифрование. Документация с примерами API — на docs.cloud.vk.com/docs/ru/storage/s3.

Object Storage сертифицирован по ФСТЭК № 4890 от 12.12.2024 с уровнем доверия УД4, что покрывает значимые объекты КИИ до 1 категории, государственные информационные системы 1 класса защищённости и информационные системы персональных данных 1 уровня защищённости по 152-ФЗ. По данным VK Tech, это одно из крупнейших объектных хранилищ в России, сервис вошёл в лидирующую пятёрку рейтинга «Российские S3-хранилища 2025» от CNews.

Блочная модель в VK Cloud — это диски Cloud Servers и Cloud Databases: тома для виртуальных машин и управляемых СУБД с латентностью, которую и ждут от блочного хранилища. Файловое хранилище с доступом NFS поверх S3-слоя в VK Tech в разработке, пока для сценариев общих папок используются блочные тома с файловой системой или объектное хранилище с промежуточным файловым шлюзом. Для интеграции с озером данных Object Storage работает как S3-слой VK Data Platform, для автоматических бэкапов подключается сервис Cloud Backup, а для доставки медиа — CDN.

Заключение

Три модели хранения закрывают разные задачи: блочное даёт минимальную задержку для базы данных и ОС виртуальной машины, файловое — общий доступ по иерархии папок там, где приложение исторически завязано на файловую систему, а объектное хранит неструктурированные данные почти без ограничения по объёму, отдаёт их по S3 API миллионам клиентов и позволяет платить меньше за холодные данные через классы Icebox.

Матрица сценарий → тип, которую мы разобрали выше, закрывает восемь типовых случаев, от медиа и статики сайта до боевой базы, ML-датасетов и логов, и по ней разработчик может пройтись по своему проекту, подбирая для каждого типа данных конкретный сервис в VK Cloud — Object Storage, блочные диски Cloud Servers или Cloud Databases. Документация и примеры интеграции — на cloud.vk.com/docs/ru/storage/s3.