
Data Platform, DWH, Data Lake, Lakehouse: сравнение архитектур и как выбрать в 2026 году

Заказчик просит Lakehouse, поставщик облачного хранилища отвечает, что его DWH давно разделяет хранение и вычисления, а ML-команде нужно «просто озеро». Участники разговора по-разному понимают DWH, Data Lake, Lakehouse и Data Platform, поэтому не могут договориться. Чтобы сравнить эти подходы, сначала нужно разобраться, что описывает каждый термин. Иначе обсуждение Data Lake и DWH превращается в спор о предпочтениях, а Data Platform и DWH рассматривают как конкурирующие решения, хотя хранилище может быть частью платформы.
Некоторые привычные различия между архитектурами уже устарели. Snowflake и Amazon Redshift на узлах RA3 разделяют хранение и вычисления, а Snowflake и BigQuery поддерживают time travel — доступ к предыдущим состояниям таблиц. Представление о DWH как о системе, в которой хранение неотделимо от вычислений и нет истории версий, относится к классическим массивно-параллельным (MPP) системам.
В статье разберём, как устроены DWH, Data Lake и Lakehouse и как они соотносятся с Data Platform, сравним архитектуры по десяти параметрам и предложим ориентиры для выбора инженерам данных и архитекторам. В 2026 году этот выбор определяют три вопроса: кто контролирует формат хранения, сколько движков могут работать с одними данными без создания копий и с каким масштабом предстоит работать.
Главное
- DWH, Data Lake, Lakehouse и Data Platform описывают разные уровни работы с данными. DWH и Data Lake определяют устройство хранилища, Lakehouse — архитектурный подход, а Data Platform объединяет инструменты, процессы и правила работы с данными на основе любой из этих архитектур.
- Облачные DWH разделяют хранение и вычисления и поддерживают историю версий таблиц. В Snowflake глубина time travel достигает 90 дней в редакции Enterprise и выше. В BigQuery окно time travel составляет 2–7 дней, после которых действует дополнительный семидневный период fail-safe. Поэтому Lakehouse нужно сравнивать как с классическими MPP-системами, так и с облачными DWH.
- Snowflake, Redshift, BigQuery и Databricks поддерживают чтение и запись таблиц Apache Iceberg, хотя возможности и ограничения различаются. При выборе архитектуры на первый план выходят открытость формата, возможность работать с одними данными через несколько движков без создания копий и масштаб системы.
- По оценке авторов обзора «Круг Громова 2026», Lakehouse избыточен, если объём данных на горизонте трёх лет не превысит 10–30 ТБ. Для транзакционной нагрузки (OLTP) он также избыточен, а Trino для таких задач не предназначен.
Почему термины путают и как они соотносятся
DWH, или хранилище данных, хранит структурированные данные с жёсткой схемой и обслуживает SQL-аналитику. Data Lake хранит сырые данные любого типа, а схема применяется при чтении. Lakehouse объединяет свойства этих архитектур за счёт транзакционного слоя метаданных над объектным хранилищем. Data Platform охватывает инструменты, процессы и правила работы с данными. Такую платформу можно построить на основе DWH, Data Lake или Lakehouse.
Четыре термина и три уровня абстракции
| Уровень | Термины | На какой вопрос отвечает |
| Физическая архитектура хранения | DWH, Data Lake | Где и в каком виде хранятся данные |
| Архитектурный подход | Lakehouse | Как обеспечить транзакции и управление данными в открытом хранилище |
| Организация работы с данными | Data Platform, Data Mesh, Data Fabric | Кто и по каким правилам работает с данными, какие инструменты используются совместно |
Вопрос «Data Platform или DWH» смешивает эти уровни: DWH может быть частью платформы. Поэтому точнее спросить, нужна ли платформа вокруг хранилища. Далее разберём архитектуры хранения и две концепции организации работы с данными — Data Mesh и Data Fabric.
Data Warehouse: архитектура и стек
DWH — централизованное хранилище структурированных данных, в котором схему и требования к качеству определяют до того, как данные поступят в аналитику.
Как устроен DWH
Data Warehouse строится по слоям. В процессе ETL (извлечения, преобразования и загрузки) данные из источников поступают в промежуточный слой Staging, затем в ядро Core (Integration) с единой моделью и далее в витрины Data Mart. Для многомерного моделирования (dimensional modeling) используют схемы «звезда» и «снежинка»: таблицы фактов связывают с таблицами измерений. Схема применяется при записи (schema-on-write), поэтому данные, которые ей не соответствуют, отсекаются при загрузке. Данные организованы в реляционные таблицы, для хранения может использоваться колоночный формат, а для запросов — SQL.
В MPP-кластере с архитектурой shared-nothing таблица распределяется по сегментам (узлам) по ключу: строки с одинаковым значением ключа попадают на один сегмент. Запрос разбивается на части, сегменты выполняют их параллельно и передают результаты координирующему узлу. Удачный ключ позволяет выполнять соединения локально. Неудачный приводит к перекосу нагрузки: одни сегменты перегружены, другие простаивают. Колоночный формат позволяет читать только нужные столбцы и хорошо сжимает однородные значения, поэтому сканирование широких аналитических таблиц обходится дешевле, чем при построчном хранении.
Стек DWH: классический MPP, облачные хранилища и OLAP-СУБД
В сравнении архитектур нужно разделять классические MPP-системы, облачные DWH и OLAP-СУБД: у них разные свойства и ограничения.
Классические MPP-DWH. Greenplum и Vertica Enterprise используют архитектуру shared-nothing: диски находятся на узлах кластера, поэтому хранение и вычисления масштабируются вместе. Для развёртывания в собственной инфраструктуре также используют Teradata и IBM Db2.
Облачные DWH. В Snowflake хранение, вычисления (virtual warehouses) и слой cloud services разделены и масштабируются независимо. Amazon Redshift на узлах RA3 использует управляемое хранилище (managed storage): вычисления и хранение масштабируются раздельно, горячие данные находятся на SSD, холодные — в S3. К облачным DWH относится и Google BigQuery.
OLAP-СУБД. ClickHouse разработан в Яндексе, а в сентябре 2021 года его развитие перешло к отдельной компании ClickHouse Inc. Код открыт под лицензией Apache 2.0. Yandex Cloud включает ClickHouse в типовой стек Lakehouse, он также входит в VK Data Platform. При выборе технологии для DWH его стоит рассматривать отдельно от MPP-систем.
Статус Greenplum требует отдельного пояснения. Его открытый репозиторий архивирован 24 мая 2024 года и доступен только для чтения. После покупки VMware компанией Broadcom новые версии выходят только в составе коммерческого пакета VMware Tanzu, а ранее опубликованный код остаётся под лицензией Apache 2.0. Открытое развитие продолжает форк Greengage, на который Arenadata перевела Arenadata DB.
Сильные стороны DWH
- Высокая производительность SQL-запросов на структурированных данных.
- Строгая схема и проверка соответствия ей при загрузке.
- Зрелая BI-экосистема: Tableau, Power BI, Superset.
- Встроенная поддержка ACID и понятная модель данных.
Ограничения DWH
- Классические MPP-системы связывают хранение с вычислениями: чтобы добавить диски, приходится расширять и вычислительную часть. У Snowflake и Redshift RA3 этого ограничения нет.
- Расширение кластера требует перераспределения данных между узлами. У Avito объём данных в Vertica достигал около 2 ПБ. Когда он составлял 1 ПБ, ребалансировка после добавления узлов занимала около недели и блокировала другие процессы.
- Сырые и неструктурированные данные естественнее хранить в озере. Для загрузки в DWH их приходится приводить к схеме. Для ML данные нередко выгружают из хранилища, создавая копию, которая со временем расходится с источником.
- Зависимость от поставщика (lock-in) определяется форматом хранения. Собственный формат вендора привязывает данные к его движку. Snowflake, Redshift и BigQuery уже работают с таблицами Iceberg, но в такой архитектуре зависимость смещается к каталогу.
- Отсутствие истории версий нельзя считать общим ограничением DWH. В Snowflake глубина time travel достигает 90 дней в редакции Enterprise и выше, а в Standard составляет 1 день. В BigQuery окно time travel составляет 2–7 дней, после которых действует дополнительный семидневный период fail-safe. Для Greenplum и ClickHouse поддержку этой возможности нужно проверять по документации конкретной версии, поэтому в сравнительной таблице ниже вместо однозначного «нет» оставлена оговорка.
Цикл ETL на практике удлиняют три фактора: данные нужно привести к схеме ядра, изменения в источнике нарушают загрузку до обновления модели, а витрины пересчитываются после каждой загрузки. ELT меняет порядок операций: сырые данные сначала загружают в хранилище или озеро, затем преобразуют средствами вычислительного движка. Это сокращает время до загрузки первых данных, но увеличивает вычислительную нагрузку и требует чёткой организации слоёв.
Data Lake: архитектура и стек
Data Lake хранит сырые данные в исходном виде и применяет схему при чтении (schema-on-read). Ограничения этой архитектуры проще понять на примере озера, в котором файлы хранятся без слоя метаданных.
Как устроен Data Lake
Основой Data Lake служит HDFS или объектное хранилище с S3 API. Данные хранятся в файлах CSV, JSON, Parquet, ORC и Avro. Колоночные форматы Parquet и ORC удобны для аналитики, CSV и JSON — для приёма данных. Озеро делят на зоны: raw для сырых файлов и curated для очищенных. Такое разделение упорядочивает каталоги и права доступа, но не обеспечивает транзакций. Слои Bronze, Silver и Gold в архитектуре medallion опираются на транзакционные таблицы; их разберём в разделе о Lakehouse.
Стек Data Lake
Для хранения используют HDFS, Amazon S3, Azure Data Lake Storage и VK Object Storage с S3 API. Данные обрабатывают с помощью Spark, Flink и Hive, для каталогизации используют Hive Metastore и Apache Atlas, для оркестрации — Airflow.
Сильные стороны Data Lake
Объектное хранилище масштабируется горизонтально, а оплата зависит от занятого объёма. Структуру данных не нужно определять заранее: их можно сохранить в исходном виде и подготовить к обработке позже. ML и аналитика работают с одними файлами.
Ограничения Data Lake: болото данных и работа с файлами
Болотом данных называют озеро, в котором накоплены файлы, но неизвестны их схемы, владельцы и качество. Файлы неизменяемы, поэтому операции UPDATE и DELETE требуют перезаписи файла целиком. Без транзакций параллельная запись может привести к несогласованному состоянию. Версий таблиц тоже нет, а SQL-запросы по сырым файлам работают медленнее, чем по таблицам со слоем метаданных.
Отдельную проблему создают мелкие файлы. Каждый файл хранится как отдельный объект, и перед выполнением запроса движок получает список объектов по префиксу. Когда файлов тысячи, их перечисление и открытие занимают основную часть времени запроса. При миграции с HDFS на S3 файлы размером меньше 10 МБ увеличивают стоимость переноса.
SQL-запросы по сырым файлам замедляет и отсутствие статистики и снапшотов. Движок не знает заранее, какие файлы содержат нужные значения, и читает больше данных, чем требуется. Hive Metastore частично решает эту проблему: хранит схемы таблиц и список партиций. Однако он не отслеживает состав файлов внутри партиций и версии таблиц. Транзакции и статистику по отдельным файлам обеспечивает табличный формат.
Без каталога сложно найти нужные файлы: их схемы, владельцы и права доступа нигде не описаны. Возможности каталога и критерии выбора разобраны в статье Каталог данных: зачем нужен и как выбрать. По оценке редакции, Data Lake без табличного формата чаще остаётся переходной стадией. Это наблюдение, а не отраслевой норматив.
Lakehouse: архитектура и стек
Lakehouse добавляет к объектному хранилищу транзакционный слой метаданных. Табличный формат хранит снапшоты, схему и статистику поверх файлов Parquet, а разные движки независимо обращаются к одним таблицам. Озеро получает поддержку ACID, версии таблиц и построчные изменения без переноса данных на узлы DWH.
Как появился Lakehouse и чем он отличается от DWH
Термин Lakehouse использовали до Databricks: Snowflake применял его в 2017 году, а Amazon заговорила о Lake House в 2019 году. Современную архитектуру описали и популяризовали сотрудники Databricks — сначала в блоге от 30 января 2020 года, затем в статье Armbrust, Ghodsi, Xin и Zaharia на конференции CIDR 2021. Поэтому приписывать авторство термина одной компании неточно.
К 2026 году функциональные различия между Lakehouse и DWH сократились: облачные хранилища тоже поддерживают раздельное масштабирование и time travel. Lakehouse отличает открытый табличный формат, с которым работают несколько движков, а сами данные остаются в вашем объектном хранилище. Облачный DWH, который работает с Iceberg-таблицами во внешнем хранилище, может стать частью такой архитектуры. Граница проходит по формату хранения и каталогу, а название продукта само по себе её не определяет.
Табличные форматы Apache Iceberg, Delta Lake и Hudi
Табличный формат хранит метаданные поверх файлов Parquet и обеспечивает ACID с изоляцией на основе снапшотов (snapshot isolation), эволюцию схемы и партиционирования, time travel и построчные операции UPDATE и DELETE. Последние нужны, например, для удаления персональных данных по запросу.
| Параметр | Apache Iceberg | Delta Lake | Apache Hudi |
| Происхождение | Создан в Netflix в 2017 году, в ASF с ноября 2018 года, проект верхнего уровня с 20.05.2020 | Databricks | Uber, 2016 год |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Движки | Trino, Spark, Flink, Hive, Snowflake, BigQuery, Redshift | Spark, Flink, Hive, Trino, Athena | Spark, Flink |
| Профиль | Нейтральная экосистема, крупномасштабная пакетная аналитика, работа с несколькими движками | Ориентация на Databricks и Spark, ML и управление данными | Потоковая обработка, вставка и обновление данных в реальном времени |
| Статус в 2026 году | Де-факто стандарт для платформ с несколькими движками | Сильные позиции в экосистеме Databricks | Нишевое решение для вставки и обновления данных в реальном времени |
Профили в предпоследней строке служат ориентиром. Эти выводы получены в исследовании на данных автомобильной телеметрии и не заменяют тестирования на ваших данных. Ещё один формат, Apache Paimon, ориентирован на потоковые сценарии и Flink. С 16 апреля 2024 года он имеет статус проекта верхнего уровня ASF.
Версия v2 спецификации Iceberg добавила построчные изменения через delete-файлы типов position и equality. В v3 появились бинарные deletion vectors, отслеживание происхождения строк (row lineage) и тип variant. Эти возможности описаны в спецификации Iceberg. Способ записи изменений — перезапись файлов или использование delete-файлов — задаётся свойствами таблицы. Значения по умолчанию нужно сверять с документацией вашей версии.
Iceberg называют де-факто стандартом, однако поддержка v3 различается у вендоров:
- Snowflake. Поддержка v3 общедоступна (GA) с 7 мая 2026 года и включает deletion vectors, row lineage и тип variant. Внешние движки читают таблицы v3 под управлением Snowflake через Horizon Iceberg REST. Подробности приведены в примечаниях к выпуску.
- Databricks. Поддержка v3 доступна в статусе public preview на Runtime 18.0 и выше. Условия описаны в анонсе Databricks.
- Amazon Redshift. Поддержка v3 доступна с 31 августа 2026 года в Serverless, кроме конфигурации 4 RPU, и на кластерах RG. Не поддерживаются сложные типы struct, list, map, variant и таблицы с equality deletes. Ограничения перечислены в документации и анонсе AWS.
- BigQuery (Google Cloud Lakehouse, ранее BigLake). Операции DDL и DML с Iceberg-таблицами в каталоге Lakehouse runtime доступны в статусе preview с 25 июня 2026 года. Запись пока не достигла статуса GA. Текущий статус отражён в примечаниях к выпускам.
- Trino. Релиз 480 от 24 марта 2026 года добавил создание таблиц Iceberg v3, запись и удаление данных, а также поддержку row lineage. Изменения перечислены в примечаниях к релизу, однако документация коннектора называет поддержку v3 экспериментальной.
Перед выбором проверьте совместимость нужного движка с конкретной версией табличного формата.
Как устроены метаданные Iceberg и зачем нужен каталог
Таблицу Iceberg описывает цепочка метаданных. В её начале находится файл метаданных (metadata file) с текущей схемой, спецификацией партиционирования и списком снапшотов. Каждый снапшот ссылается на список манифестов (manifest list), а манифесты перечисляют файлы данных и содержат статистику по столбцам. Эта структура описана в спецификации Iceberg. Движок планирует запрос по метаданным: исключает манифесты и файлы, в которых не может быть нужных значений, без перечисления объектов в хранилище. Для time travel он читает более ранний снапшот. Новая запись создаёт новый снапшот, не изменяя прежние файлы.
Безопасность параллельной записи обеспечивает атомарная смена указателя. При коммите каталог заменяет ссылку на текущий файл метаданных. Если другой процесс уже изменил эту ссылку, записывающий процесс повторяет операцию. Такую функцию выполняют Iceberg REST Catalog, Hive Metastore или JDBC-каталог. В VK Data Platform используется Lakekeeper, построенный на Iceberg REST Catalog API. От каталога зависят совместимость с движками и возможности управления доступом, поэтому он становится точкой зависимости от вендора.
Обслуживание таблиц Iceberg
Таблицам Iceberg нужно регулярное обслуживание. Компактация объединяет мелкие файлы в крупные и ускоряет чтение. Удаление устаревших снапшотов (expire snapshots) позволяет освободить связанные с ними файлы, но лишает возможности вернуться к этим версиям таблицы. Очистка осиротевших файлов (orphan files) удаляет файлы, оставшиеся после неудачных записей и не принадлежащие ни одному снапшоту. Расписание и пороги обслуживания выбирают по характеру записи. Операции и их назначение описаны в разделе Maintenance документации Iceberg. Особенно важно наладить обслуживание при потоковой записи, которая порождает мелкие файлы.
Вычислительные движки: Trino, Spark, Flink и DuckDB
Табличный формат отделяет данные от вычислительных движков, поэтому сравнивать их скорость без привязки к нагрузке бессмысленно. В таблице приведены классы задач и ограничения по первоисточникам, без количественного сравнения производительности.
| Движок | Класс нагрузок | Ограничения |
| Trino и CedrusData Engine | Распределённые SQL-запросы по большим объёмам данных: разовый анализ (ad hoc), федеративные запросы и аналитика. CedrusData Engine — продукт VK Tech на базе Trino для того же класса задач | Trino не является реляционной СУБД общего назначения и не предназначен для OLTP. Использует один координатор. Отказоустойчивое выполнение запросов (fault-tolerant execution) по умолчанию отключено; настройка описана в документации |
| Spark | Крупномасштабная аналитика: пакетная и потоковая обработка, SQL и ML | Подготовка контекста Spark занимает секунды, что увеличивает задержку на коротких запросах |
| Flink | Вычисления с сохранением состояния (stateful) над ограниченными и неограниченными потоками. Локальное хранение состояния в памяти обеспечивает низкую задержку | Ориентирован на потоковую обработку; для интерактивной аналитики по историческим данным обычно используют Trino |
| DuckDB | Встраиваемый колоночный OLAP-движок с векторизованным выполнением, работающий внутри процесса приложения | Рассчитан на локальную аналитику на одной машине. Авторы отдельно оговаривают, что универсального движка нет |
Trino и Spark решают разные задачи: Trino выполняет интерактивные и федеративные запросы, Spark — пакетную обработку и ML-задачи. Поэтому в Lakehouse обычно используют оба движка над одними таблицами Iceberg, выбирая инструмент под нагрузку конкретной команды. Причины такого разделения разобраны в статье Разделение compute и storage: основа современной аналитики.
Medallion: слои Bronze, Silver и Gold
Medallion — подход к логической организации данных в Lakehouse. В слое Bronze хранят сырые данные в исходном виде, в Silver — очищенные и приведённые к схеме, в Gold — витрины и агрегаты для BI и ML. В Lakehouse при обработке данных между слоями используются ACID-транзакции, а состояние слоя на нужную дату можно воспроизвести через time travel. В Data Lake такое разделение остаётся соглашением об организации каталогов raw и curated и не обеспечивает согласованности данных.
Архитектура Lakehouse в VK Data Platform
VK Data Platform — продукт VK Tech, владельца этого блога. В документации эта архитектура называется Data Lakehouse. Данные хранятся в VK Object Storage с S3 API. Табличный формат Apache Iceberg обеспечивает ACID и версионирование, хранит историю операций с таблицами, включая изменения схемы, и поддерживает UPDATE и DELETE. Каталог Lakekeeper построен на Iceberg REST Catalog API: Spark, Trino и Iceberg Metastore обращаются к данным через единый каталог. Для вычислений используются Trino, Spark и ClickHouse, для оркестрации — Airflow. В состав платформы также входят Kafka и Flink. Документация описывает использование данных из Trino и Spark во внешних аналитических системах, в том числе MLflow и Jupyter.
Каждая служба создаётся отдельным экземпляром, а Trino поддерживает горизонтальное и вертикальное масштабирование. Из этой архитектуры следует, что команды могут использовать собственные экземпляры Trino или Spark для работы с общими таблицами. Это вывод редакции из модели развёртывания служб: вычисления команд разделены, данные остаются общими.
Потоковый конвейер Kafka → Spark Structured Streaming → Iceberg описан в документации с рабочим примером. Частая потоковая запись порождает мелкие файлы, поэтому таблицам нужна регулярная компактация. Хранение датасетов, признаков и весов моделей рядом с аналитическими таблицами разобрано в статье S3 для ML и Big Data.
В документации также описаны сценарии замены Hadoop-инфраструктуры и миграции с Greenplum. Поддержку CDC (захвата изменений данных) и lineage (происхождения данных) нужно проверять отдельно: эти возможности в документации не описаны. Причины перехода разобраны в статье Почему компании переходят на Lakehouse, а подробности о продукте собраны на странице VK Data Platform.
Data Mesh и Data Fabric: организация работы с данными
Data Mesh — организационная модель работы с данными, которую описала Жамак Дехгани из Thoughtworks. Data Mesh опирается на четыре принципа: децентрализованное владение данными по доменам, данные как продукт, платформа самообслуживания и федеративное управление с автоматической проверкой правил. Домен отвечает за свои данные как за продукт, а центральная команда предоставляет инфраструктуру.
Для инженера эти принципы можно описать следующим образом — это трактовка автора статьи. У каждого набора данных есть владелец, который отвечает за схему и качество. Набор данных как продукт имеет контракт со схемой, семантикой и правилами изменений, а также измеримые SLO по свежести и полноте. Документация и точка доступа позволяют потребителю найти и прочитать данные без личных договорённостей. Центральная команда предоставляет хранилище, каталог и шаблоны конвейеров, чтобы домены не создавали инфраструктуру самостоятельно. Общие правила для идентификаторов, классификации и прав доступа задаются централизованно и проверяются автоматически, а решения о содержимом данных принимают домены.
По оценке редакции, Data Mesh оправдан, когда доменов несколько, центральная команда стала узким местом, а число аналитиков достигло примерно пятидесяти или больше. Это ориентир без внешнего источника. Различия между концепциями разобраны в статье Data mesh и data fabric: где граница между владением данными и доступом к ним.
Data Fabric
Gartner описывает Data Fabric как подход к проектированию, который объединяет данные и процессы работы с ними в интегрированный слой на основе активных метаданных. Этот слой собирает сведения о схемах, использовании и качестве данных и применяет их для автоматизации поиска, управления доступом и интеграции. Сами данные остаются в исходных системах.
Доступ без переноса обеспечивают виртуализация и федерация: один SQL-запрос обращается к нескольким источникам. Так работает, например, федеративный движок Trino. Скорость запроса зависит от самого медленного источника и сети, поэтому федерация подходит для разового анализа (ad hoc) и переходного периода, но плохо справляется с тяжёлыми регулярными соединениями.
Data Fabric подходит, когда устаревшие системы нельзя мигрировать, но нужна единая аналитика. Концепция не привязана к конкретному продукту. Data Mesh определяет, кто владеет данными и отвечает за них, а Data Fabric — как их найти и получить. В 2026 году техническая реализация обеих концепций чаще всего опирается на каталог поверх Lakehouse.
Сравнение Data Lake и DWH, Lakehouse по десяти параметрам
В таблице классические MPP-системы и облачные DWH вынесены в отдельные колонки. Если объединить их, сравнение будет неточным: возможности раздельного масштабирования, поддержка time travel и зависимость от вендора у них различаются. Облачные DWH уже снимают часть ограничений, которые сохраняются у классических MPP-систем.
| Параметр | Классический MPP-DWH | Облачный DWH | Data Lake | Lakehouse |
| Тип данных | Структурированные | Преимущественно структурированные | Любые | Структурированные, полу- и неструктурированные |
| Схема | При записи | При записи | При чтении | При записи с эволюцией схемы |
| ACID | Да | Да | Нет без табличного формата | Да, через Iceberg, Delta, Hudi |
| Хранение | Диски узлов кластера | Управляемое хранилище вендора | Объектное хранилище или HDFS | Объектное хранилище с табличным форматом |
| Масштабирование compute и storage | Вместе | Раздельно (Snowflake, Redshift RA3) | Раздельно | Раздельно, движки подключаются отдельно |
| Lock-in | Зависит от вендора и движка | Нативный формат связывает с движком, Iceberg-таблицы открывают доступ другим движкам | Низкий: открытые файлы | Определяется каталогом и движками, формат открытый |
| SQL-производительность | Высокая на структурированных данных | Высокая на структурированных данных | Ниже: зависит от движка и каталога | Определяется движком и состоянием файлов, нужна компактация |
| ML и AI | Через выгрузку данных | Зависит от платформы | Прямой доступ к файлам без гарантий согласованности | Прямой доступ к тем же таблицам |
| Time travel | Проверьте для своей версии | Да: Snowflake до 90 дней на Enterprise и выше, BigQuery 2–7 дней плюс 7 дней fail-safe | Нет без табличного формата | Да, по снапшотам Iceberg |
| Построчные UPDATE и DELETE | Да | Да | Перезапись файла целиком | Да: delete-файлы (v2), deletion vectors (v3) |
Основные различия между Lakehouse и облачным DWH — зависимость от вендора и возможность работать с одними данными через несколько движков. Раздельное масштабирование и time travel доступны в обеих архитектурах. Стоимость хранения не вынесена в отдельную строку: по оценке профильного блога, ориентированного на решения вендора, цены на хранение в S3 Standard и проприетарных DWH сопоставимы, а экономию дают независимые вычисления и отсутствие копий данных.
Эксплуатационные затраты есть и у Lakehouse. Производительность SQL-запросов зависит от организации файлов, а для компактации, обслуживания каталога и контроля работы движков нужны специалисты. Авторы «Круга Громова 2026» предупреждают: если S3 плохо настроен для аналитики, подготовка запроса затягивается. Движок тратит это время на чтение метаданных, открытие мелких файлов и ожидание ответов хранилища.
Как выбрать архитектуру под свои задачи
Пороговые значения ниже взяты из обзора «Круг Громова 2026» и дополнены ориентирами редакции. Это диапазоны, а не нормативы: между порогами выбор зависит от характера нагрузки.
Когда подходит DWH
- Данные структурированы, схема стабильна, ML не используется или работает отдельно.
- Объём данных на горизонте трёх лет меньше 10–30 ТБ. По оценке авторов обзора, при таком объёме Lakehouse избыточен.
- Аналитиков немного, сценарии простые. Ориентир редакции — меньше десяти аналитиков.
- Вы уже вложились в Greenplum, ClickHouse или облачный DWH, и система справляется с задачами.
При выборе между классическим MPP и облачным DWH проверьте, нужен ли другим движкам доступ к тем же данным. Если нужен, изучите поддержку Iceberg в выбранном хранилище.
Когда подходит Data Lake
- Накапливаются сырые данные разных форматов, а аналитика пока только планируется.
- Сохранилась инфраструктура на HDFS.
- Нужен архив без требований к согласованности данных.
Если нужны операции UPDATE и DELETE, версии таблиц или параллельная запись из нескольких процессов, добавляйте табличный формат сразу.
Когда подходит Lakehouse
- Объём данных достигает примерно 100 ТБ, а доля полу- и неструктурированных данных превышает 10%. Такие ориентиры приводят авторы обзора.
- ML и аналитика работают с одними таблицами.
- Независимым командам нужны изолированные вычисления и разные движки для работы с общими данными.
- Нужны time travel или построчные удаления.
- Значительную часть объёма занимают холодные данные. По оценке авторов обзора, закупка HDD для объектного хранилища обходится в 5–13 раз дешевле SSD/NVMe-дисков для DWH9. Сравнение относится к носителям и холодным данным; в вашей инфраструктуре разница может быть иной.
Когда Lakehouse не нужен
- Данных меньше 10–30 ТБ, схема стабильна, нагрузка предсказуема.
- Нагрузка транзакционная (OLTP): её оставляют в СУБД.
- Данные поступают потоком мелкими порциями, но процесс компактации не налажен.
- Некому обслуживать каталог и вычислительные движки.
Когда нужен Data Mesh поверх Lakehouse
Data Mesh нужен, когда доменов несколько, центральная команда стала узким местом, а домены готовы взять на себя ответственность за данные. Он меняет организационную модель, но не отменяет необходимости выбрать формат хранения.
Как перейти с DWH на Lakehouse
Миграцию проводят поэтапно, поддерживая параллельную работу двух систем. По публикациям Avito на Хабре за декабрь 2025 года, на тот момент переход компании продолжался уже третий год. Ниже — типовой порядок, предложенный редакцией, а не норматив:
- Первыми переносят холодные и редко используемые данные: риск минимален, а оценка разницы в стоимости носителей из обзора относится именно к холодным данным.
- На время параллельной работы организуют общий SQL-слой для доступа к обеим системам. Trino выполняет федеративные запросы к таблицам Lakehouse и источникам, для которых есть коннекторы. Это позволяет витринам и BI работать до завершения переноса. Наличие коннектора для вашей СУБД нужно проверить заранее.
- Горячие витрины и нагрузки со строгими требованиями к задержке переключают последними, после сверки результатов в обеих системах.
- Транзакционную нагрузку не переносят: она остаётся в СУБД.
В документации VK Data Platform описаны два пути: интеграция компонентов с внешними источниками или построение полной архитектуры с однократным переносом данных. Отдельно рассматриваются замена Hadoop-инфраструктуры и миграция с Greenplum.
Выводы
Data Lake и DWH описывают устройство хранилища, Lakehouse — архитектурный подход, а Data Platform объединяет инструменты и процессы работы с данными на основе любой из этих архитектур. Выбор зависит от формата хранения, числа движков, работающих с общими данными, масштаба системы и возможностей команды, которая её обслуживает. Пороговые объёмы служат ориентирами.
- Если объём данных на горизонте трёх лет меньше 10–30 ТБ, а нагрузка предсказуема, оставайтесь на DWH.
- Если вы используете облачный DWH и хотите подключить другие движки к тем же данным, сначала проверьте поддержку Iceberg-таблиц, включая ограничения v3.
- Если объём данных приближается к 100 ТБ, форматы различаются, а ML и BI работают с одними таблицами, стройте Lakehouse на открытом формате. Начните с каталога и организации компактации.
- При сравнении затрат учитывайте независимое масштабирование вычислений и число копий данных: одной цены терабайта недостаточно.
Оцените свою платформу по десяти параметрам из таблицы и рассчитайте совокупную стоимость владения (TCO) для своих данных и нагрузок. Сценарии Lakehouse на Iceberg, VK Object Storage и Trino описаны на странице VK Data Platform.
Частые вопросы про Data Lake, DWH и Lakehouse
Что такое Data Lake и чем он отличается от DWH?
Data Lake хранит сырые данные любого формата в объектном хранилище или HDFS и применяет схему при чтении. DWH хранит структурированные данные, применяет жёсткую схему при записи и поддерживает транзакции. Без табличного формата Data Lake не обеспечивает ACID и построчные изменения.
Что такое Lakehouse и чем он отличается от Data Lake?
Lakehouse добавляет к Data Lake табличный формат — Iceberg, Delta Lake или Hudi, который обеспечивает ACID, эволюцию схемы, time travel и построчные удаления. Данные остаются в объектном хранилище в открытых форматах, а SQL-аналитика и ML работают с одними таблицами. Такая архитектура требует обслуживания каталога, компактации мелких файлов и выбора вычислительных движков.
Чем Data Platform отличается от DWH?
DWH описывает одну из архитектур хранения. Data Platform охватывает хранилище или озеро, инструменты сбора данных и оркестрации, каталог, управление доступом и процессы работы с данными. DWH может быть частью платформы, но не заменяет остальные её компоненты.
Что такое Apache Iceberg и зачем он нужен?
Apache Iceberg — открытый табличный формат, который хранит метаданные и снапшоты поверх файлов Parquet. Он обеспечивает ACID, версии таблиц, эволюцию схемы и построчные удаления. С ним работают Trino, Spark, Flink, Hive, Snowflake, BigQuery и Redshift. Iceberg создан в Netflix, а с 20 мая 2020 года имеет статус проекта верхнего уровня Apache Software Foundation (ASF).
Что такое Data Mesh и когда он нужен?
Data Mesh — организационная модель, основанная на четырёх принципах: владение данными по доменам, данные как продукт, платформа самообслуживания и федеративное управление. Она нужна, когда доменов несколько, а центральная команда не справляется с потоком задач. Data Mesh определяет организацию работы с данными и не заменяет архитектуру Lakehouse.
Оставьте заявку, чтобы получить консультацию
Наши специалисты свяжутся с вами в ближайшее время и ответят на все вопросы.

Узнавайте о выходе новых статей в блоге первыми!
Будем держать в курсе новостей и облачных трендов


Почитать по теме


Что такое токенизация и почему языковые модели считают текст не так, как человек


