Открытый формат таблицы сам по себе не делает её общей для движков: если Trino и Spark работают с разными каталогами, у них нет единого источника актуального состояния таблицы. Каталог таблиц, например Iceberg REST Catalog, входит в стык наравне с форматом и S3 API.
Как построить современную платформу данных: архитектура и основные компоненты

Архитектура платформы данных ломается не на инструментах, а на стыках между ними. У команды есть Kafka, Airflow, хранилище и BI, но аналитик полдня ищет нужную таблицу, инженер в очередной раз перестраивает пайплайн после смены схемы в источнике, а ML-модель деградирует из-за того, что в обучение попали не те данные. Каждый инструмент работает, система в целом нет.
Под Data Platform в статье понимается архитектурная концепция: связная система из семи компонентов, без привязки к продукту одного вендора. Ценность создают интерфейсы между компонентами. Если стык держится на открытом формате или протоколе (S3 API, Apache Iceberg, Kafka, SQL), компонент можно заменить, не перестраивая остальное. Если он держится на связке конкретных вендоров, замена превращается в миграцию всей платформы.
Чтобы построить платформу данных, начните с карты стыков: она покажет, какие компоненты не закрыты и в каком порядке их закрывать. Ниже: определение, семь компонентов (в каждом отмечены стык и интерфейс), дорожная карта внедрения и типичные ошибки.
Главное
- Архитектура Data Platform включает семь компонентов: Ingestion, Storage, Compute, Serving, Catalog & Governance, Observability и ML Platform. Catalog & Governance проходит сквозным слоем через остальные шесть.
- Компонент платформы данных остаётся заменяемым, пока его стык с соседями держится на открытом формате или протоколе: S3 API, Apache Iceberg и Iceberg REST Catalog, Kafka, SQL.
- Экономия Lakehouse складывается из меньшего числа копий данных и отдельно масштабируемых вычислений; цена гигабайта не главный её источник.
- Открытые стыки между компонентами требуют платформенной команды и постоянной поддержки. Интегрированный стек быстрее запускается, а открытые стыки окупаются, когда горизонт планирования длиннее одного вендорского контракта.
Что такое архитектура Data Platform: связная система из семи компонентов
Архитектура Data Platform описывает, как данные проходят путь от источника до потребителя через семь взаимосвязанных компонентов.
Определение через функцию
Data Platform определяется функцией, которую она выполняет для организации, а используемые технологии могут меняться. Платформа работает как система, если выполняются четыре условия: данные идут от источника к потребителю по предсказуемому маршруту, метаданные видны всем участникам, права доступа заданы централизованно, качество проверяется автоматически.
Modern data stack строился как набор отдельных облачных инструментов: свой вендор на загрузку, хранилище, трансформации и BI. Рынок консолидируется: в октябре 2025 года Fivetran и dbt Labs объявили о слиянии, а 1 июня 2026 года завершили сделку. Для архитектора вывод практический: проектировать вокруг открытых форматов и интерфейсов, тогда смена или слияние вендоров не ломает платформу.
Семь компонентов современной Data Platform
- Ingestion: сбор данных из источников в режимах batch и streaming.
- Storage: хранение, в современной архитектуре чаще всего Lakehouse на объектном хранилище.
- Compute: обработка данных и выполнение запросов.
- Serving: выдача данных BI-системам, командам DS/ML и приложениям.
- Catalog & Governance: каталог данных, права доступа и качество; сквозной слой.
- Observability: наблюдаемость данных и пайплайнов.
- ML Platform: признаки, эксперименты и выкладка моделей.
Первые четыре компонента идут вдоль маршрута данных. Остальные три пересекают его: каталог и права касаются каждого компонента, наблюдаемость следит за всеми, ML-платформа берёт данные и возвращает модели в Serving.
Если у вас одна команда и один аналитический сценарий, карта из семи компонентов избыточна: начните с хранилища и BI, остальное добавляйте, когда появится конкретная боль.
Компонент 1: Ingestion, сбор данных и архитектура data pipeline
Ingestion переносит данные из операционных систем, логов и внешних API в платформу. Эта работа съедает много времени: в вендорском опросе Fivetran и Wakefield Research осенью 2021 года руководители направлений данных и аналитики оценили долю времени инженеров данных на построение и перестройку пайплайнов в среднем в 44%, а 80% признали, что пересобирают пайплайны после деплоя2.
Два режима: batch и streaming
| Режим | Задача | Типичные инструменты |
| Batch | Загрузка по расписанию, тяжёлые трансформации | Airflow (оркестрация), dbt (трансформации в SQL), Spark (тяжёлый batch) |
| Streaming | Непрерывный поток событий | Kafka (брокер), Flink (обработка), Debezium (CDC) |
Режим выбирают по требованию к свежести у потребителя. Если решение принимает человек по утреннему отчёту, хватит batch. Если решение принимает система в момент события (антифрод, рекомендации, операционные дашборды), нужен streaming. Как устроен оркестратор, мы разбирали отдельно: что такое Airflow и как он работает.
В потоке события приходят с опозданием и повторно: продюсер перезапускается, брокер доставляет сообщение второй раз. Если запись не идемпотентна, то есть повторное выполнение даёт другой результат, один сбой удваивает строку в витрине. Защита: ключ события, уникальный для бизнес-факта, и запись по ключу (upsert или merge): повторная доставка перезапишет ту же строку. Поздние события агрегируют по времени самого события.
CDC: изменения из реляционных баз в поток
CDC (change data capture) читает журнал изменений базы и превращает каждое изменение строки в событие. Полная выгрузка при каждом запуске гоняет запросы по всей таблице и нагружает боевую базу, а CDC передаёт только изменения из журнала. Debezium читает binlog MySQL и логическую репликацию PostgreSQL; чаще всего его разворачивают поверх Kafka Connect, хотя существуют и Debezium Server с Debezium Engine.
Типичные ошибки ingestion-слоя
- Один инструмент на всё. Airflow оркестрирует задачи, но сам данные не обрабатывает: тяжёлую обработку отдайте Spark или Flink.
- Нет обработки ошибок. Без повторных попыток и алертов упавшую загрузку обнаруживают по жалобе аналитика; повторная попытка без идемпотентной записи создаёт дубли.
- Schema drift. Источник переименовал колонку, и пайплайн либо падает, либо молча заполняет её пустыми значениями. Schema registry хранит версии схем и проверяет совместимость до записи: Confluent Schema Registry работает с Avro, Protobuf и JSON Schema, есть и AWS Glue Schema Registry.
Стык: Ingestion → Storage. Интерфейс: Kafka как буфер событий и запись в Iceberg-таблицы (формат разберём ниже). Пока стык держится на открытых форматах, источник и хранилище меняются независимо друг от друга.
Компонент 2: Storage и архитектура Data Lakehouse
Storage определяет, сколько копий данных живёт в платформе и какие движки могут их читать. Архитектуру Lakehouse описали Armbrust и соавторы в статье на CIDR 2021: данные лежат в открытом колоночном формате (Parquet) на объектном хранилище, ACID-транзакции, эволюцию схемы и time travel даёт табличный формат поверх файлов, а вычисления выполняют отдельно масштабируемые движки.
Lakehouse: открытые таблицы на объектном хранилище
Табличных форматов несколько: Apache Iceberg, Delta Lake, Hudi, Paimon. В статье Iceberg выбран как пример, потому что его поддерживают сразу несколько независимых платформ: Amazon S3 Tables (управляемые Iceberg-таблицы объявлены в декабре 2024 года), Google BigLake, Snowflake; в Databricks управляемые Iceberg-таблицы доступны в общем доступе (GA). Это не делает формат универсальным выбором: Delta Lake развивается параллельно, и выбор определяют движки, которые вы собираетесь подключать.
Табличные форматы работают вместе с каталогом таблиц: он сообщает движкам, где лежит актуальное состояние таблицы. Варианты технических каталогов разобраны в статье о каталогах данных для Lakehouse.
Экономия Lakehouse складывается из двух источников: числа копий данных и compute. Один набор Iceberg-таблиц читают Trino, Spark, Flink и ClickHouse без копирования, а вычислительные ресурсы масштабируются отдельно от хранения. Стоимость хранения определяют класс хранения и тариф провайдера. Мотивы перехода разобраны в материале «Почему компании переходят на Lakehouse».
Данные внутри Lakehouse принято раскладывать по слоям. Многослойную организацию Bronze, Silver, Gold популяризировала Databricks; в её документации это multi-layered approach.
| Слой | Содержимое |
| Bronze | Данные как пришли из источника |
| Silver | Проверенные, очищенные, обогащённые данные |
| Gold | Данные, агрегированные под конкретного потребителя |
Это паттерн организации таблиц, и число слоёв зависит от потребителей.
Когда DWH остаётся в стеке
Lakehouse не требует выбрасывать существующее хранилище. Гибридная схема: Bronze и Silver в Lakehouse, Gold-витрины для BI в DWH, то есть корпоративном хранилище данных (Greenplum или ClickHouse), где нужна предсказуемая задержка запросов. Данные из Lakehouse в DWH загружают через Trino или Spark.
У связки диска и вычислений в MPP-системах (массово-параллельная обработка) есть цена: по рассказу инженера Avito Дмитрия Реймана (Хабр, декабрь 2025), ребалансировка 1 ПБ в Vertica занимает около недели. Тот же рассказ показывает цену перехода: миграция аналитической платформы Avito с Vertica на Lakehouse на базе Trino идёт с 2022 года. Если в стеке Greenplum, учтите: репозиторий Greenplum на GitHub архивирован 24 мая 2024 года, новые версии ядра выходят только в коммерческом продукте Broadcom, а ранее опубликованный код остаётся под лицензией Apache 2.0.
Стык: Storage ↔ все движки (Spark, Trino, Flink, ClickHouse). Интерфейсы: S3 API для доступа к файлам, Apache Iceberg как формат таблиц и каталог таблиц (Iceberg REST Catalog) для общих метаданных. С тремя открытыми интерфейсами движок меняют без переноса данных.
Компонент 3: Compute, обработка данных
Compute обрабатывает данные в Data Platform: он превращает файлы в таблицы, таблицы в витрины, а витрины в ответы на запросы. Один движок не закрывает все нагрузки, поэтому в платформе обычно живут несколько, и все они читают одни и те же данные из Storage.
Разные движки для разных задач
Инструменты Compute делят по классу задач: пакетные трансформации, интерактивный SQL, потоковая обработка и SQL-трансформации с тестами.
| Инструмент | Задача | Типичная задержка |
| Apache Spark | Тяжёлые batch-трансформации, подготовка данных для ML | Минуты–часы |
| Trino, CedrusData | Интерактивный SQL, аналитика ad hoc | Секунды |
| Apache Flink | Streaming, CDC, агрегации в реальном времени | Миллисекунды–секунды |
| dbt | SQL-трансформации с тестами и документацией | Минуты |
Задержки в таблице дают порядок величин и бенчмарком не служат: реальные значения зависят от объёма данных, формата файлов и размера кластера. dbt сам запросы не исполняет: это слой трансформаций, который отправляет SQL в движок и добавляет тесты и документацию.
Интерактивный SQL закрывают Trino и CedrusData: по сообщению CNews от 26 марта 2026 года, к VK Tech присоединился CedrusData с MPP SQL-движком CedrusData Engine и каталогом CedrusData Catalog с поддержкой Iceberg. Trino сам данные не хранит: он координирует запросы к источникам.
Нагрузку маршрутизируют по объёму данных и требуемой скорости ответа: пересборка слоёв и выборки для ML идут в Spark, запросы к готовой витрине идут в Trino или CedrusData, поток обрабатывает Flink. Ad hoc через Spark даёт долгий старт и занимает пакетный кластер, а тяжёлый ETL через Trino упирается в память интерактивного кластера и тормозит чужие дашборды.
Компактация мелких файлов
Потоковая запись в Iceberg оставляет много мелких файлов: каждый коммит добавляет свои. Мелкие файлы увеличивают число обращений к хранилищу и объём метаданных, которые движок читает при планировании запроса. О проблеме мелких файлов при переходе с HDFS на S3 рассказывают инженеры Arenadata. Поэтому слияние мелких файлов в крупные остаётся регулярной задачей compute, как и очистка старых снапшотов.
Изоляция compute-ресурсов
BI-запросы не должны конкурировать с ночным ETL: на общем кластере утренний дашборд ждёт, пока доработает загрузка. Решение: отдельные вычислительные кластеры под разные нагрузки поверх одного Object Storage. Данные при этом остаются в единственной копии, а ресурсы выделяются под нагрузку. Принцип разобран в материале о разделении compute и storage.
Стык: Compute ↔ Storage: Iceberg-таблицы на S3 API и каталог таблиц. Compute ↔ Serving: SQL. Любой движок заменяется, пока читает те же таблицы через тот же каталог.
Компонент 4: Serving, выдача данных потребителям
Serving отдаёт подготовленные данные тем, кто ими пользуется, и у каждого типа потребителя свой интерфейс.
Три типа потребителей, три интерфейса
- BI-аналитики: SQL и BI-инструмент вроде Superset или Grafana, данные из Gold-слоя или DWH.
- DS/ML-инженеры: Python и Jupyter, таблицы Lakehouse и Feature Store.
- Приложения и API: OLAP-движок с низкой задержкой (ClickHouse, Druid), Redis или Tarantool для предрасчитанных метрик.
Пока потребителей мало, их обслуживает один движок. Когда сценариев становится несколько, у каждого свой профиль нагрузки и задержки, и интерфейсы стоит разделить.
Приложению не стоит ходить в Gold-таблицы напрямую. Пользовательская нагрузка состоит из множества коротких запросов с предсказуемой задержкой, а Gold на объектном хранилище для неё не рассчитан. Перестройка Gold ломает приложение. Между ними ставят слой выдачи: OLAP-движок или кэш, который наполняется из Gold и отдаёт данные по стабильному контракту.
Data Products: данные как продукт
Data Mesh описывает организационную модель с четырьмя принципами: доменное владение, данные как продукт, self-serve платформа данных и федеративное вычислительное управление. Их сформулировала Zhamak Dehghani в статье «Data Mesh Principles and Logical Architecture» (martinfowler.com, декабрь 2020 года). Продукт данных имеет владельца, описание и контракт качества, а потребитель находит и использует его сам.
Контракт продукта данных включает схему, SLA свежести, владельца и версию. Если домен меняет схему без новой версии, ломаются дашборды и модели потребителей, и узнают они об этом раньше владельца. Несовместимое изменение выходит новой версией, старая живёт на время перехода.
Принцип self-serve реализует платформа: команда домена публикует продукт без заявки в центральную команду, потребитель находит его через каталог. Границу между владением данными и доступом к ним разбирает материал о Data Mesh и Data Fabric.
Стык: Serving ↔ Compute: SQL. Serving ↔ Catalog: потребитель находит продукт данных через каталог.
Компонент 5: Catalog & Governance, метаданные, доступ, качество
Catalog & Governance отвечает на три вопроса: что это за данные, кому с ними можно работать и можно ли им верить. Это единственный компонент, который касается всех остальных.
Data Catalog в архитектуре платформы
Каталог данных служит операционной памятью платформы: что хранится, откуда пришло (lineage), кто использует, какого качества, кто владелец. Главное требование к нему: автоматическое сканирование источников. Каталог, который заполняют вручную, устаревает.
Среди open source-инструментов data governance есть DataHub и OpenMetadata (у последнего регулярные релизы). Apache Atlas остаётся вариантом для экосистемы Hadoop. Любой из них требует команды, которая его поддерживает: это цена открытых стыков. Технический каталог таблиц (Iceberg REST Catalog) и бизнес-каталог работают на разных уровнях: первый сообщает движкам, где лежат таблицы, второй объясняет людям, что в них. Подменять один другим не стоит. Критерии выбора разобраны в материале о том, зачем нужен каталог данных и как его выбрать.
Data Governance: доступ, качество, lineage
- Контроль доступа: ролевая модель (RBAC) на уровне таблиц и колонок, интеграция с LDAP или Active Directory.
- Качество данных: автоматические тесты при загрузке (dbt tests и GX Core: так сейчас называется open source-часть Great Expectations, пакет great_expectations) и SLA на свежесть.
- Lineage: граф зависимостей вплоть до колонок. При изменении схемы анализ влияния (impact analysis) показывает, какие витрины и дашборды сломаются.
Отдельно о персональных данных. Закон 152-ФЗ не предписывает конкретную технологию: оператор сам определяет состав необходимых и достаточных мер (ст. 18.1), среди которых правовые, организационные и технические (ст. 19). Уровень защищённости информационной системы персональных данных устанавливается по типу угроз, категории и количеству обрабатываемых данных постановлением Правительства № 1119 от 1 ноября 2012 года, а состав мер определяет приказ ФСТЭК России № 21 от 18 февраля 2013 года. Маскирование и обезличивание в аналитических слоях применяют как распространённую меру снижения риска; прямого требования закона на неё нет. Классификация персональных данных в каталоге нужна, чтобы выбрать меры.
Витрины и обучающие выборки, собранные из таблиц с персональными данными, проходят через те же политики каталога и права доступа, что и исходные таблицы. Маскирование снижает риск, но политики доступа не заменяет.
Стык: Catalog ↔ все компоненты: API метаданных и автоматическое сканирование источников. Это единственный сквозной стык платформы.
Компонент 6: Observability, наблюдаемость данных и пайплайнов
Data observability отвечает на вопрос, можно ли доверять данным прямо сейчас.
Чем data observability отличается от мониторинга
Мониторинг следит за инфраструктурой: CPU, память, доступность сервисов. Data observability следит за самими данными: пайплайн может отработать без ошибок и загрузить пустую таблицу. Пять столпов описал Barr Moses, сооснователь и CEO Monte Carlo. Это вендорская модель, отраслевым стандартом она не считается, но как чек-лист работает.
| Столп | Вопрос |
| Freshness | Данные обновились вовремя? |
| Volume | Пришло ожидаемое число строк? |
| Distribution | Значения лежат в ожидаемых границах? |
| Schema | Структура таблицы изменилась? |
| Lineage | Откуда пришла проблема и что она заденет? |
Разницу двух подходов разбирает материал об observability и мониторинге.
Сценарий «пайплайн зелёный, таблица пустая»: источник изменил выгрузку, задача отработала без ошибок и записала ноль строк. Мониторинг инфраструктуры видит успешный запуск. Volume заметит пустую таблицу, freshness покажет, что новых данных давно нет, schema поймает переименованную колонку, distribution покажет сместившиеся значения, а lineage назовёт витрины и дашборды, которые остались без данных.
Внедрять столпы удобно в порядке отдачи: сначала freshness и volume, они ловят самые частые поломки и настраиваются быстро; затем schema; последним distribution, которому нужна накопленная история для порогов. Алерт без адресата превращается в шум: он должен нести владельца таблицы из каталога и ссылку на lineage.
Инструменты и интеграция
Data observability собирается поверх стека: dbt tests и GX Core для проверок, Prometheus и Grafana для метрик пайплайнов, DataHub или OpenMetadata для lineage. Из коммерческих решений есть Monte Carlo и Acceldata.
Стык: Observability читает метаданные каталога и метрики движков. Алерт без lineage не показывает источник проблемы, поэтому с каталогом он связан напрямую.
Компонент 7: ML Platform, от данных до моделей в production
ML Platform строится поверх платформы данных как её слой: она использует те же таблицы, каталог и права доступа. Минимальная MLOps-платформа добавляет к ним три элемента: Feature Store, учёт экспериментов с реестром моделей и serving моделей.
Где ML Platform пересекается с Data Platform
- Feature Store. Offline store хранит исторические значения признаков для обучающих выборок, online store отдаёт последние значения с низкой задержкой. Point-in-time-корректность не даёт будущим значениям попасть в обучение. Пара offline и online снижает training/serving skew: признак для обучения и для инференса считается одинаково. Пример open source-реализации: Feast.
- Experiment tracking и Model Registry. MLflow версионирует модели, ведёт алиасы и lineage модели: какой эксперимент и run её создал.
- Serving моделей. NVIDIA Triton Inference Server, vLLM для LLM и FastAPI для собственных сервисов: все три open source-проекта.
Сценарий training/serving skew: признак «число заказов за период» в обучении посчитан по дневному батчу, а в инференсе его считают по сырому событию. Значения расходятся, офлайн-метрики остаются хорошими, а модель в production тихо деградирует. Общее определение признака в Feature Store убирает это расхождение.
Общие данные для ML и аналитики
ML и аналитика читают одни и те же Iceberg-таблицы без копирования, отдельный ETL между платформой данных и ML-платформой не нужен. Из этого следуют два требования. Первое: обучающие выборки с персональными данными проходят через те же политики каталога и права доступа, что и отчёты, иначе ML-проект становится обходным путём вокруг governance. Второе: воспроизводимость. Версия модели в реестре ссылается на снапшот таблицы, на котором её обучали, а time travel в Iceberg возвращает выборку в состояние на нужную дату. Тогда на вопрос «на чём училась эта модель» есть проверяемый ответ. О хранении датасетов, признаков и весов моделей подробнее в материале про S3 для ML и Big Data.
Стык: ML ↔ Storage: Iceberg и S3 API. ML ↔ Serving: API модели.
Какие компоненты закрывает VK Data Platform
Раскрытие: VK Data Platform принадлежит VK Tech, на чьём блоге опубликована эта статья, поэтому раскладка ниже дана строго по опубликованной документации продукта (сверено 6 октября 2026 года).
- Ingestion: Cloud Kafka и Cloud Flink, оба в статусе Beta, и Cloud Airflow для оркестрации batch-процессов.
- Storage: VK Object Storage с S3 API и таблицы Apache Iceberg через Cloud Iceberg Metastore.
- Compute: Cloud Trino и Cloud Spark. Потоки обрабатывает Flink.
- Serving: Cloud ClickHouse и SQL через Cloud Trino.
- Catalog, технический уровень: Cloud Iceberg Metastore каталогизирует объекты хранилища S3 и даёт API, через который с данными работают Cloud Trino и Cloud Spark. В архитектурной схеме документации описан каталог данных на базе DataHub с функциями Data Quality, Data Lineage и Data Governance; отдельной страницы такого сервиса в документации нет.
- ML Platform: в составе платформы не выделена. MLflow и Jupyter документация называет внешними аналитическими системами, которые работают с обработанными данными.
Итого закрыто пять компонентов из семи: Ingestion (Kafka и Flink пока в Beta), Storage, Compute, Serving и Catalog на техническом уровне. ML Platform и data observability не закрыты. CDC на Debezium из коробки документация не описывает. Эти стыки закрываются внешними инструментами из разделов выше: OpenMetadata или DataHub, GX Core, dbt tests, Debezium, Feast, MLflow. Достроить их можно потому, что платформа выставляет открытые интерфейсы (S3 API, Iceberg, Kafka, SQL) вместо закрытых коннекторов.
Как построить платформу данных с нуля: дорожная карта
Строить платформу данных с нуля стоит волнами: каждая волна закрывает стыки, на которые опирается следующая.
Принцип: волны как порядок закрытия стыков
Все семь компонентов сразу не запускают. Сначала сквозной путь данных от источника до первого дашборда, потом доверие к данным, потом масштаб и самообслуживание. К следующей волне переходят, когда выполнен критерий перехода: календарные сроки вторичны. Сроки ниже ориентировочные: их задаёт редакция как ориентир, подтверждённой нормой они не служат. Реальные значения зависят от числа источников, размера команды и требований безопасности.
На практике порядок часто задаёт первый бизнес-кейс, например отчёт для регулятора. Это допустимый короткий путь, если долг по стыкам записан и закрывается в следующей волне.
Три волны
Волна 1. Data Foundation (ориентировочно 1–3 месяца).
- Что строим: Object Storage, первые batch-пайплайны (Airflow плюс Spark или dbt), слои Bronze и Silver для двух-трёх ключевых источников, базовые Gold-витрины, первый дашборд, минимальный технический каталог таблиц, разметка владельца и персональных данных.
- Стыки: Ingestion → Storage → Compute → Serving (BI).
- Команда: инженер данных, платформенный инженер, аналитик первого дашборда.
- Критерий перехода: первая витрина обновляется без ручного вмешательства.
- Результат: аналитики видят данные в одном месте.
Волна 2. Data Platform (ориентировочно 3–9 месяцев).
- Что строим: каталог данных с автоматическим сканированием, тесты качества на каждый пайплайн, RBAC, мониторинг пайплайнов и алерты, первые ML-сценарии на Feature Store.
- Стыки: Catalog ↔ все компоненты, первые проверки качества.
- Команда: добавляются владельцы данных от бизнеса, специалист по безопасности, ML-инженер.
- Критерий перехода: у каждого критичного пайплайна есть тест и алерт с владельцем, доступ выдаётся по ролям.
- Результат: данным можно доверять, платформу обслуживает команда.
Волна 3. Scale & Self-service (ориентировочно от 9 месяцев).
- Что строим: real-time слой (Kafka и Flink), продукты данных и доменное владение (Data Mesh), data observability, ML в production (Model Registry, serving).
- Стыки: Ingestion ↔ Compute в потоке, Observability ↔ Catalog, ML ↔ Serving.
- Команда: инженеры данных и владельцы продуктов в доменах, платформенная команда, MLOps-инженер.
- Критерий готовности: домен публикует продукт данных с контрактом без участия платформенной команды.
- Результат: домены работают самостоятельно.
Пропуск волны 2 рискованнее пропуска любой другой волны: real-time слой и ML на данных без каталога, тестов и прав умножают недоверие. Домены публикуют продукты данных, которые никто не может проверить, а источник ошибки в потоковом пайплайне приходится искать без lineage. Пропуск выглядит экономией, но долг по стыкам переезжает туда, где он дороже.
Типичные ошибки при построении платформы
- Начать с полного бизнес-каталога и регламентов governance до первых данных. Каталог без данных пуст. Минимальный технический каталог и разметка владельца нужны с первой волны, полный governance идёт во второй. Признак: регламенты утверждены, а первой таблицы у аналитиков нет.
- Один монолитный ETL вместо модульных пайплайнов. Сбой одного источника останавливает всё, а правка одного шага требует перепроверки всего. Признак: релизы откладывают, потому что никто не оценит, что сломается.
- Не считать TCO с самого начала. Копии данных и простаивающий compute накапливаются незаметно. Признак: счёт растёт быстрее числа потребителей.
- Игнорировать команду и adoption. Технически правильная платформа без пользователей оборачивается потраченным бюджетом. Признак: аналитики считают метрики у себя в файлах.
- Поставить на стык закрытый формат или проприетарный API там, где есть открытый вариант. Замена компонента тогда превращается в миграцию. Признак: любая замена компонента оценивается как отдельный проект.
Выводы
Архитектура платформы данных держится на стыках между компонентами, а заменяемость компонента определяет открытый формат или интерфейс на его стыке.
- Если у вас одна команда и один сценарий, то начните с хранилища и BI: карта из семи компонентов избыточна.
- Если компонентов несколько, то проверьте, на чём держится каждый стык: компонент на S3 API, Iceberg, Kafka или SQL заменяется без миграции, закрытый коннектор превращает замену в миграцию.
- Если каталога нет, то заведите технический каталог таблиц и владельца данных уже в первой волне.
- Если данным не доверяют, то закройте Catalog & Governance и Observability раньше ML.
- Если выбираете платформу, то сверьте набор её компонентов с картой из семи слоёв. VK Data Platform можно рассмотреть как вариант для стыков от Ingestion до Serving.
- Следующий шаг: нарисуйте карту своих семи компонентов, отметьте стыки и их интерфейсы, найдите незакрытый.
Частые вопросы про архитектуру платформы данных
Что такое платформа данных и из чего она состоит?
Платформа данных доставляет данные от источников к потребителям и держит общие метаданные, права доступа и контроль качества. Она состоит из семи компонентов: Ingestion, Storage, Compute, Serving, Catalog & Governance, Observability и ML Platform. Ценность создают стыки между компонентами, а надёжность стыков определяют открытые форматы и интерфейсы.
С чего начать построение платформы данных?
Начните с первой волны, Data Foundation: объектное хранилище, несколько batch-пайплайнов для двух-трёх ключевых источников, слои Bronze и Silver, базовые витрины и один дашборд. Сразу заведите минимальный технический каталог и отметьте владельца и персональные данные. Это закрывает путь от источника до BI. Сложный governance, observability и ML идут следующими волнами.
Что такое Medallion Architecture?
Medallion Architecture организует таблицы Lakehouse в несколько слоёв. Паттерн популяризировала Databricks. Bronze хранит данные как пришли, Silver содержит проверенные, очищенные и обогащённые данные, Gold агрегирует их под конкретного потребителя. Число слоёв зависит от потребителей: паттерн разделяет загрузку, очистку и выдачу.
Что такое data observability и зачем она нужна?
Data observability следит за состоянием самих данных, тогда как мониторинг следит за инфраструктурой. В рамке Monte Carlo выделяют пять столпов: freshness (свежесть), volume (объём), distribution (распределение значений), schema (схема) и lineage (происхождение данных). Она нужна потому, что пайплайн может отработать без ошибки и загрузить пустую или искажённую таблицу. Проверки по столпам находят такой сбой раньше пользователей.
Какую архитектуру хранилища выбрать для новой платформы данных?
Для новой платформы, где одни данные читают несколько движков и ML, подойдёт Lakehouse на объектном хранилище с открытым табличным форматом: Apache Iceberg или Delta Lake. Экономия возникает на копиях данных и compute. Корпоративное хранилище (DWH) остаётся вариантом для Gold-витрин, если вы уже вложились в него. Выбор формата определяют движки, которые вы подключаете.
Оставьте заявку, чтобы получить консультацию
Наши специалисты свяжутся с вами в ближайшее время и ответят на все вопросы.

Узнавайте о выходе новых статей в блоге первыми!
Будем держать в курсе новостей и облачных трендов


Почитать по теме

Presigned URL в S3: как выдавать временный доступ к объекту без передачи ключей

Что такое токенизация и почему языковые модели считают текст не так, как человек


