VK Cloud

Платформа данных для ML и AI: от подготовки данных до production

13 ноября 2026 г.
268267_007n7ek.jpg
Евгений Левашов
Автор статьи
_blog_head_42.png

При переходе от экспериментов к production подготовка данных для ML часто оказывается разделена между обучающим пайплайном и сервисом инференса. Если каждый из них по-своему рассчитывает признаки и обращается к разным источникам, модель получает в production данные, которые отличаются от обучающих.

Рассмотрим условный пример. На отложенной выборке модель показывает AUC 0,87, но через две недели в production метрика падает до 0,72. Команда пытается повысить качество: переобучает модель, добавляет слой, меняет архитектуру. Через месяц выясняется, что средний чек за 30 дней в коде инференса рассчитывается по другому временному окну, чем в обучающем ноутбуке.

Платформа данных для ML помогает согласовать подготовку данных для обучения и инференса: собрать общий слой признаков, связать пайплайны и обеспечить воспроизводимость выборок. Без этого расхождения между двумя реализациями одного признака приводят к training/serving skew, а смена архитектуры модели оставляет причину проблемы нерешённой. Платформа данных для AI решает ту же задачу в масштабе большего числа моделей и потребителей данных.

В статье разберём путь данных от источников до production: где возникает skew, из каких слоёв состоит платформа данных на Lakehouse и как готовить и версионировать данные для машинного обучения.

Главное

  • Training/serving skew возникает, когда один и тот же признак рассчитывают отдельно в обучающем пайплайне и в коде инференса. Zinkevich определяет его как разницу в качестве работы модели при обучении и в production.
  • Платформа данных для ML позволяет задать единое определение признака и предоставлять его значения в двух режимах: offline для обучения и online для инференса.
  • Для воспроизводимости обучения сохраняют снапшот Iceberg, а его snapshot ID записывают вместе с моделью.
  • VK Data Platform обеспечивает хранение, вычисления и передачу данных. MLflow и JupyterHub для экспериментов доступны отдельно в ML Platform VK Cloud, а Feature Store, dbt и инструменты мониторинга дрейфа развёртывают поверх платформы данных.

Почему ML-проекты проигрывают на этапе данных

Модель может показывать высокое качество на тестовой выборке и заметно хуже работать в production из-за расхождений в данных. Такие расхождения возникают, когда данные для обучения и инференса готовят в разных пайплайнах.

Training/serving skew: частая причина деградации модели

В Rules of ML Zinkevich определяет training/serving skew как разницу в качестве работы модели при обучении и в production. Zinkevich выделяет три причины: различия в обработке данных в пайплайнах обучения и инференса, изменение самих данных между обучением и инференсом и петлю обратной связи между моделью и алгоритмом.

Например, обучающий ноутбук рассчитывает средний чек за 30 дней SQL-запросом по календарному окну, а сервис инференса — на лету по последним заказам из операционной базы. У признака одно название, но разные значения. Офлайн-валидация не выявит это расхождение, поскольку использует данные из обучающего пайплайна, тогда как в production модель получает данные из другого.

Rule #29 из того же руководства рекомендует сохранять признаки, которые модель использовала при инференсе, в журнал для последующего обучения. Платформа данных позволяет выстроить этот процесс: признак рассчитывается в одном месте, а обучение и инференс используют результаты общего расчёта.

Три системных проблемы без платформы данных

Без общего слоя данных команда сталкивается с тремя системными проблемами.

  • Логика расчёта признаков дублируется. Один и тот же признак рассчитывают в ноутбуке дата-сайентиста, задаче Airflow и коде сервиса. Со временем реализации расходятся, а за единое определение признака никто не отвечает.
  • Обучающую выборку нельзя воспроизвести. Таблицы обновляются без сохранения предыдущего состояния, и через месяц уже нельзя точно установить, на каких данных обучена модель в production. Команде приходится восстанавливать историю подготовки данных, что затрудняет откат и разбор инцидента.
  • Зависимости от данных остаются неявными. Sculley и соавторы относят зависимости от данных, скрытые петли обратной связи и проблемы конфигурации к специфичным для ML факторам, которые накапливают технический долг. Пока источники признаков не описаны в одном месте, изменение исходной таблицы может незаметно нарушить работу модели.

Архитектура платформы данных для ML: четыре слоя

Платформа данных для ML состоит из четырёх слоёв: приём, хранение, вычисления и обслуживание. Логику расчёта признака определяют один раз в слое вычислений, а его значения читают из двух хранилищ: offline для обучения и быстрого online-хранилища для инференса.

Полный путь данных в ML-проекте

Приём. За загрузку данных отвечают Kafka и Airflow. Доступны две модели загрузки: PULL с задержкой 5–60 минут и PUSH с задержкой менее 1 секунды. Spark в платформе поддерживает Spark Streaming, поэтому поток из Kafka можно записывать прямо в таблицы Iceberg.

Хранение. Сырые данные, признаки и обучающие выборки хранятся в VK Object Storage с S3 API в виде таблиц Apache Iceberg, далее — Iceberg. Табличный формат обеспечивает ACID-транзакции, сохраняет историю операций и изменений схемы, поддерживает UPDATE и DELETE.

Вычисления. Trino выполняет SQL-запросы, Spark — тяжёлые трансформации и потоковую обработку, ClickHouse — аналитические задачи. Trino координирует выполнение запросов, не хранит данные и масштабируется горизонтально. Trino и Spark развёртывают как отдельные экземпляры служб. Для экспериментов и учёта моделей в ML Platform VK Cloud доступны управляемые JupyterHub и MLflow.

Обслуживание. BI-системы, API и модели читают признаки из таблиц Iceberg в режиме offline или из Redis в режиме online. В VK Cloud Redis доступен как управляемая СУБД.

Готовый Feature Store, встроенный контроль качества данных и мониторинг дрейфа в платформу не входят. Эти инструменты развёртывают поверх неё, например Feast для общего слоя признаков. Платформа обеспечивает хранение, вычисления и передачу данных, необходимые для их работы, а трекинг экспериментов в MLflow доступен отдельно в ML Platform VK Cloud.

Lakehouse как основа: почему не DWH и не чистый Data Lake

Lakehouse — это архитектура, в которой данные хранятся в открытом формате в объектном хранилище, табличный формат управляет ими, а запросы выполняет движок, который масштабируется независимо от хранения. Раздельное масштабирование хранения и вычислений и отсутствие копий данных позволяют сократить расходы. Почему компании выбирают этот подход, мы разбирали в статье «Почему компании переходят на Lakehouse».

В DWH хранение масштабируется вместе с вычислениями. Для ML это неудобно: объём данных велик, а вычислительная нагрузка растёт всплесками. Разница в стоимости особенно заметна для холодных данных. По оценке VK Data Platform, хранение на HDD в S3 в 7–10 раз дешевле NVMe-хранилища DWH при сравнении средних закупочных цен HDD и NVMe. В вашем окружении соотношение может отличаться.

Data Lake без табличного формата тоже неудобен для ML: файлы без транзакций не позволяют безопасно обновлять записи и восстанавливать прежнее состояние таблицы. Iceberg добавляет ACID-транзакции, историю операций и изменений схемы, поддержку UPDATE и DELETE. История состояний позволяет воспроизводить обучающие выборки. Подробнее о хранении датасетов, признаков и весов моделей в S3 — в материале «S3 для ML и Big Data: где хранить датасеты, фичи и веса моделей».

Общий слой признаков нужен не каждому проекту. Если у команды одна модель с пакетным инференсом и десяток признаков, затраты на него могут не окупиться: достаточно dbt-модели и снапшотов Iceberg. Потребность в таком слое зависит от числа признаков, которые переиспользуют разные модели, и числа моделей с online-инференсом.

Подготовка данных для машинного обучения

Подготовку данных для ML организуют так, чтобы любой обучающий набор можно было заново собрать из исходных данных тем же кодом.

Сбор и консолидация: bronze, silver, gold

Архитектура Medallion, описанная Databricks, разделяет данные в Lakehouse на три слоя: Bronze, Silver и Gold. На каждом следующем слое данные становятся более подготовленными к использованию. В ML-проекте у этих слоёв следующие задачи.

Bronze хранит данные источников без изменений вместе с метаданными загрузки. Этот журнал исходных данных позволяет пересчитывать признаки за прошлые периоды.

Silver объединяет данные из разных источников, сопоставляет их и приводит к единой схеме. Здесь выполняют необходимую очистку: удаляют дубли, приводят типы и обрабатывают пропуски по общей логике для обучения и инференса.

Gold содержит модели данных, подготовленные для задач проекта. Для ML это таблицы признаков и обучающие выборки.

Все три слоя хранятся в виде таблиц Iceberg в VK Object Storage. Trino и Spark работают с одними и теми же таблицами без выгрузки данных в отдельную систему.

Трансформации: dbt и Spark

dbt не входит в состав платформы. Это внешний инструмент, который выполняет SQL-запросы через Trino или Spark. В dbt-модели удобно хранить единое определение признака, которое используют обучающий пайплайн и процесс подготовки online-признаков. Пример для Trino:

-- models/features/user_orders_30d.sql -- Единое определение признака для обучающего пайплайна -- и подготовки online-признаков для инференса. SELECT user_id, AVG(order_amount) AS avg_check_30d, COUNT(*) AS orders_30d, MAX(created_at) AS last_order_at FROM {{ ref('orders') }} WHERE created_at >= CURRENT_DATE - INTERVAL '30' DAY GROUP BY user_id

В примере используется синтаксис интервала Trino. Для другого движка его нужно сверить с соответствующим SQL-диалектом. Окно расчёта привязано к CURRENT_DATE, поэтому для исторического среза дату передают как параметр: иначе повторный расчёт даст другие значения. Spark выполняет объединения больших объёмов данных, оконные агрегации и потоковую запись в Iceberg.

dbt обеспечивает офлайн-расчёт признаков. Чтобы online-значения рассчитывались по той же логике, нужен общий слой признаков, который рассмотрим дальше.

Версионирование датасетов: воспроизводимость экспериментов

Iceberg сохраняет снапшоты таблицы, поэтому обучающую выборку можно прочитать в состоянии на нужный момент. В Trino это выглядит так:

-- Trino: состояние таблицы на заданный момент SELECT * FROM features_table FOR TIMESTAMP AS OF TIMESTAMP '2026-03-15 09:00:00 Europe/Moscow'; -- Trino: состояние таблицы по идентификатору снапшота SELECT * FROM features_table FOR VERSION AS OF <snapshot_id>;

Trino также поддерживает чтение по тегу: FOR VERSION AS OF 'tag'. В Spark SQL используют конструкции TIMESTAMP AS OF и VERSION AS OF; для выбора версии можно указать идентификатор снапшота, ветку или тег.

Возможность читать прошлые состояния таблицы через time travel ограничена сроком хранения снапшотов. Команда ALTER TABLE features_table EXECUTE expire_snapshots(retention_threshold => '7d') удаляет снапшоты старше заданного порога вместе с метаданными и файлами. Минимально допустимый срок хранения задаёт свойство каталога iceberg.expire-snapshots.min-retention, по умолчанию — 7 дней.

Политика хранения распространяется и на снапшот, использованный для обучения модели в production. После удаления прочитать его уже нельзя. Поэтому записывайте snapshot ID обучающей выборки вместе с моделью, например в запуске MLflow, и согласуйте срок хранения снапшотов со сроком жизни модели.

with mlflow.start_run(): mlflow.log_param("train_table", "features_table") mlflow.log_param("train_snapshot_id", snapshot_id) # ... обучение и логирование модели

Feature Store: единый источник признаков

Возьмём признак «активность пользователя за 7 дней». Команда рекомендаций определяет его как число сессий, команда антифрода — как число дней с действиями, команда оттока — как число событий без учёта служебных. Под одним названием используются три разных определения. Каждая реализация хранится в своём репозитории и обновляется по собственному расписанию, а в коде инференса появляется четвёртая копия на другом языке. Как и в примере из начала статьи, независимые расчёты одного признака приводят к расхождению между обучением и инференсом.

Что такое Feature Store

Feature Store хранит определения признаков и их значения, предоставляя данные для обучения и инференса. В его состав входят три компонента:

  • offline store — исторические значения для обучения и пакетного инференса;
  • online store — последние значения по ключу для инференса с малой задержкой;
  • registry — каталог определений признаков с владельцем, источником, типом и версией.

Оба режима используют единое определение признака, поэтому отдельной реализации расчёта, которая могла бы разойтись с исходной, нет. Ещё одно свойство Feature Store — объединение данных с учётом времени, или point-in-time correct join. При сборке обучающей выборки для каждой строки подбирают значение признака, доступное на момент события. Если вместо него взять последнее известное значение, в обучение попадёт информация из будущего. В Feast такое объединение выполняет метод get_historical_features.

Feature Store поверх VK Data Platform

Feature Store собирают из компонентов платформы и внешних инструментов. Offline-слой строят на таблицах Iceberg, которые читают через Trino или Spark. Реализации offline store для этих движков в Feast поддерживает сообщество. Для online-слоя используют Redis, доступный в VK Cloud как управляемая СУБД. В Feast Redis входит в число основных реализаций online store.

Готового сервиса Feature Store в VK Data Platform нет. Перед выбором архитектуры проверьте на стенде связку Feast с Iceberg через Trino или Spark.

from feast import FeatureStore store = FeatureStore(repo_path=".") # Обучение: объединение с учётом времени события training_df = store.get_historical_features( entity_df=users_df, features=["user_stats:avg_check_30d", "user_stats:orders_30d"], ).to_df() # Инференс online = store.get_online_features( features=["user_stats:avg_check_30d"], entity_rows=[{"user_id": 12345}], ).to_dict()

Признак avg_check_30d определён в той же dbt-модели, что и в разделе о подготовке данных. Пайплайн рассчитывает его один раз и записывает результаты в оба хранилища.

Для целевой задержки p99 до 10 мс документация Feast рекомендует Redis. Типичная задержка p50 при вызове get_online_features с Redis составляет менее 1 мс. Запросы ко всем feature views объединяются в один Redis pipeline и выполняются за один обмен с сервером, тогда как в других хранилищах каждый feature view требует отдельного чтения. Итоговая задержка зависит от окружения, поэтому показатели из документации стоит использовать как ориентир и проверять нагрузочным тестом на собственных данных.

Чтобы снизить skew, значения признаков, которые модель использовала при инференсе, записывают в журнал и возвращают в offline-слой, как рекомендует Rule #29 из Rules of ML. Следующую обучающую выборку собирают из данных, которые модель получала в production.

Метаданные признаков удобно вести в каталоге данных. Задачи каталога данных и критерии его выбора разобраны в статье «Каталог данных: зачем нужен и как выбрать». В платформе метаданными таблиц Iceberg управляет Cloud Iceberg Metastore.

ML Pipeline: от датасета до обученной модели

ML-пайплайн удобно представить как DAG из четырёх последовательных шагов: подготовка данных, обучение, валидация и регистрация модели. Airflow 3 вышел 22 апреля 2025 года; по состоянию на 17 сентября 2026 года актуальна версия 3.3.2. В Airflow 3 расписание задают параметром schedule, который заменил удалённые аргументы schedule_interval и timetable.

# Импорт зависит от версии Airflow: # Airflow 3: from airflow.sdk import DAG # Airflow 2.x: from airflow import DAG with DAG("ml_training_pipeline", schedule="@weekly", ...) as dag: prepare_data = SparkSubmitOperator(task_id="prepare_dataset", ...) train_model = PythonOperator(task_id="train_model", ...) validate = PythonOperator(task_id="validate_metrics", ...) register = PythonOperator(task_id="register_model", ...) prepare_data >> train_model >> validate >> register

Шаг prepare_dataset сохраняет snapshot ID выборки и передаёт его следующим задачам DAG. По этому идентификатору повторный запуск обучения через неделю или через год получает ту же выборку.

Model Registry: версионирование и управление моделями

Model Registry в MLflow хранит версии модели, артефакты, метрики и параметры. В VK Cloud MLflow доступен как управляемый сервис ML Platform. Начиная с MLflow 2.9.0 стадии Staging и Production объявлены устаревшими; вместо них используют алиасы и теги:

client.set_registered_model_alias("churn-model", "champion", 3) model = mlflow.pyfunc.load_model("models:/churn-model@champion")

Параметр train_snapshot_id в запуске MLflow связывает модель с обучающими данными. Из версии модели в реестре можно перейти к соответствующему запуску, найти идентификатор выборки и восстановить её через time travel. При необходимости snapshot ID можно также записать в тег версии модели. Переназначение алиаса champion на предыдущую версию возвращает модель вместе с контекстом её обучения.

Изоляция ресурсов: разные compute для разных задач

Trino и Spark развёртывают как отдельные экземпляры служб. Для пакетного ETL, аналитических запросов по мере необходимости и обучения моделей можно выделить разные экземпляры, чтобы тяжёлая задача в Spark не конкурировала за ресурсы с BI-запросами в Trino. Такое разделение позволяет готовить выборки по расписанию, не замедляя работу аналитиков, и проводить эксперименты без нарушения SLA витрин.

Production: деплой модели и мониторинг

Описанная в этом разделе MLOps-платформа объединяет Airflow, MLflow, Iceberg и Redis с внешними инструментами инференса и мониторинга. Skew проявляется при передаче признаков модели.

Serving: как модель попадает в production

Для запуска модели в production используют три режима.

  • Batch inference. Модель запускается по расписанию и записывает результаты в таблицу Iceberg. Требования к задержке невысоки, а признаки поступают из того же offline-слоя, что и при обучении, поэтому риск skew минимален.
  • Online inference. Модель работает как REST- или gRPC-сервис и получает признаки из online store. Для табличных и классических моделей подойдёт FastAPI. NVIDIA Triton Inference Server — сервер инференса с открытым исходным кодом, который поддерживает TensorRT, PyTorch, ONNX, OpenVINO, Python и другие бэкенды, а также динамическое объединение запросов в пакеты — dynamic batching. Для LLM используют vLLM, библиотеку для инференса и обслуживания больших языковых моделей с PagedAttention, continuous batching и OpenAI-совместимым API.
  • Streaming inference. Модель читает события из Kafka и записывает результаты в Kafka или базу данных.

Режим выбирают по требованиям к свежести признаков и допустимой задержке ответа. Online-инференс добавляет отдельный путь доставки признаков и повышает риск skew. Online-инференс оправдан там, где задержка снижает ценность решения, например в антифроде. Для рекомендаций на следующий день достаточно пакетного инференса.

Устройство LLM-инференса разобрано в статье «Как работает инференс LLM: от токенизации до генерации ответа», а GPU-инфраструктура для больших моделей — в материале «GPU Operator в Managed Kubernetes: запуск GPU-вычислений без ручной настройки драйверов».

Skew и drift: мониторинг ML-модели начинается с данных

Skew и drift описывают разные изменения в данных. Skew — отклонение распределения признаков в production от распределения в обучающей выборке. Drift, или inference drift, — изменение распределения признаков в production со временем. Такие определения использует, например, Vertex AI Model Monitoring. Для категориальных признаков в нём доступны L-infinity и Jensen-Shannon divergence, для числовых — Jensen-Shannon divergence.

Метрики качества, такие как AUC, обновляются с задержкой, поскольку метки могут поступать спустя несколько недель. Сравнение распределений позволяет раньше обнаружить изменения в данных, пока качество модели ещё не снизилось. В Evidently выбор метода по умолчанию зависит от размера эталонной выборки: при ≤ 1000 наблюдений для числовых признаков используют тест Колмогорова — Смирнова, для категориальных — критерий хи-квадрат; при > 1000 наблюдений — расстояние Вассерштейна и Jensen-Shannon соответственно. Пороги срабатывания нужно подбирать под свои данные: универсального значения нет.

Мониторинг должен сигнализировать о следующих изменениях:

  • Сдвиг распределения признака относительно обучающей выборки.
  • Появление категорий, которых не было в обучающих данных.
  • Нарушение SLA пайплайна признаков, из-за которого данные в online store устаревают и модель использует вчерашние значения.

Встроенного мониторинга дрейфа в VK Data Platform нет. Платформа хранит журналы признаков и предсказаний в Iceberg и предоставляет Trino и Spark для расчёта статистик. Сам мониторинг реализуют внешними инструментами, например Evidently. В первую очередь стоит отслеживать входные признаки: они первыми показывают, что согласованность данных между обучением и инференсом нарушена.

Сравнение: с платформой данных и без

Таблица сравнивает типичные подходы к работе с данными без общей платформы и возможности VK Data Platform при сборке описанных выше слоёв. Правая колонка показывает, что можно реализовать с помощью компонентов платформы и внешних инструментов. Готового решения в таком составе платформа не предоставляет.

ЗадачаБез платформы данныхС VK Data Platform
Подготовка датасета Ручной SQL в Jupyter, результат не воспроизводится Пайплайн на Spark и Trino (dbt как внешний инструмент) поверх таблиц Iceberg, версия датасета фиксируется снапшотом
Feature engineering Каждая команда считает признаки сама Одно определение признака; Feature Store собирается поверх платформы: Iceberg для offline, Redis для online, Feast
Воспроизводимость эксперимента Невозможна, если данные обновились Iceberg time travel по snapshot ID, если снапшот не удалён политикой хранения
Изоляция ресурсов Обучение моделей конкурирует с BI за одни мощности Отдельные экземпляры служб под разные задачи
Training/serving skew Хроническая проблема Снижается единым определением признака и логированием serving-признаков (полностью не устраняется)
Мониторинг данных Отсутствует или делается вручную Логи признаков и предсказаний в Iceberg, расчёт в Trino или Spark; слой мониторинга дрейфа внешний, например Evidently
Стоимость хранения холодных данных NVMe-хранилище DWH HDD в S3: в 7–10 раз дешевле по средним закупочным ценам, в вашем окружении может отличаться

Команде нужно самостоятельно определить признаки, написать dbt-модели и согласовать контракт признаков между дата-сайентистами и инженерами. Feature Store и мониторинг дрейфа также придётся реализовать отдельно: готовых сервисов для этих задач в платформе нет.

Выводы

Платформа данных для ML обеспечивает согласованность данных от источника до production. Lakehouse на Iceberg отвечает за хранение и версионирование, а единое определение признаков и сохранение их значений при инференсе снижают training/serving skew. Airflow и MLflow обеспечивают воспроизводимость пайплайна, а мониторинг распределений позволяет обнаружить проблему до снижения метрик качества модели.

Состав решения зависит от масштаба проекта. Для одной модели с пакетным инференсом начните со снапшотов Iceberg и dbt-моделей: затраты на общий слой признаков могут не окупиться. Если несколько моделей используют одни и те же признаки и работают в режиме online-инференса, предусмотрите слой признаков на базе Iceberg для offline, Redis для online и Feast.

Если метрики модели падают без видимой причины, сначала сравните распределения признаков в обучающей выборке и журналах инференса. Чтобы проверить подход на практике, оцените, как собрать описанные слои и организовать подготовку данных для машинного обучения на VK Data Platform.

Частые вопросы

Что такое платформа данных для машинного обучения?

Платформа данных для машинного обучения обеспечивает согласованность данных от источника до модели в production. Платформа объединяет приём данных, хранение с версионированием, вычисления для подготовки датасетов, слой признаков, пайплайны обучения и инференс с записью журналов. Такая организация позволяет определить каждый признак один раз, воспроизводить обучение и сохранять единый смысл данных при обучении и в production.

Что такое Feature Store и зачем он нужен?

Feature Store хранит единое определение признака и предоставляет его значения в двух режимах: offline для обучения и online для инференса с малой задержкой. Общая логика расчёта снижает риск расхождений между обучением и инференсом. Готового сервиса Feature Store в VK Data Platform нет. Feature Store собирают из компонентов платформы и внешних инструментов: например, используют Iceberg через Trino или Spark для offline-слоя, Redis для online-слоя и Feast для управления признаками.

Почему Lakehouse удобнее классического DWH для ML-задач?

Lakehouse хранит данные в открытых табличных форматах в объектном хранилище, например в виде таблиц Iceberg в VK Object Storage. Для ML это обеспечивает версионирование, чтение прошлых состояний таблиц через time travel, ACID-транзакции и независимое масштабирование хранения и вычислений. Хранение холодных данных также обходится дешевле: при сравнении средних закупочных цен HDD и NVMe хранение на HDD в S3 в 7–10 раз дешевле NVMe-хранилища DWH. В вашем окружении соотношение может отличаться. DWH подходит для других задач, например отчётности.

Что такое training/serving skew и как его избежать?

Training/serving skew — расхождение между признаками при обучении и в production, из-за которого модель получает при инференсе данные, отличающиеся от обучающих. Типичная причина — независимые реализации расчёта одного признака. Снизить риск помогают единое определение признака, сохранение его значений при инференсе для последующего обучения и мониторинг распределений. Полностью исключить расхождения нельзя, поэтому данные нужно проверять постоянно.

Как устроена подготовка данных для машинного обучения в платформе данных?

Данные из источников поступают в слой Bronze в виде таблиц Iceberg, затем проходят очистку в Silver и агрегацию в Gold. Трансформации выполняют Spark и Trino, а определения признаков можно хранить в dbt-моделях, используя dbt как внешний инструмент. Рассчитанные значения записывают в offline store на Iceberg и online store на Redis. Для воспроизводимости обучения snapshot ID Iceberg сохраняют в запуске MLflow. Восстановить выборку по этому идентификатору можно, пока снапшот не удалён политикой хранения.

Оставьте заявку, чтобы получить консультацию

Наши специалисты свяжутся с вами в ближайшее время и ответят на все вопросы.

section_subscribe_2x_9ab2d878a6_ac1afd4471_aed1c6d636.png

            Узнавайте о выходе новых статей в блоге первыми!

            Будем держать в курсе новостей и облачных трендов

            section-subscribe_2x.png
              section-subscribe_2x.png
              Теги: VK Data Platform, AI/ML, VK Cloud
              Ссылка скопирована
              Поделиться

              Почитать по теме

              _blog_head_10.png
              29 сентября

              Presigned URL в S3: как выдавать временный доступ к объекту без передачи ключей

              _blog_head_21.png
              17 сентября

              Что такое токенизация и почему языковые модели считают текст не так, как человек

              _blog_head_11.png
              8 сентября

              LoRA и QLoRA: как выбрать GPU для файнтюнинга LLM без миллионного бюджета

              40+ готовых сервисов