VK Cloud

Что должен уметь Data Catalog в 2027 году: пять запросов из практики

13 ноября 2026 г.
шпрингер.png
Елена Шпрингер
Автор статьи
fon1.png

Аналитик получает задачу пересчитать выручку по регионам и открывает платформу данных. Таблица продаж есть в трёх местах: в хранилище, в озере и в песочнице соседней команды. Какая копия актуальна, кто за неё отвечает и можно ли сослаться на неё в отчёте для совета директоров, неясно. Ответ ищут в чатах и у коллег, потому что сама платформа его не даёт.

Data Catalog (каталог данных) — это слой платформы данных (Data Platform), который хранит и показывает метаданные: описания, схемы, владельцев, происхождение и классификацию данных. Сами данные каталог не хранит и не заменяет ни базу данных, ни DWH. Каталог отвечает на вопрос, чему в платформе можно доверять.

Ниже пять запросов, с которыми команды приходят к каталогу. По каждому разберём, что должно собираться автоматически, а что подтверждает человек: без этого разделения каталог за квартал превращается в устаревшую вики.

Что такое платформа данных (Data Platform) и где в ней каталог

Платформа данных проводит данные от источника до потребителя: собирает, хранит, обрабатывает, управляет ими и отдаёт в отчёты и модели. Платформа больших данных (Big Data platform) устроена так же, но её слои рассчитаны на большие объёмы и разнородные источники: от событий в Kafka до файлов в объектном хранилище.

Data Platform: не продукт, а архитектурная концепция

Готовую платформу данных не покупают одной коробкой. Её собирают из компонентов, а границы между слоями зависят от архитектуры. Типовая раскладка:

СлойЧто делаетПримеры инструментов
Ingestion Принимает данные из источников, загрузки запускает оркестратор Kafka; оркестрация загрузок: Airflow
Storage Хранит сырые и подготовленные данные Object Storage (S3), DWH, Data Lake
Compute и трансформации Считает, объединяет, строит витрины Spark, Trino, CedrusData Engine; трансформации в SQL: dbt
Catalog Собирает и показывает метаданные DataHub, Apache Atlas, CedrusData Catalog
Governance Политики доступа, классификация, владельцы, сертификация OpenMetadata, собственные решения
Serving Отдаёт данные потребителям BI, ML-платформа

dbt отнесён к трансформациям, Airflow к оркестрации: оба инструмента заходят в соседние слои, поэтому границы условны. OpenMetadata стоит рядом с governance, хотя часто закрывает и каталог.

Data Catalog: сквозной компонент, а не ещё один слой

Каталог проходит через все слои и собирает метаданные с каждого: схемы из хранилищ, запуски заданий из оркестратора, запросы из BI. Каталог — операционная память платформы: какие данные есть, откуда пришли, кто ими владеет и кто их читает.

Чем каталог не является:

  • Hive Metastore. Это технический каталог (метастор): он хранит схемы таблиц для вычислительных движков, а Data Catalog ведёт описание для людей и процессов;

  • DWH или Data Lake. Каталог хранит только метаданные;

  • BI. Каталог не строит отчёты, он подсказывает, на какие таблицы их опереть.

Пять запросов: что команды просят от Data Catalog в 2027 году

Пять запросов взяты из практики команд данных: публичного исследования с таким списком нет. Отдельные пункты опираются на открытые данные, источники указаны рядом.

  1. Найди мне нужные данные, быстро.
  2. Покажи, откуда они взялись.
  3. Скажи, можно ли их использовать.
  4. Покажи, кто их использует.
  5. Пусть всё это работает само.

Первые четыре выполнимы, только если ответ на пятый заложен в архитектуру. Автоматика закрывает технический слой: схемы, lineage, кандидатов в классификацию, черновики описаний. Владельца, назначение и решение «можно ли использовать» подтверждает человек. Поэтому в каждом запросе есть строка «Что автоматически / что за человеком». Для команды с десятком таблиц эта схема избыточна: хватит README и договорённости о владельцах. Она окупается, когда таблиц сотни, а стюардов меньше, чем доменов.

Запрос 1: «Найди мне нужные данные — быстро»

Проблема. Данные есть, но найти их трудно: таблицы названы по-разному, описаний нет, копии не отличить от оригиналов. По опросу IDC за 2018 год (400+ респондентов в Северной Америке и Европе, заказчик исследования Alteryx), специалисты теряли около 30% рабочего времени, в среднем 14 часов в неделю, потому что данные не удавалось найти, защитить или подготовить. Цифра восьмилетней давности, но задачу узнает любая команда.

Что нужно от каталога. Каталог обеспечивает data discovery: поиск по названиям, описаниям, тегам и колонкам, фильтры по источнику, домену и владельцу, бизнес-глоссарий, чтобы «выручка» в отчёте и в таблице значила одно и то же. В data mesh находимость входит в свойства data product под названием discoverability.

Как современный Data Catalog закрывает. Каталог собирает схемы, типы колонок и время обновления автоматически: краулеры забирают их из источников по расписанию. Черновики описаний каталог получает от модели, и здесь важна оговорка о редакциях. Unity Catalog в Databricks генерирует AI-комментарии для таблиц и колонок, но требует ревью человека. В DataHub AI-документация объявлена доступной в DataHub Cloud (GA с v0.3.17); для Core страница документации её не подтверждает. В OpenMetadata описания пишет Documentation Agent коммерческого продукта Collate в режиме human-in-the-loop. В OSS-версии генерация описаний не подтверждена.

Что автоматически / что за человеком. Автоматически: сбор схем, индексация, черновики описаний. За человеком: проверка описаний и бизнес-термины.

Возражение «автоматика даст шум, проще вручную силами стюардов» справедливо наполовину: черновик бывает неточным. Но ручное ведение не растёт вместе с числом таблиц, а проверить готовый черновик дешевле, чем писать описание с нуля.

Запрос 2: «Я хочу понять, откуда взялись эти данные»

Проблема. В отчёте не сходится цифра. Нужно понять, из каких таблиц и преобразований она получена и что сломается, если поменять схему источника.

Что нужно от каталога. Каталог строит data lineage (происхождение данных) на уровне таблиц и колонок: граф с навигацией вверх и вниз по потоку, история изменений схемы, downstream-impact (отчёты и модели, которые заденет правка). Собирать граф нужно из dbt, Spark и SQL, без ручного рисования.

Как современный Data Catalog закрывает. Каталог собирает lineage автоматически через OpenLineage — открытый стандарт, Graduate-проект LF AI & Data под лицензией Apache-2.0. OpenLineage описывает запуски (run), задания (job) и наборы данных (dataset), расширяется через facets и имеет интеграции с Airflow, Spark, dbt, Trino и SQL. Каталог получает события от заданий и достраивает граф по реальным запускам, документация для этого не нужна. Gartner в Magic Quadrant 2026 для платформ Data and Analytics Governance, в пересказе вендора Ataccama, называет глубокий и широкий lineage для impact analysis обязательной возможностью.

Что автоматически / что за человеком. Автоматически: события из заданий, граф, история схем. За человеком: связи, которых нет в запусках. Выгрузка в Excel или ручной скрипт вне инструментированного задания в граф не попадёт. Такие места нужно подключить к сбору или пометить в каталоге вручную. Какие downstream-потребители критичны, тоже решает человек.

Запрос 3: «Мне нужно понять, можно ли использовать эти данные»

Проблема. Таблица найдена, происхождение понятно, но можно ли строить на ней отчёт? Свежие ли данные, проверялось ли качество, нет ли персональных данных, кто даст добро. По отчёту dbt Labs State of Analytics Engineering 2026 доля респондентов, считающих повышение доверия к данным и командам данных важным, выросла с 66% в 2025 году до 83% в 2026-м (выборка 363 ответа), а 71% опасаются, что до стейкхолдеров дойдут неверные или галлюцинированные результаты.

Что нужно от каталога. Каталог поддерживает data governance в прикладном виде: показатели качества и свежести рядом с таблицей, классификация (в том числе по ПДн), Data Owner с интеграцией LDAP или AD, статус сертификации Verified, Deprecated или Draft. Классификация и владелец нужны и для ответа субъекту персональных данных. По ст. 14 Федерального закона от 27.07.2006 № 152-ФЗ субъект вправе получить сведения об источнике получения данных, целях и сроках обработки, лицах с доступом; ответ нужен в течение 10 рабочих дней, срок можно продлить не более чем на 5 рабочих дней по мотивированному уведомлению. Похожие обязанности есть в GDPR: право доступа (ст. 15) и записи об обработке (ст. 30). Ни закон, ни GDPR не требуют lineage и не упоминают каталоги. Граф и классификация лишь помогают собрать ответ.

Как современный Data Catalog закрывает. Каталог подтягивает метрики свежести и результаты проверок качества из тестов в пайплайнах. Кандидатов в классификацию предлагают сканеры по шаблонам и ML-классификаторы. Кандидата в владельцы каталог берёт из LDAP или AD: это группа или пользователь.

Что автоматически / что за человеком. Автоматически: метрики, кандидаты в ПДн, список возможных владельцев. За человеком: назначение владельца, статус сертификации, решение «можно ли использовать». Databricks прямо предупреждает, что модель нельзя использовать для классификации, например для поиска PII. Результат автоматики здесь только предложение, а подтверждает его владелец данных.

Запрос 4: «Я хочу знать, кто ещё использует эти данные»

Проблема. Инженер переименовывает колонку revenue в net_revenue, потому что так точнее по смыслу. Колонку читают ночной пайплайн расчёта витрины, дашборд финансов и ML-модель прогноза спроса. Каждым потребителем владеет отдельная команда, и о правке никто не знает. Они узнают о ней по упавшему запуску, пустому графику или молча деградировавшему прогнозу. Последний вариант опаснее всего: ошибки нет, цифры просто неверны.

Что нужно от каталога. Каталог показывает список потребителей колонки до правки: пайплайны, дашборды, модели, с владельцами. Признаки реального использования: число обращений и пользователей за период, дата последнего чтения. Impact analysis как отдельное действие в интерфейсе или API, которое можно вызвать из процесса изменений. Публичного исследования по usage-аналитике в каталогах нет, поэтому ниже описана инженерная практика без рыночной статистики.

Как современный Data Catalog закрывает. Каталог читает граф из запроса 2 в обратную сторону: от колонки к тем, кто из неё читает. Логи запросов Trino, Spark и BI дополняют граф фактическим использованием. Lineage показывает, кто может зависеть от колонки, usage показывает, кто читает её на самом деле. Перед правкой инженер открывает карточку колонки и видит всех трёх потребителей с владельцами. Зрелая практика добавляет к этому контракт между владельцем таблицы и потребителями. Изменение, ломающее схему, объявляется заранее. Старое имя живёт в течение согласованного срока депрекации, а в каталоге получает статус Deprecated. Удаляют его только после подтверждения потребителей.

Что автоматически / что за человеком. Автоматически: граф потребителей, счётчики обращений, список владельцев, статус Deprecated в карточке. За человеком: решение о правке, уведомление владельцев потребителей, срок депрекации и подтверждение миграции. Таблицу без читателей за квартал тоже сначала помечают Deprecated и предупреждают владельцев.

Запрос 5: «Хочу, чтобы это работало само — без ручного заполнения»

Проблема. Каталоги часто наполняли вручную: стюарды описывали таблицы сами. Через несколько месяцев описания отставали от схем, и каталогу переставали верить. Устаревший каталог хуже отсутствующего: он создаёт видимость порядка.

Что нужно от каталога. Каталог забирает схемы и статистику краулерами по расписанию. Модель предлагает черновики описаний (оговорки о редакциях DataHub, OpenMetadata и Databricks см. в запросе 1). Классификация выдаёт кандидатов в ПДн. Lineage собирается из инструментов, которые уже работают: интеграция с dbt подтягивает метаданные моделей и зависимости между ними, а задания Airflow и Spark отправляют события через OpenLineage API (push-модель).

Как современный Data Catalog закрывает. Каталог работает без ручного заполнения при одном условии: у каждого технического факта есть автоматический источник, а у каждого суждения (смысл, назначение, допуск к использованию) есть назначенный человек и очередь на ревью. Хороший каталог показывает статус каждого поля: сгенерировано, подтверждено, устарело. Ревью черновика тогда занимает минуты, и каталог не расходится с платформой. Автоматика без подтверждения даёт шум, подтверждение без автоматики не поспевает за схемами.

Что автоматически / что за человеком. Автоматически: сбор, черновики, кандидаты в классификацию, lineage. За человеком: подтверждение описаний, владелец, назначение. В OSS-версиях AI-описания не подтверждены, там генерацию черновиков придётся закладывать отдельно, с тем же ревью.

Технические и архитектурные требования к Data Catalog в 2027 году

Коннекторы: охват источников

Каталог полезен настолько, насколько полно видит платформу. Проверьте охват по группам:

  • реляционные БД (PostgreSQL, MySQL, ClickHouse);
  • Data Lake и объектное хранилище (S3, HDFS, Iceberg-каталоги);
  • MPP и query engine (Trino, Spark, CedrusData);
  • оркестраторы и трансформации (Airflow, dbt);
  • BI (Superset, Grafana, Tableau);
  • потоки (Kafka).

Проверяйте и глубину коннектора. Её оценивают по четырём возможностям отдельно: схемы и типы, статистика (объём, число строк, время обновления), lineage и usage. Коннектор может отлично отдавать схемы и ничего не знать о запросах, а в списке поддерживаемых источников такая разница не видна. На пилоте возьмите по одному источнику из каждой группы и заполните матрицу «источник × возможность» фактическими результатами. Пустые ячейки показывают, где придётся писать собственную интеграцию или принимать ручной ввод.

Открытые стандарты: OpenLineage и открытые схемы метаданных

OpenLineage, Graduate-проект LF AI & Data, задаёт открытую спецификацию событий lineage, поэтому их читают разные каталоги. OpenMetadata представляет собой open-source платформу метаданных (Apache 2.0) с открытыми схемами, которые ведутся как OpenMetadata Standards. Стандартом в смысле OpenLineage OpenMetadata называть нельзя. Практический критерий: можно ли выгрузить метаданные в открытом формате и принять события lineage по открытому API. Закрытый формат означает vendor lock-in: накопленные описания и владельцы остаются внутри продукта.

Производительность на больших объёмах

Ниже рекомендации архитектора, фактов о конкретных продуктах в них нет. Поисковый индекс должен масштабироваться горизонтально. Граф lineage лучше держать в хранилище, рассчитанном на обход графов. Историю изменений метаданных удобно вести в append-only журнале, чтобы отвечать на вопрос «как выглядела схема в марте». Для компаний с большим числом таблиц и колонок это сценарий, на котором каталог на одном узле может перестать справляться. Проверяйте его на пилоте с реальным числом объектов.

Интеграция с управлением доступом

Каталог раскрывает структуру данных, поэтому сам становится объектом защиты. Нужны три вещи. Интеграция с LDAP или AD для пользователей и групп. Синхронизация с IAM-политиками хранилищ, чтобы права в каталоге совпадали с правами на данные. Ограничение видимости метаданных: поиск не должен показывать название и описание таблицы тому, кому её видеть нельзя.

Технический каталог в VK Data Platform

Cloud Iceberg Metastore выполняет роль технического каталога для таблиц Apache Iceberg в VK Data Platform: Cloud Spark и Cloud Trino используют его для поиска и интерпретации таблиц. VK Data Platform строится на VK Object Storage и включает Cloud Trino, Cloud Spark и Cloud Iceberg Metastore. Бизнес-слой каталога (глоссарий, владельцы, сертификация) строится поверх технического каталога отдельным решением.

Популярные Data Catalog: краткий обзор решений

Open Source

РешениеКлючевые данныеОграниченияПроисхождение и лицензия
DataHub 150+ интеграций, column-level lineage; две линии выпуска: LTS 1.6.x и функциональная 1.7 (релиз 1.7.0.1 от 03.09.2026) Для self-hosted нужны операционные ресурсы команды Начат в LinkedIn в 2019 году; лицензия Apache 2.0
Apache Atlas Релиз 2.5.0 вышел 30.04.2026 Вне Hadoop развернуть и интегрировать сложнее Исторически компонент экосистемы Hadoop
OpenMetadata Развитая документация AI-описания в коммерческой версии Collate; в OSS-версии генерация описаний не подтверждена Открыт в 2021 году; лицензия Apache 2.0; коммерческая версия у Collate
CedrusData Catalog Iceberg REST Catalog с поддержкой S3 и HDFS; технический каталог (метастор) без бизнес-слоя В версии 458-2 vended-credentials и remote-signing не поддерживаются С марта 2026 года входит в группу VK Tech (раскрытие аффилированности)

Коммерческие

Collibra, Alation и Atlan входят в число платформ, оценённых в Gartner Magic Quadrant for Data and Analytics Governance Platforms 2026, и ориентированы на крупные организации. Доступность в России нужно проверять отдельно. Unity Catalog (Databricks) глубоко интегрирован с Databricks, вне этой экосистемы применимость нужно проверять отдельно. AI-комментарии доступны в Databricks и требуют ревью человека.

Как выбирать

СценарийРекомендация
Старт, небольшая команда OpenMetadata или DataHub (self-hosted)
Большая компания, enterprise-governance Collibra или Atlan; сначала проверить доступность в РФ
Платформа уже на Databricks Unity Catalog
Российский стек, Iceberg, VK Cloud Технический каталог (Cloud Iceberg Metastore в VK Data Platform или CedrusData Catalog) и бизнес-каталог (DataHub или OpenMetadata; совместимость проверить на пилоте)

Финальный шаг в любом сценарии один: пилот на своих источниках. Его план приведён в следующем разделе.

Как проверить каталог на пилоте: пять запросов как тест-план

Пять запросов можно превратить в тест-план для любого кандидата. Таблица фиксирует, что на пилоте должно приходить само, что подтверждает человек и как это проверить.

ЗапросЧто собирается автоматическиЧто подтверждает человекКак проверить на пилоте
1. Найти данные Схемы, типы колонок, время обновления, поисковый индекс, черновики описаний Описания, бизнес-термины глоссария Попросить коллегу из другого домена найти таблицу выручки по бизнес-названию и оценить найденное
2. Откуда данные События lineage из заданий, граф таблиц и колонок, история схем Связи вне инструментированных заданий, критичность потребителей Построить граф одной витрины, сверить с реальным пайплайном, найти хотя бы одну недостающую связь
3. Можно ли использовать Метрики свежести и качества, кандидаты в ПДн, кандидаты в владельцы из LDAP или AD Владелец, статус Verified, Deprecated или Draft, решение о допуске Получить ответ на вопрос «кто владелец и можно ли брать таблицу в отчёт» без обращения в чат
4. Кто использует Потребители по графу, счётчики обращений из логов Решение об удалении, уведомление владельцев, срок депрекации Спросить, что сломается при переименовании колонки, и сравнить список с реальными читателями
5. Работает само Расписание краулеров, push-события OpenLineage, интеграция с dbt Очередь ревью, статусы полей «сгенерировано / подтверждено / устарело» Изменить схему в источнике и проверить, что каталог обновился без ручных действий

Как организовать пилот:

  1. Выберите два-три реальных домена данных и их источники.
  2. Подключите коннекторы и настройте отправку событий OpenLineage из одного-двух заданий.
  3. Поставьте участникам задачи: «найди таблицу выручки», «что сломается при переименовании колонки X», «кто владелец и можно ли брать данные в отчёт».
  4. Замерьте, сколько полей пришло автоматически и сколько потребовало ручного ввода. Это главный показатель зрелости автоматизации.
  5. Проверьте, не раскрывает ли поиск названия и описания закрытых таблиц пользователю без доступа.

Результат читается просто. Если основную часть технических полей собрала автоматика, а ручной ввод пришёлся на владельцев, назначение и допуск, кандидат подходит под требования статьи. Если почти всё заполняется руками, каталог повторит судьбу вики: через квартал в нём будут устаревшие описания, которым никто не верит.

Заключение

Платформа данных без Data Catalog работает, пока её знают пять человек. С ростом числа таблиц и команд каталог становится условием работоспособности. Ручное заполнение устаревает быстрее, чем заполняется. Поэтому технический слой должен собираться автоматически, а владельца, назначение и допуск к использованию подтверждает человек. Так Data Catalog превращается из документации в операционный инструмент. Начните с пилота на своих источниках: пять запросов выше подсказывают, что проверять.

Частые вопросы про Data Catalog

Что такое платформа данных (Data Platform)?

Платформа данных (Data Platform) проводит данные от источника до потребителя: сбор, хранение, обработка, управление и отдача в BI и ML. Единого продукта под этим названием нет, платформу собирают из компонентов. Каталог данных входит в неё как сквозной слой метаданных.

Чем Data Catalog отличается от DWH?

DWH хранит и обрабатывает сами данные. Data Catalog хранит метаданные о них: схемы, описания, владельцев, lineage, классификацию. Каталог подсказывает, где искать данные и можно ли им доверять. Считает и хранит их DWH. Для каталога DWH служит одним из источников метаданных.

Что такое Data Lineage и зачем он нужен?

Data lineage показывает путь данных: из каких источников и преобразований получена таблица или колонка и кто читает её дальше. Он нужен для поиска причин расхождений и оценки последствий правок. Закон lineage не требует, но граф помогает ответить на запрос субъекта персональных данных об источнике и получателях.

Можно ли автоматизировать заполнение Data Catalog?

Технический слой можно: схемы собирают краулеры, lineage приходит из заданий через OpenLineage, описания предлагает модель. Оговорка о редакциях: AI-документация DataHub заявлена для DataHub Cloud, в OpenMetadata её выполняет коммерческий Collate, Databricks требует ревью человека. Владельца и допуск подтверждает человек.

Что такое платформа больших данных?

Платформа больших данных (Big Data platform) — платформа данных, слои которой рассчитаны на большие объёмы и разнородные источники: потоки, файлы, таблицы. Набор слоёв тот же, различается масштабирование хранения и вычислений, а значит и требования к каталогу: поиск и граф lineage должны расти горизонтально.

Оставьте заявку, чтобы получить консультацию

Наши специалисты свяжутся с вами в ближайшее время и ответят на все вопросы.

section_subscribe_2x_9ab2d878a6_ac1afd4471_aed1c6d636.png

            Узнавайте о выходе новых статей в блоге первыми!

            Будем держать в курсе новостей и облачных трендов

            section-subscribe_2x.png
              section-subscribe_2x.png
              Теги: VK Data Platform
              Ссылка скопирована
              Поделиться

              Почитать по теме

              _blog_head_10.png
              29 сентября

              Presigned URL в S3: как выдавать временный доступ к объекту без передачи ключей

              _blog_head_21.png
              17 сентября

              Что такое токенизация и почему языковые модели считают текст не так, как человек

              _blog_head_11.png
              8 сентября

              LoRA и QLoRA: как выбрать GPU для файнтюнинга LLM без миллионного бюджета

              40+ готовых сервисов