Сервис туралы

Data Lakehouse (DLH) — бұл VK Cloud платформасында ұйымдастыруға болатын деректерді басқарудың гибридті архитектурасы. Ол Data Lake ауқымдылығы мен икемділігін Data Warehouse сенімділігі және құрылымдылығымен біріктіреді. Мұндай архитектура:

• Кез келген көлем мен форматтағы деректерді сақтау, өңдеу және талдау үшін бірыңғай кеңістікті қамтамасыз етеді.
• ACID-транзакцияларды, нұсқаларды бақылауды қолдайды.
• Заманауи аналитикалық құралдармен: Spark, Trino, BI-жүйелерімен үйлесімді.

Data Lakehouse-та деректерді сақтау қабаты S3 қоймасы негізінде іске асырылады, ал деректерге қол жеткізу үшін үйреншікті SQL-интерфейсі пайдаланылады. Мұндай тәсіл «шикі» құрылымдалмаған деректерді сақтауды жеңілдетуге, олар үшін инфрақұрылымды арзандатуға және сонымен бірге нәтиже сапасын жоғалтпай аналитикалық SQL-сұрауларды тиімді орындауға мүмкіндік береді. Физикалық тұрғыдан екі қабат та бір-бірінен бөлінген және бір-біріне тәуелсіз түрде көлденеңінен масштабтала алады.

Құрылымдалмаған деректер S3 қоймасына әртүрлі көздерден әртүрлі деректер форматтарында сақталады: TSV, CSV, XML, syslog, JSON және т.б. Мысалы, мұндай деректер мыналар болуы мүмкін:

• сыртқы бақылау камераларынан алынған бейнежазбалар;
• датчиктер мен құрылғылардан алынған телеметрия;
• графикалық файлдар;
• сайт пайдаланушыларының мінез-құлқы туралы деректер;
• ақпараттық жүйелерден алынған логтар.

«Шикі» күйінде мұндай деректер BI-жүйелеріндегі күнделікті аналитикаға жарамсыз, бірақ оларды машиналық оқыту алгоритмдерінің немесе басқа Data Science әдістерінің көмегімен жаңа бизнес-гипотезаларды жедел пысықтау үшін пайдалануға болады.

Data Lakehouse деректеріне аналитикалық сервистердің толыққанды қолжеткізуін ұйымдастыру үшін S3 қоймасындағы объектілер туралы ақпаратты жалпы қабылданған ашық форматтардың бірінде белгілеу және каталогтау қажет (мысалы, Cloud Iceberg Metastore сервисінің көмегімен). Содан кейін белгіленген деректерге API-интерфейсі арқылы Cloud Trino немесе Cloud Spark негізіндегі SQL-сұрауларды орындау қозғалтқышы қосылады, бұл нақты уақыт режимінде оқиғаларды тұтас ағындық жіберуді ұйымдастыруға мүмкіндік береді.

Осылайша, Data Lakehouse бизнес-аналитика құралдарын тікелей бастапқы деректерде пайдалануға мүмкіндік береді, олардың өзектілігін арттырады, сондай-ақ ETL-операцияларын орындау қажеттілігіне байланысты кідіріс пен шығындарды азайтады.

VK Cloud негізіндегі Data Lakehouse мына жағдайларда тиімді шешім болып табылады, егер:

• деректермен жұмыс істеудің ескірген Hadoop-стегін ауыстыру керек болса;
• Greenplum-нан көшу керек болса;
• қолданыстағы S3 негізінде үлкен деректермен жұмыс істеу жүйесін енгізу керек болса;
• Data Office-ті «нөлден» құру керек болса.

Міндетке байланысты сіз Data Lakehouse-ты әртүрлі сценарийлерде пайдалана аласыз:

• Data Lakehouse компоненттерін сыртқы деректер көздерімен интеграциялау. Әрбір жүгіну кезінде ақпарат жүйелер арасында беріледі.
• Құру VK Cloud негізінде толық Data Lakehouse архитектурасын жасап, деректерді жаңа жүйеге бір реттік көшіру арқылы миграциялау.

Data Lakehouse-пен жұмыс істеуге арналған кейбір сценарийлерді Тәжірибелік нұсқаулықтар бөлімінен таба аласыз.