Сервис туралы
Data Lakehouse (DLH) — бұл VK Cloud платформасында ұйымдастыруға болатын деректерді басқарудың гибридті архитектурасы. Ол Data Lake масштабталуы мен икемділігін Data Warehouse сенімділігі мен құрылымдылығымен біріктіреді. Мұндай архитектура:
- Кез келген көлем мен форматтағы деректерді сақтауға, өңдеуге және талдауға арналған біртұтас кеңістікті қамтамасыз етеді.
- ACID-транзакцияларды, нұсқалық бақылауды қолдайды.
- Spark, Trino, BI-жүйелері сияқты заманауи аналитикалық құралдармен үйлесімді.
Data Lakehouse-та деректерді сақтау қабаты S3 қоймасының негізінде жүзеге асырылған, ал деректерге қолжетімділік үшін әдеттегі SQL-интерфейсі қолданылады. Мұндай тәсіл «шикі» құрылымдалмаған деректерді сақтауды жеңілдетуге, оларға арналған инфрақұрылымды арзандатуға мүмкіндік береді және сонымен бірге нәтижелердің сапасын жоғалтпай аналитикалық SQL-сұрауларын тиімді орындауға болады. Физикалық тұрғыдан екі қабат да бөлек орналасқан және бір-бірінен тәуелсіз горизонталь масштабталуы мүмкін.
Құрылымдалмаған деректер S3 қоймасына әртүрлі деректер форматтарындағы (TSV, CSV, XML, syslog, JSON т.б.) әртүрлі көздерден сақталады. Мысалы, мұндай деректер мыналар болуы мүмкін:
- сыртқы бақылау камераларының бейнежазбалары;
- датчиктер мен құрылғылардың телеметриясы;
- графикалық файлдар;
- сайттардың пайдаланушылар мінез-құлқы туралы деректер;
- ақпараттық жүйелердің логтері.
«Шики» күйінде мұндай деректер BI-жүйелеріндегі күнделікті талдауға жарамайды, бірақ машиналық оқыту алгоритмдері немесе Data Science-тің басқа әдістері арқылы жаңа бизнес-гипотезаларды жедел тексеру үшін пайдаланылуы мүмкін.
Аналитикалық сервистерге Data Lakehouse деректеріне толыққанды қолжетімділікті ұйымдастыру үшін S3-қоймасындағы объектілер туралы ақпаратты жалпы қабылданған ашық форматтардың бірінде белгілеп, каталогтандыру қажет (мысалы, Cloud Iceberg Metastore сервисінің көмегімен). Содан кейін белгіленген деректерге API-интерфейсі арқылы Cloud Trino немесе Cloud Spark негізіндегі SQL-сұрауларын орындау қозғалтқышы қосылады, осылайша оқиғаларды нақты уақыттағы сквозной ағынды біржолата беру ұйымдастырылады.
Осылайша, Data Lakehouse ETL-операцияларын орындау қажеттілігімен байланысты кідірісті де, шығындарды да азайта отырып, бизнес-аналитика құралдарын тікелей бастапқы деректерде қолдануға мүмкіндік береді және олардың өзектілігін арттырады.
VK Cloud негізіндегі Data Lakehouse мына жағдайларда тиімді шешім болып табылады, егер:
- деректермен жұмыс істеудің ескірген Hadoop-стегін ауыстыру керек болса;
- Greenplum-нан көшу керек болса;
- қолданыстағы S3 негізінде үлкен деректермен жұмыс істеу жүйесін енгізу керек болса;
- Data Office-ті «нөлден» құру керек болса.
Міндетке байланысты сіз Data Lakehouse-ты әртүрлі сценарийлерде пайдалана аласыз:
- Data Lakehouse компоненттерін сыртқы деректер көздерімен интеграциялау. Әрбір жүгіну кезінде ақпарат жүйелер арасында беріледі.
- Құру VK Cloud негізінде толық Data Lakehouse архитектурасын жасап, деректерді жаңа жүйеге бір реттік көшіру арқылы миграциялау.
Data Lakehouse-пен жұмыс істеуге арналған кейбір сценарийлерді Тәжірибелік нұсқаулықтар бөлімінен таба аласыз.