VK Cloud logo

Сервис туралы

Data Lakehouse (DLH) — бұл VK Cloud платформасында ұйымдастыруға болатын деректерді басқарудың гибридті архитектурасы. Ол Data Lake масштабталуы мен икемділігін Data Warehouse сенімділігі мен құрылымдылығымен біріктіреді. Мұндай архитектура:

  • Кез келген көлем мен форматтағы деректерді сақтауға, өңдеуге және талдауға арналған біртұтас кеңістікті қамтамасыз етеді.
  • ACID-транзакцияларды, нұсқалық бақылауды қолдайды.
  • Spark, Trino, BI-жүйелері сияқты заманауи аналитикалық құралдармен үйлесімді.

Data Lakehouse-та деректерді сақтау қабаты S3 қоймасының негізінде жүзеге асырылған, ал деректерге қолжетімділік үшін әдеттегі SQL-интерфейсі қолданылады. Мұндай тәсіл «шикі» құрылымдалмаған деректерді сақтауды жеңілдетуге, оларға арналған инфрақұрылымды арзандатуға мүмкіндік береді және сонымен бірге нәтижелердің сапасын жоғалтпай аналитикалық SQL-сұрауларын тиімді орындауға болады. Физикалық тұрғыдан екі қабат да бөлек орналасқан және бір-бірінен тәуелсіз горизонталь масштабталуы мүмкін.

Құрылымдалмаған деректер S3 қоймасына әртүрлі деректер форматтарындағы (TSV, CSV, XML, syslog, JSON т.б.) әртүрлі көздерден сақталады. Мысалы, мұндай деректер мыналар болуы мүмкін:

  • сыртқы бақылау камераларының бейнежазбалары;
  • датчиктер мен құрылғылардың телеметриясы;
  • графикалық файлдар;
  • сайттардың пайдаланушылар мінез-құлқы туралы деректер;
  • ақпараттық жүйелердің логтері.

«Шики» күйінде мұндай деректер BI-жүйелеріндегі күнделікті талдауға жарамайды, бірақ машиналық оқыту алгоритмдері немесе Data Science-тің басқа әдістері арқылы жаңа бизнес-гипотезаларды жедел тексеру үшін пайдаланылуы мүмкін.

Аналитикалық сервистерге Data Lakehouse деректеріне толыққанды қолжетімділікті ұйымдастыру үшін S3-қоймасындағы объектілер туралы ақпаратты жалпы қабылданған ашық форматтардың бірінде белгілеп, каталогтандыру қажет (мысалы, Cloud Iceberg Metastore сервисінің көмегімен). Содан кейін белгіленген деректерге API-интерфейсі арқылы Cloud Trino немесе Cloud Spark негізіндегі SQL-сұрауларын орындау қозғалтқышы қосылады, осылайша оқиғаларды нақты уақыттағы сквозной ағынды біржолата беру ұйымдастырылады.

Осылайша, Data Lakehouse ETL-операцияларын орындау қажеттілігімен байланысты кідірісті де, шығындарды да азайта отырып, бизнес-аналитика құралдарын тікелей бастапқы деректерде қолдануға мүмкіндік береді және олардың өзектілігін арттырады.

Қандай міндеттерге жарайды

VK Cloud негізіндегі Data Lakehouse мына жағдайларда тиімді шешім болып табылады, егер:

  • деректермен жұмыс істеудің ескірген Hadoop-стегін ауыстыру керек болса;
  • Greenplum-нан көшу керек болса;
  • қолданыстағы S3 негізінде үлкен деректермен жұмыс істеу жүйесін енгізу керек болса;
  • Data Office-ті «нөлден» құру керек болса.

Қалай пайдалануды бастауға болады?

Міндетке байланысты сіз Data Lakehouse-ты әртүрлі сценарийлерде пайдалана аласыз:

  • Data Lakehouse компоненттерін сыртқы деректер көздерімен интеграциялау. Әрбір жүгіну кезінде ақпарат жүйелер арасында беріледі.
  • Құру VK Cloud негізінде толық Data Lakehouse архитектурасын жасап, деректерді жаңа жүйеге бір реттік көшіру арқылы миграциялау.

Data Lakehouse-пен жұмыс істеуге арналған кейбір сценарийлерді Тәжірибелік нұсқаулықтар бөлімінен таба аласыз.

Мақала пайдалы болды ма?