Сервис туралы
Cloud Iceberg Metastore — Apache Iceberg форматындағы кестелерге арналған метадеректерді басқару жүйесінің компоненті.
Cloud Iceberg Metastore:
-
Сұрауларды (
INSERT,UPDATE,MERGE,DELETE) орындау кезінде ACID-талаптарының сақталуын қамтамасыз етеді:- Атомарлық (Atomicity). Транзакция толық орындалады немесе оның қандай да бір бөлігі (операциясы) істен шыққан жағдайда, барлық өзгерістермен бірге кері қайтарылады.
- Келісімділік (Consistency). Транзакция дерекқорды тұтастықтың белгіленген шектеулерін сақтай отырып, бір жарамды күйден екіншісіне ауыстырады. Шектеулердің бұзылуы транзакцияның толық болдырылуына әкеледі.
- Оқшаулану (Isolation). Әрбір транзакция басқалардан оқшауланып орындалады. Транзакция жұмысының аралық нәтижелері аяқталу сәтіне дейін қатар орындалып жатқан басқа процестерге көрінбейді. Бұл деректерге бір мезгілде қол жеткізу кезінде қақтығыстардың алдын алады.
- Тұрақтылық (Durability). Транзакция енгізген өзгерістер сақталады және ол аяқталғаннан кейін де қолжетімді болады, тіпті жүйе істен шықса немесе басқа ақау орын алса да.
-
Деректер схемаларының эволюциясын (schema evolution) қолдайды: деректерді толық қайта жазбай-ақ кестедегі бағандардың түрін қосуға, жоюға немесе өзгертуге мүмкіндік береді. Өзгерістерді PostgreSQL каталогымен және S3 қоймасымен синхрондайды.
-
ETL-тапсырмаларын — деректерді алу (Extract), түрлендіру (Transform) және жүктеу (Load) процестерін өңдейді.
Сервисті пайдаланудың ықтимал сценарийлері:
-
Деректер қоймаларының келесі түрлерін құру кезінде компонент ретінде:
- Деректер көлі (Data Lakehouse). Сервис S3 қоймасында үлкен көлемдегі құрылымдалған және құрылымдалмаған деректерді ұйымдастыру және басқару үшін пайдаланылады.
- Аналитикалық деректер қоймасы (Data Warehouse). Сервис ықшамдау (тығыздау) және партициялау (partitioning) арқылы оңтайландырылған құрылымдалған деректерге аналитикалық сұраулар орындайды.
- Бұлттық қойма. Сервис S3 қоймасымен және VK Data Platform сервистерімен біріктіріледі.
-
ETL-процестерін ұйымдастыру. Сервис schema evolution және транзакциялылықты қолдау есебінен процестерді жеделдетеді.
Басқа сервистер (Cloud Spark, Cloud Trino, Cloud Flink және т.б.) Apache Iceberg кестелерін іздеу және интерпретациялау үшін Cloud Iceberg Metastore пайдаланады.