Cloud Iceberg Metastore Data Lakehouse архитектурасында
Cloud Iceberg Metastore — бұл DLH деректер каталогы, ол сыртқы сервистермен қойманың өзара әрекеттесуін ұйымдастыру үшін объектілер құрылымының көрінісін және S3 қоймасындағы деректерге қол жеткізу ережелерін (интерфейстерін) анықтайды. Кестелердің ашық форматының арқасында қоймадан күрделі аналитикалық SQL-сұраулар арқылы орасан көлемдегі деректерді жоғары өнімділікпен оқуды қамтамасыз ететіндіктен, DLH-де пайдалану үшін басым нұсқа болып табылады.
Компонент келесі функцияларды орындайды:
- S3 қоймасындағы объектілерді каталогтайды.
- DLH қоймасындағы схеманы, кестелер құрылымын және деректер жиындарының орналасуын қамтиды.
- DLH объектілерінің көрінісін деректер жиындары түрінде қалыптастырады, олардың орналасуы мен бағандар, атаулар, деректер түрлері және т.б. бойынша құрылымы туралы ақпаратты қоса.
- Бірнеше қосымшаның S3 қоймасы объектілерін бірлесіп, біріздендірілген түрде пайдалану мүмкіндігі үшін файлдық қойма үстінен реляциялық дерекқорларға ұқсас құрылымды анықтайды.
- Әртүрлі қосымшалар арасындағы деректерді өңдеудің келісілген нәтижелерін қамтамасыз етеді және деректерді басқаруды жеңілдетеді.
- Кестелермен орындалатын операциялардың толық тарихын, оның ішінде деректер схемасы мен объектілердің өзіндегі өзгерістерді, сондай-ақ сериалданатын оқшаулау, снапшоттар негізінде уақыт бойынша жылжу және схеманың болжамды эволюциясы функцияларын қамтиды.
- Сыртқы қосымшаларға DLH қоймасындағы кестелермен тікелей жұмыс істеуге мүмкіндік береді, бұл DLH архитектурасының артықшылықтарын пайдалану есебінен өңдеу шығындарын азайтады және есептеу жылдамдығын едәуір арттырады, өйткені барлық қосымшалар деректер жиындарымен оларды бірнеше бөлек және жабық жүйелер арасында тасымалдамай-ақ бірден орнында жұмыс істей алады.
- Жаңарту және жою операцияларын қоса алғанда, қолданыстағы деректерді өзгерту мүмкіндігін қамтамасыз етеді.
- Деректердің жоғалу қаупінсіз бір деректер жиынына қатарлас жазудың қауіпсіздігін қамтамасыз етеді.
- S3 қоймасындағы деректер көлемі өскен жағдайда SQL-сұрауларды орындау кезінде өнімділіктің төмендеуін болдырмауға мүмкіндік береді.