Cloud Airflow Data Lakehouse архитектурасында

ссылка – бұл нақты уақыттағы жоғары өнімді, ауқымдалатын қосымшаларға арналған деректер ағындарының оркестраторы және ETL мен ELT процестерін іске қосуды басқару құралы. Қойманы деректер көздерімен PULL-моделі бойынша біріктіру қажет болған жағдайда DLH архитектурасына қосымша түрде енгізіледі.

Компонент келесі функцияларды орындайды:

• DLH жүйесіндегі ETL және ELT процестерін іске қосуды басқару.
• Құрылымдалмаған деректер көздерін файл алмасу режимінде S3 қоймасымен тікелей интеграциялау.
• Мерзімдік IN немесе OUT операцияларын орындау кестесін жасау.
• ETL және ELT процестерінің орындалуын мониторингілеу және диагностикалық хабарламаларды жіберу.
• S3 қоймасынан деректерді Cloud Iceberg Metastore компонентінің API арқылы оқу.