Cloud Trino Data Lakehouse архитектурасында

Cloud Trino – бұл әртүрлі көздерден ірі көлемдегі деректерді өңдеуге арналған массивті-параллель аналитикалық SQL-қозғалтқыш. Ол мыналарға мүмкіндік береді:

• бірнеше көздер мен қоймалардан оқу SQL-сұрауларын параллель орындауға;
• DLH архитектурасында мамандандырылған сервистерді пайдаланбай-ақ ETL және ELT пайплайндарын ұйымдастыруға.

Cloud Trino аналитикалық жүктемені қызмет көрсетуі қымбат және ауқымдау қиын корпоративтік қоймалардан (мысалы, Greenplum негізіндегі) арзанырақ деректер көлдеріне және DLH жүйесіне көшіруге мүмкіндік береді.

Data Lakehouse архитектурасында компонент келесі функцияларды орындайды:

• Көздерден деректерді PULL-моделі бойынша сұрату (қарапайым сценарийлер үшін).

• Apache Iceberg API арқылы объектілік S3 қоймасында деректерді оқу және жазу операцияларын орындау.

• DLH жүйесіндегі көздер мен тұтынушылардан келетін SQL-сұраулардың кіріс ағынын теңгеру.

• Деректерді басқару және олардың шығу тегін бақылау үшін сыртқы метадеректер каталогында DLH көздері мен деректер құрылымы туралы ақпаратты жариялау.

• Есептерді, BI-аналитиканы және машиналық оқытуды қалыптастыру үшін сыртқы сервистердің сұрауы бойынша деректерді тікелей S3 қоймасынан ұсыну.

• Нақты уақыттағы аналитиканы орындау үшін мамандандырылған аналитикалық СУБД-лармен (мысалы, ClickHouse, PostgreSQL) өзара әрекеттесу.

• Сұрау жоспарын көпфазалы оңтайландыру — SQL-сұрауды орындау кезінде әрекеттердің бекітілген ретін қалыптастыру:

  • сүзгілерді қолдану;
  • JOIN көмегімен оңтайлы ретті таңдау;
  • сұраудағы кестелерді көрініске (VIEW) ауыстыру;
  • деректерді түрлендіру операцияларын орындау.