VK Cloud logo

Сервис данасын жасау

  1. VK Cloud жеке кабинетіне өтіңіз.

  2. Сервис данасын жасау қажет жобаны таңдаңыз.

  3. Data Platform → Сервис даналары бөліміне өтіңіз.

  4. Дана жасау батырмасын басыңыз.

  5. Конфигурация қадамында:

    1. Cloud Trino сервис түрін таңдаңыз.

    2. Қажетті сервис нұсқасын таңдаңыз.

    3. Сервис данасының конфигурациясын таңдаңыз:

      • Single: істен шығуға төзімді емес, бір тораптан тұратын конфигурация. Мұндай конфигурациядағы дана әзірлеу және тестілеу міндеттеріне сай келеді.
      • Кластер: бірнеше тораптан тұратын, істен шығуға төзімді конфигурация. Мұндай конфигурациядағы дана production-ортада жұмыс істеуге сай келеді.
    4. Келесі қадам батырмасын басыңыз.

  6. Параметрлер қадамында:

    1. Дана үшін атау мен сипаттаманы орнатыңыз.

    2. Данаға сыртқы желіден қол жеткізу қажет болса, Сыртқы IP тағайындау опциясын қосыңыз.

    3. Kubernetes кластерін таңдаңыз. Осы кластерге Cloud Containers ішінде Cloud Trino данасын орналастыру үшін worker-торап қосылады.

    Егер тізімде қажетті кластер болмаса:

    1. Жаңа кластер жасау тармағын таңдаңыз.

    2. Желі ашылмалы тізімінен кластер үшін желі мен ішкі желіні таңдаңыз.

      Егер тізімде қажетті желі болмаса, Жаңа желі жасау тармағын таңдап, SDN және ішкі желі мекенжайын көрсетіңіз.

    3. қолжетімділік аймағын таңдаңыз, онда Cloud Containers кластерінің торабы орналастырылады.

    4. Сервис данасы жайылатын тораптардың параметрлерін баптаңыз:

      Single конфигурациясында дана бір торапта жайылады.

      Баптау нұсқасын таңдаңыз:

      • Базалық: 4 CPU, 6 RAM бар дайын торап үлгісі пайдаланылады.
      • Кеңейтілген: торап параметрлерін өзіңіз баптаңыз — Сoordinator блогында CPU және RAM санын орнатыңыз.
    5. Келесі қадам батырмасын басыңыз.

  7. Қызмет көрсету қадамында:

    1. Апта күндерін және техникалық жұмыстардың басталу уақытын таңдаңыз. Осы уақытта серверде техникалық жұмыстар, соның ішінде резервтік көшірмелерді жасау орындалуы мүмкін — сервис қолжетімсіз болады.

    2. Егер данаға қызмет көрсету кезінде орындалатын тапсырмаларды өзгерткіңіз келсе, Жоспар бойынша тапсырмалар блогында Iceberg қосылымдарына қызмет көрсету түймесін басып, параметрлерді баптаңыз:

      • Іске қосу жиілігі — Iceberg-ке қосылымдарға қызмет көрсетудің басталу уақыты мен мерзімділігі. Параметр мәнін өзгерту үшін:

        1. Тізімнен Жеке кесте жасау тармағын таңдаңыз.
        2. Cron-өрнек форматында іске қосу уақыты мен жиілігін орнатыңыз.
      • (Міндетті емес) Қосымша параметрлерді орнатыңыз:

        • Ұзақтығы — секундпен көрсетілетін орындалудың ең ұзақ уақыты. Әдепкі мәні — 3600.
        • Снимоктар жасы — метадеректер мен деректер файлдарының снимоктарының ең үлкен жасы. Көрсетілген мәннен ескі снимоктар жойылады. Әдепкі мәні — 7d.
        • Orphan файлдарының жасы — orphan-деректер файлдарының ең үлкен жасы. Көрсетілген мәннен ескі файлдар жойылады. Әдепкі мәні — 7d.
        • Манифест файлының ең аз өлшемі — манифест файлының ең аз өлшемі. Өлшемі көрсетілген мәннен төмен манифест файлдары оңтайландырылады. Әдепкі мәні — 128MB.
        • Метадеректер файлдарын жою — commit орындалғаннан кейін ескірген метадеректер файлдарын жою опциясы. Әдепкі бойынша қосулы.
        • Метадеректер файлдары нұсқаларының саны — метадеректер файлдары нұсқаларының ең көп саны. Егер Метадеректер файлдарын жою опциясы қосулы болса, ескірген нұсқалар жойылады. Әдепкі мәні — 10.
    3. Келесі қадам батырмасын басыңыз.

  8. Қосылымдар қадамында сервис данасына Trino деректер көздерін қосыңыз:

    1. Қосылым қосу батырмасын басыңыз.

    2. Дереккөзді таңдаңыз:

      • PostgreSQL — PostgreSQL дерекқорына қосылу.
      • Greenplum — Greenplum дерекқорына қосылу.
      • Clickhouse — ClickHouse дерекқорына қосылу.
      • MySQL — MySQL дерекқорына қосылу.
      • MariaDB — MariaDB дерекқорына қосылу.
      • Redis — Redis дерекқорына қосылу.
      • Деректерді S3 VK Cloud-та сақтау арқылы Iceberg — сол жобадағы VK Object Storage қызметіне қосылу.
      • Деректерді сыртқы S3-те сақтау арқылы Iceberg — сыртқы S3 объектілік қоймасына қосылу.
      • Деректерді HDFS-та сақтау арқылы Hive Metastore — HDFS қоймасы бар Hive Metastore серверіне қосылу.
      • Деректерді сыртқы S3-те сақтау арқылы Hive Metastore — S3 қоймасы бар Hive Metastore серверіне қосылу.
      • Деректерді VK Cloud S3-те сақтау арқылы Hive Metastore — қоймасы VK Object Storage болып табылатын Hive Metastore серверіне қосылу.
    3. Дереккөзге қосылу параметрлерін баптаңыз:

      • Атауы: қосылым атауы.
      • hostname:port: қосылуға арналған сервер мекенжайы.
      • Логин: Cloud Trino дереккөзге қосылатын дерекқор пайдаланушысының есептік жазбасының логині.
      • Дерекқор атауы: Trino қосылатын дерекқордың атауы.
      • Құпиясөз: дерекқор пайдаланушысының тіркелгі құпиясөзі.
      • Сертификат TLS: TLS-шифрлау қолданылғанда дерекқормен қауіпсіз қосылу үшін сертификат. Сертификаты бар файлды тіркеңіз немесе мәтіндік өрісте оның мазмұнын PEM форматында көрсетіңіз.
      • Каталог атауы: метадеректерге қол жеткізу және оларды басқару, кестелер мен схемалармен жұмыс істеуге арналған логикалық құрылымның атауы. Егер дерекқорда каталог болмаса, ол автоматты түрде жасалады.
      • Сақтау жазбасын қосылымдар каталогында сақтау: қосылу деректерін сақтау үшін опцияны қосыңыз. Бұл Cloud Trino сервисінің басқа даналарына қосылымдарды деректерді қайта енгізбей қосуға мүмкіндік береді.
    4. (Міндетті емес) Тағы бір қосылым қосу үшін Қосылым қосу батырмасын басып, оның параметрлерін көрсетіңіз.

    5. Келесі қадам батырмасын басыңыз.

  9. Тіркелгі деректері қадамында:

    1. Trino-ға қол жеткізу үшін әкімші логинін орнатыңыз.

    2. Әкімші құпиясөзін ойлап табыңыз немесе жасаңыз.

      Құпиясөзге қойылатын талаптар:

      • тек бас және кіші латын әріптерін, цифрларды және !, ", #, $, %, &, ', (, ), *, +, ,, -, ., /, :, ;, <, =, >, ?, @, [, \, ], ^, _, `, {, |, }, ~ таңбаларын ғана қамтуы мүмкін;
      • кемінде 16 таңбадан тұруы керек;
      • кемінде бір бас және бір кіші латын әрпін, кемінде бір цифрды және бір таңбаны қамтуы керек.
    3. (Міндетті емес) Тағы бір әкімші тіркелгісін қосу үшін Тіркелгі қосу батырмасын басып, логин мен құпиясөзді көрсетіңіз.

    4. Жасау батырмасын басыңыз.

      Операцияның аяқталуын күтіңіз. Cloud Trino данасын жасау ұзақ уақыт алуы мүмкін.