Жылдам бастау

Жылдам бастау үш компонент негізіндегі Data Lakehouse (DLH) сервисін өрістетудің базалық сценарийін қамтиды:

• VK Object Storage — PostgreSQL сияқты түрлі ДҚ-лардан алынатын құрылымдалмаған деректер үшін қымбат емес, шексіз кеңейтілетін қойма ретінде пайдаланылатын S3-қойма.

• Cloud Iceberg Metastore — Apache Iceberg негізінде метадеректер каталогын ұйымдастыру үшін пайдаланылады. DLH сервисінің түрлі компоненттері арасындағы операциялардың келісімділігін қамтамасыз етеді.

• Cloud Trino— Cloud Iceberg Metastore-пен бірге клиенттерге келесі операцияларды орындау үшін үйреншікті SQL-интерфейсті қамтамасыз етеді:

  • деректерді тасымалдау (ETL);
  • түсірілген деректермен манипуляциялар (ELT);
  • әртүрлі көздерден алынған деректерді біріктіру (Data Mesh);
  • каталогпен және деректермен басқа да операциялар.

Жылдам бастау қадамдарының барлығын орындағаннан кейін сіз:

1. Cloud Iceberg Metastore және Cloud Trino сервисінің даналарын жасайсыз.
2. PostgreSQL ДҚ инстансын жасап, оған Cloud Trino-да қосылымды баптайсыз.

S3-қойма бакеті Cloud Trino сервисі данасы үшін қосылымдарды баптау кезінде автоматты түрде жасалады.

1. Data Platform → Сервис даналары бөліміне өтіңіз.

2. Дана жасау түймесін басыңыз.

3. Конфигурация қадамында:

   1. Cloud Iceberg Metastore сервис түрін таңдаңыз.
   2. Нұсқа өрісінде әдепкі мәнді қалдырыңыз.
   3. Кластер конфигурациясын таңдаңыз.

4. Келесі қадам түймесін басыңыз.

5. Параметрлер қадамында:

   1. Автоматты түрде жасалған деректер қорының атауын жазып алыңыз. Ол Cloud Trino-ға қосылу үшін қажет болады.
   2. Сыртқы IP тағайындау опциясын қосыңыз.
   3. Жаңа кластер жасау тармағын таңдаңыз.
   4. Тізімнен қолжетімді желілердің бірін таңдаңыз немесе Жаңа желі жасау түймесін басып, жаңасын жасаңыз. Жаңа ішкі желіні жасау кезінде SDN және ішкі желі мекенжайын көрсетіңіз.
   5. Қолжетімділік аймағын таңдаңыз, мысалы: Москва (ME1).
   6. Базалық баптау нұсқасын, Кіші кластер үлгісін таңдаңыз.

6. Келесі қадам түймесін басыңыз.

7. Қызмет көрсету қадамында:

   1. Аптаның күндерін және техникалық жұмыстарды бастау уақытын таңдаңыз. Осы уақытта серверде техникалық жұмыстар, соның ішінде резервтік көшірмелерді жасау орындалуы мүмкін — сервис уақытша қолжетімсіз болуы мүмкін.

   2. Қалған өрістер үшін әдепкі мәндерді қалдырыңыз.

8. Келесі қадам түймесін басыңыз.

9. Тіркелгі деректері қадамында:

   1. Логин өрісінде әдепкі мәнді қалдырыңыз. Cloud Iceberg Metastore-қа қол жеткізу үшін әкімші логинін жазып алыңыз, ол сізге кейін қажет болады.

   2. Құпиясөз өрісінде әкімші құпиясөзін жасау үшін Генерациялау түймесін басыңыз. Құпиясөзді сақтап қойыңыз, ол сізге кейін қажет болады.

10. Жасау түймесін басыңыз.

Cloud Iceberg Metastore сервисі данасын жасау процесінің аяқталуын күтіңіз.

DLH сервисінің базалық конфигурациясында PostgreSQL ДҚ сыртқы деректер көзі ретінде әрекет етеді. PostgreSQL инстансын өрістету үшін:

1. Деректер қорлары → Деректер қоры инстанстары бөліміне өтіңіз.

2. Егер таңдалған жобада бірде-бір ДҚ инстансы болмаса, Деректер қорын жасау түймесін басыңыз.

   Әйтпесе Қосу түймесін басыңыз.

3. Конфигурация қадамында:

   1. PostgreSQL деректер қоры түрін таңдаңыз.
   2. Нұсқа өрісінде әдепкі мәнді қалдырыңыз.
   3. Single конфигурациясын таңдаңыз.

4. Келесі қадам түймесін басыңыз.

5. Инстанс жасау қадамында мыналарды орнатыңыз:

   • Виртуалды машинаның түрі: STD3-2-8.

   • Қолжетімділік аймағы: Москва (ME1).

   • Диск түрі: SSD.

   • Диск өлшемі, GB: 10.

   • Дискіні автомасштабтауды қосу: бұл опцияның таңдалмағанына көз жеткізіңіз.

   • Желі: базалық конфигурацияны өрістету кезеңінде Cloud Iceberg Metastore сервисі данасын жасау кезінде көрсеткен желіні таңдаңыз.

   • Сыртқы IP тағайындау: бұл опцияның қосулы екеніне көз жеткізіңіз.

   • Firewall баптаулары: ашылмалы тізімнен ssh таңдаңыз.

     Қауіпсіздік топтарының қорытынды тізімі мынадай болуы керек: default, ssh.

   • Реплика жасау: бұл опцияның таңдалмағанына көз жеткізіңіз.

   • SSH арқылы қол жеткізуге арналған кілт: Жаңа кілт жасау.

   • Резервтік көшіру: Өшірілген.

6. Келесі қадам түймесін басыңыз.

7. Инициализация қадамында мыналарды орнатыңыз:

   • Жасау түрі: Жаңа деректер қоры.
   • Пайдаланушы аты: әдепкі мәнді қалдырыңыз немесе өз нұсқаңызды ойлап табыңыз, мысалы: tsuser1.
   • Пайдаланушы құпиясөзі: құпиясөзді генерациялаңыз.

   Алынған логин мен құпиясөз мәндерін сақтап қойыңыз. Олар сізге кейін қажет болады.

   Жасалатын деректер қорының атауы автоматты түрде генерацияланады.

8. Деректер қорын жасау түймесін басыңыз.

   ДҚ инстансын жасау аяқталғанша күтіңіз.

Cloud Trino сыртқы көзге (PostgreSQL) SQL-сұрауларды орындайтын көлденеңінен масштабталатын қозғалтқыш ретінде пайдаланылады.

Cloud Trino сервисі данасын өрістетіп, оған PostgreSQL-ге қосылымдарды баптау үшін:

1. Data Platform → Сервис даналары бөліміне өтіңіз.

2. Дана жасау түймесін басыңыз.

3. Конфигурация қадамында:

   1. Cloud Trino сервис түрін таңдаңыз.
   2. Нұсқа өрісінде әдепкі мәнді қалдырыңыз.
   3. Single конфигурациясын таңдаңыз.

4. Келесі қадам түймесін басыңыз.

5. Параметрлер қадамында:

   1. Дана атауы өрісінде дана атауын беріңіз немесе әдепкі мәнді пайдаланыңыз.
   2. Сыртқы IP тағайындау опциясын қосыңыз.
   3. Базалық конфигурацияны өрістету кезеңінде Cloud Iceberg Metastore сервисі данасын жасау кезінде көрсеткен кластерді таңдаңыз.
   4. Базалық баптау нұсқасын, Кіші кластер үлгісін таңдаңыз.
   5. Келесі қадам түймесін басыңыз.

6. Қызмет көрсету қадамында:

   1. Техникалық терезе: әдепкі мәнді қалдырыңыз. Осы уақытта серверде техникалық жұмыстар, соның ішінде резервтік көшірмелерді жасау орындалуы мүмкін — сервис уақытша қолжетімсіз болуы мүмкін.

   2. Қалған өрістер үшін әдепкі мәндерді қалдырыңыз.

7. Келесі қадам түймесін басыңыз.

8. Қосылымдар қадамында:

   1. Cloud Trino сервисі данасына PostgreSQL деректер көзін қосыңыз:

      1. Қосылым қосу түймесін басыңыз.

      2. PostgreSQL қосылым түрін таңдап, мыналарды көрсетіңіз:

         • Атауы: қосылым атауын ойлап табыңыз, мысалы: postgres_trino.
         • Деректер қорының атауы: инстанс ішіндегі деректер қорының атауы, мысалы: ad_db. PostgreSQL инстансы жасалғаннан кейін Деректер қорларының тізімі қойындысында қолжетімді.
         • hostname:port: жасалған PostgreSQL инстансына <IP-АДРЕС>:<ПОРТ> форматындағы қосылу мекенжайы. Мысалы 10.0.1.2:5432. ДҚ-ға қосылу мекенжайын инстанс карточкасынан көруге болады.

      3. Логин: PostgreSQL ДҚ инстансын жасау кезінде көрсетілген мән. Бұл мысалда: tsuser1.

      4. Құпиясөз: PostgreSQL ДҚ инстансын жасау кезінде көрсетілген деректер қоры пайдаланушысының тіркелгі жазбасының құпиясөзі.

   2. VK Object Storage бар Apache Iceberg деректер көзін Cloud Trino сервисі данасына қосыңыз:

      1. Қосылым қосу түймесін басыңыз.

      2. Apache Iceberg с S3 VK Cloud қосылымын таңдаңыз.

      3. Қосылым параметрлерін көрсетіңіз:

         • Атауы: қосылым атауын ойлап табыңыз, мысалы: iceberg_s3.
         • Iceberg Metastore сервисінің hostname:port: жасалған Iceberg Metastore инстансына <IP-АДРЕС>:<ПОРТ> форматындағы қосылу мекенжайы. Iceberg Metastore сервисінің мекенжайын инстанс карточкасының Жалпы ақпарат қойындысындағы Postgres primary connection string өрісінен көруге болады.
         • Iceberg Metastore сервисінің логині: базалық конфигурацияны өрістету кезеңінде Iceberg Metastore сервисі данасын жасау кезінде көрсетілген әкімші логині. Бұл мысалда: vkdata.
         • Iceberg Metastore сервисінің құпиясөзі: Iceberg Metastore инстансын жасау кезінде көрсетілген деректер қоры пайдаланушысының тіркелгі жазбасының құпиясөзі.
         • Bucket: бакеттерді атау ережелерін сақтай отырып, S3 объектілік қоймасын жасауға арналған бакет атауын көрсетіңіз.

9. Келесі қадам түймесін басыңыз.

10. Тіркелгі деректері қадамында:

    1. Логин өрісінде әдепкі мәнді қалдырыңыз. Cloud Trino-ға қол жеткізу үшін әкімші логинін жазып алыңыз, ол сізге кейін қажет болады.

    2. Құпиясөз өрісінде әкімші құпиясөзін генерациялау үшін Генерациялау түймесін басыңыз. Құпиясөзді сақтап қойыңыз, ол сізге кейін қажет болады.

11. Жасау түймесін басыңыз.

Cloud Trino сервисі данасын жасау процесінің аяқталуын күтіңіз.

Trino сервисі өрістетілгеннен кейін конфигурацияға үлкен көлемдегі синтетикалық деректер жиынтықтарын генерациялау және тестілеу үшін виртуалды ДҚ-ларға екі қосылым автоматты түрде қосылады: otpcds және otpch.

1. Деректердің бір бөлігін S3-қоймаға түспей тұрып жылдам өңдеу үшін Cloud ClickHouse негізіндегі аналитикалық ДҚ-ны қосыңыз.
2. Күрделі ETL және ELT тапсырмаларымен жұмыс істеу үшін Spark сервисін қосыңыз.
3. Сервиске деректерді жүктеу және оларды аналитикалық өңдеу процесін зерттеңіз.