Қызмет данасын жасау

VK Cloud жеке кабинетіне өтіңіз.

Қызмет данасын жасау қажет жобаны таңдаңыз.

Data Platform → Қызмет даналары бөліміне өтіңіз.

Дана жасау түймесін басыңыз.

Конфигурация қадамында:

1. Қызмет түрін таңдаңыз: Spark.
2. Қызметтің қажетті нұсқасын таңдаңыз.
3. Келесі қадам түймесін басыңыз.

Параметрлер қадамында:

1. Дана параметрлерін орнатыңыз:

   • Атауы: сервис данасына атау көрсетіңіз.

   • Сипаттама: қажет болса, сипаттама қосыңыз.

   • Сыртқы IP тағайындау: Spark данасы интернет арқылы қолжетімді болуы үшін опцияны қосыңыз.

   • Kubernetes кластері: ашылмалы тізімнен қажетті кластерді таңдаңыз немесе тізімнен Жаңа кластер жасау тармағын таңдап, жаңасын жасаңыз. Жаңа кластерді жасау кезінде параметрлерді орнатыңыз:

     • Желі: кластер қолжетімді болатын ішкіжеліні тізімнен таңдаңыз немесе тізімнен Жаңа желі жасау тармағын таңдап, жаңасын жасаңыз. Жаңа ішкіжелі жасаған кезде SDN және ішкіжелі мекенжайын көрсетіңіз.
     • Қолжетімділік аймағы: тізімнен кластердің қолжетімділік аймағын таңдаңыз.

2. Spark Connect сервисінің баптауларын көрсетіңіз: CPU саны және RAM көлемі.

   Бұл сервис Spark кластеріне қашықтан қосылуға және Spark тапсырмаларымен интерактивті жұмыс істеуге мүмкіндік береді.

3. Spark History Server серверінің параметрлерін көрсетіңіз: CPU саны, RAM көлемі, диск түрі мен өлшемі.

   Бұл сервер Spark тапсырмаларының орындалу логтарын сақтайды.

4. Sparkjobs контейнерлерінің параметрлерін көрсетіңіз: CPU саны, RAM көлемі және Sparkjobs контейнерлерінің саны.

   Бұл контейнерлер Spark тапсырмаларын орындайды.

5. Келесі қадам түймесін басыңыз.

Қызмет көрсету қадамында:

1. Блокта көрсетілген уақыт белдеуін ескере отырып, аптаның күндері мен техникалық жұмыстардың басталу уақытын таңдаңыз.

   Техникалық жұмыстарды, соның ішінде резервтік көшіруді жүргізу ұзақтығы — 4 сағат. Осы уақытта сервис қолжетімсіз болуы мүмкін.

2. Келесі қадам түймесін басыңыз.

Баптаулар қадамында:

1. Қажет болса, тапсырмаларды іске қосу кезінде қолданылатын Spark нұсқасын өзгертіңіз:

   1. Өңдеу түймесін басыңыз.
   2. Мәні бағанында тізімнен қажетті нұсқаны таңдаңыз.

2. Келесі қадам түймесін басыңыз.

Қосылымдар қадамында PostgreSQL қосылымын және мына қосылымдардың бірін қосыңыз: S3 VK Cloud немесе S3 external. деректер көзіне қосылым қосу үшін:

1. Подключение қосу түймесін басыңыз.

2. Деректер көзін таңдаңыз:

   • S3 внешний — сыртқы S3 объектілік сақтау орнына қосылу.
   • S3 VK Cloud — сол жобадағы VK Object Storage сақтау орнына қосылу.
   • PostgreSQL — PostgreSQL дерекқорына қосылу.
   • Iceberg Metastore VK Cloud S3-пен — сол VK Cloud жобасындағы Cloud Iceberg Metastore данасына қосылу.
   • Iceberg Metastore сыртқы S3-пен — сыртқы Cloud Iceberg Metastore каталогына қосылу.

3. Көзге қосылу параметрлерін баптаңыз:

   S3 внешний

   S3 VK Cloud

   PostgreSQL

   Iceberg Metastore VK Cloud S3-пен

   Iceberg Metastore сыртқы S3-пен

   • S3 сыртқы қосылымының атауы: қосылым атауын орнатыңыз. Атау тек бас және кіші латын әріптерінен, сандардан және _ белгілерінен тұра алады.
   • Access Key: сақтау орнына қол жеткізу кілтінің бірегей идентификаторы.
   • Secret Key: сақтау орнына қол жеткізудің құпия кілті.
   • S3 URL: S3 сақтау орныңыздың URL-мекенжайы.
   • S3 бакетіндегі жол: Spark данасына қолжетімді болатын, бакетте алдын ала жасалған бумаға дейінгі жол.
   • Бакет: Spark данасы қосылатын S3 сақтау орнындағы бакет атауы.
   • Аймақ: S3 сақтау орныңыз орналасқан аймақ.

   • S3 ішкі қосылымының атауы: қосылым атауын орнатыңыз. Атау тек бас және кіші латын әріптерінен, сандардан және _ белгілерінен тұра алады.
   • S3 бакетіндегі жол: Spark данасына қолжетімді болатын, бакетте алдын ала жасалған бумаға дейінгі жол.
   • Бакет: Spark данасы қосылатын VK Object Storage бакетінің атауы.

   • PostgreSQL: қосылым атауын орнатыңыз. Атау тек бас және кіші латын әріптерінен, сандардан және _ белгілерінен тұра алады.
   • Пайдаланушы аты: дерекқор пайдаланушысының тіркелгі атауы.
   • БД хостының атауы: қосылу үшін сервер мекенжайы.
   • Дерекқор атауы: Spark данасы қосылатын дерекқор атауы.
   • Пайдаланушы құпиясөзі: дерекқор пайдаланушысының тіркелгі құпиясөзі.

   • Iceberg Metastore ішкі қосылымының атауы: қосылым атауын орнатыңыз. Атау тек бас және кіші латын әріптерінен, сандардан және _ белгілерінен тұра алады.
   • Iceberg БД хостының атауы: қосылу үшін сервер мекенжайы.
   • Iceberg пайдаланушысының аты: дерекқор пайдаланушысының тіркелгі атауы.
   • Пайдаланушы құпиясөзі: дерекқор пайдаланушысының тіркелгі құпиясөзі.
   • S3 VK Cloud ішіндегі бакет атауы: Spark данасы қосылатын VK Object Storage бакетінің атауы.
   • Spark қосылатын каталог атауы: әдепкі бойынша Spark қосылатын каталогтың атауы.
   • Iceberg Metastore S3 бакетіндегі жол: Spark данасына қолжетімді болатын, бакетте алдын ала жасалған бумаға дейінгі жол.

   • Iceberg Metastore сыртқы қосылымының атауы: қосылым атауын орнатыңыз. Атау тек бас және кіші латын әріптерінен, сандардан және _ белгілерінен тұра алады.
   • Iceberg БД хостының атауы: қосылу үшін сервер мекенжайы.
   • Iceberg пайдаланушысының аты: дерекқор пайдаланушысының тіркелгі атауы.
   • S3 аймағы: S3 сақтау орныңыз орналасқан аймақ.
   • Access Key: сақтау орнына қол жеткізу кілтінің бірегей идентификаторы.
   • Secret Key: сақтау орнына қол жеткізудің құпия кілті.
   • S3 URL: S3 сақтау орныңыздың URL-мекенжайы.
   • S3 сервисіңіздегі бакет атауы: Spark данасы қосылатын S3 сақтау орнындағы бакет атауы.
   • Пайдаланушы құпиясөзі: дерекқор пайдаланушысының тіркелгі құпиясөзі.
   • S3 бакетіндегі жол: Spark данасына қолжетімді болатын, бакетте алдын ала жасалған бумаға дейінгі жол.
   • Spark қосылатын каталог атауы: әдепкі бойынша Spark қосылатын каталогтың атауы.

4. Өзгерістерді сақтау түймесін басыңыз.

Жасау түймесін басыңыз.