Spark данасының параметрлері

Cloud Spark сервисінің данасын жасау немесе өңдеу кезінде оның параметрлерін баптай аласыз. Олар Cloud Spark данасының тапсырмаларды қалай орындайтынын және басқа сервистермен қалай өзара әрекеттесетінін анықтайды. Оларға мыналар жатады:

Apache Spark нұсқасы: Spark тапсырмаларын орындау кезінде функционалдылыққа, өнімділікке және тұрақтылыққа әсер етеді.
Қосылым параметрлері: Cloud Spark данасы ақпаратты оқу және жазу үшін қосылатын сервистерді анықтайды.

Бұл параметрлерді VK Cloud жеке кабинеті арқылы немесе Terraform арқылы орнатуға болады.

Spark баптаулары

Spark данасын баптауға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
Spark нұсқасы	`sparkproxy_spark_version`	Тапсырмаларды іске қосу кезінде пайдаланылатын Spark нұсқасы

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

Spark нұсқасы

sparkproxy_spark_version

Тапсырмаларды іске қосу кезінде пайдаланылатын Spark нұсқасы

Дереккөздер

Spark данасына дереккөздерді қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
`S3 VK Cloud`	`s3_int`	Қосылым сол жобадағы VK Object Storage бұлттық қоймасына
`Iceberg Metastore VK Cloud`	`iceberg_int`	Қосылым Cloud Iceberg Metastore бұлттық қоймасына
`S3 внешний`	`s3_ext`	Қосылым сыртқы бұлттық S3 қоймасына
`Iceberg Metastore внешний`	`iceberg_ext`	Қосылым сыртқы бұлттық Iceberg Metastore қоймасына
`PostgreSQL`	`postgresql`	Қосылым PostgreSQL дерекқорына

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

S3 VK Cloud

s3_int

Қосылым сол жобадағы VK Object Storage бұлттық қоймасына

Iceberg Metastore VK Cloud

iceberg_int

Қосылым Cloud Iceberg Metastore бұлттық қоймасына

S3 внешний

s3_ext

Қосылым сыртқы бұлттық S3 қоймасына

Iceberg Metastore внешний

iceberg_ext

Қосылым сыртқы бұлттық Iceberg Metastore қоймасына

PostgreSQL

postgresql

Қосылым PostgreSQL дерекқорына

VK Object Storage-ке қосылу

S3 VK Cloud дереккөзін Spark данасына қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
Ішкі S3 қосылымының атауы	`name`	Жеке кабинетте көрсетілетін VK Object Storage жүйесіне қосылым атауы
S3 URL	`s3_endpoint`	S3 қоймасының домені. Мысал: `https://hb.ru-msk.vkcloud-storage.ru`
Аймақ	`s3_region`	S3 қоймасы орналасқан аймақ
Бакет	`s3_bucket`	VK Object Storage бакетінің бірегей атауы
S3 бакетіндегі жол	`s3_folder`	Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: `logs`, `logsfolder`
Access Key	`s3_access_key`	S3 қоймасына қол жеткізу кілтінің идентификаторы
Secret Key	`s3_secret_key`	S3 қоймасына қол жеткізуге арналған құпия кілт

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

Ішкі S3 қосылымының атауы

name

Жеке кабинетте көрсетілетін VK Object Storage жүйесіне қосылым атауы

S3 URL

s3_endpoint

S3 қоймасының домені. Мысал: https://hb.ru-msk.vkcloud-storage.ru

Аймақ

s3_region

S3 қоймасы орналасқан аймақ

Бакет

s3_bucket

VK Object Storage бакетінің бірегей атауы

S3 бакетіндегі жол

s3_folder

Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: logs, logsfolder

Access Key

s3_access_key

S3 қоймасына қол жеткізу кілтінің идентификаторы

Secret Key

s3_secret_key

S3 қоймасына қол жеткізуге арналған құпия кілт

Cloud Iceberg Metastore-ге қосылу

Iceberg Metastore VK Cloud дереккөзін Spark данасына қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
Ішкі Iceberg Metastore қосылымының атауы	`name`	Жеке кабинетте көрсетілетін Cloud Iceberg Metastore-ге қосылым атауы
S3 VK Cloud ішіндегі бакет атауы	`s3_bucket`	VK Object Storage бакетінің бірегей атауы. Бұл бакет тек қолданбалардың ішкі деректерін сақтау үшін пайдаланылады
Iceberg Metastore S3 бакетіндегі жол	`s3_folder`	Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: `logs`, `logsfolder`
Iceberg дерекқорының атауы	`db_name`	Spark қосылатын Iceberg Metastore дерекқорының атауы
Iceberg ДҚ хостының атауы	`hostname`	`<ХОСТ>:<ПОРТ>` форматындағы Iceberg Metastore дерекқорының хосты мен порты. Мысалдар: `localhost:5432`, `127.0.0.1:5432`
Iceberg пайдаланушысының аты	`username`	Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі логині
Пайдаланушы құпиясөзі	`password`	Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі құпиясөзі
Spark қосылатын каталог атауы	`catalog`	Әдепкі бойынша қосылатын директория. Spark баптауларында `spark.sql.defaultCatalog=<ДИРЕКТОРИЯ>` ретінде пайдаланылады

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

Ішкі Iceberg Metastore қосылымының атауы

name

Жеке кабинетте көрсетілетін Cloud Iceberg Metastore-ге қосылым атауы

S3 VK Cloud ішіндегі бакет атауы

s3_bucket

VK Object Storage бакетінің бірегей атауы. Бұл бакет тек қолданбалардың ішкі деректерін сақтау үшін пайдаланылады

Iceberg Metastore S3 бакетіндегі жол

s3_folder

Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: logs, logsfolder

Iceberg дерекқорының атауы

db_name

Spark қосылатын Iceberg Metastore дерекқорының атауы

Iceberg ДҚ хостының атауы

hostname

<ХОСТ>:<ПОРТ> форматындағы Iceberg Metastore дерекқорының хосты мен порты. Мысалдар: localhost:5432, 127.0.0.1:5432

Iceberg пайдаланушысының аты

username

Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі логині

Пайдаланушы құпиясөзі

password

Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі құпиясөзі

Spark қосылатын каталог атауы

catalog

Әдепкі бойынша қосылатын директория. Spark баптауларында spark.sql.defaultCatalog=<ДИРЕКТОРИЯ> ретінде пайдаланылады

Сыртқы S3 қоймасына қосылу

S3 внешний дереккөзін Spark данасына қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
Сыртқы S3 қосылымының атауы	`name`	Жеке кабинетте көрсетілетін сыртқы S3-ке қосылым атауы
S3 URL	`s3_endpoint`	S3 қоймасының домені
Аймақ	`s3_region`	S3 қоймасы орналасқан аймақ
Бакет	`s3_bucket`	Бакеттің бірегей атауы
S3 бакетіндегі жол	`s3_folder`	Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: `logs`, `logsfolder`
Access Key	`s3_access_key`	S3 қоймасына қол жеткізу кілтінің идентификаторы
Secret Key	`s3_secret_key`	S3 қоймасына қол жеткізуге арналған құпия кілт

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

Сыртқы S3 қосылымының атауы

name

Жеке кабинетте көрсетілетін сыртқы S3-ке қосылым атауы

S3 URL

s3_endpoint

S3 қоймасының домені

Аймақ

s3_region

S3 қоймасы орналасқан аймақ

Бакет

s3_bucket

Бакеттің бірегей атауы

S3 бакетіндегі жол

s3_folder

Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: logs, logsfolder

Access Key

s3_access_key

S3 қоймасына қол жеткізу кілтінің идентификаторы

Secret Key

s3_secret_key

S3 қоймасына қол жеткізуге арналған құпия кілт

Сыртқы Iceberg Metastore-ге қосылу

Iceberg Metastore внешний дереккөзін Spark данасына қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
Сыртқы Iceberg Metastore-ге қосылым атауы	`name`	Жеке кабинетте көрсетілетін сыртқы Iceberg Metastore-ге қосылым атауы
S3 URL	`s3_endpoint`	S3 қоймасының домені
S3 аймағы	`s3_region`	S3 қоймасы орналасқан аймақ
S3 сервисіңіздегі бакет атауы	`s3_bucket`	S3 бакетінің бірегей атауы
S3 бакетіндегі жол	`s3_folder`	Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: `logs`, `logsfolder`
Access Key	`s3_access_key`	S3 қоймасына қол жеткізу кілтінің идентификаторы
Secret Key	`s3_secret_key`	S3 қоймасына қол жеткізуге арналған құпия кілт
Iceberg дерекқорының атауы	`db_name`	Spark қосылатын Iceberg Metastore дерекқорының атауы
Iceberg ДҚ хостының атауы	`hostname`	`<ХОСТ>:<ПОРТ>` форматындағы Iceberg Metastore дерекқорының хосты мен порты. Мысалдар: `localhost:5432`, `127.0.0.1:5432`
Iceberg пайдаланушысының аты	`username`	Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі логині
Пайдаланушы құпиясөзі	`password`	Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі құпиясөзі
Spark қосылатын каталог атауы	`catalog`	Әдепкі бойынша қосылатын директория. Spark баптауларында `spark.sql.defaultCatalog=<ДИРЕКТОРИЯ>` ретінде пайдаланылады

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

Сыртқы Iceberg Metastore-ге қосылым атауы

name

Жеке кабинетте көрсетілетін сыртқы Iceberg Metastore-ге қосылым атауы

S3 URL

s3_endpoint

S3 қоймасының домені

S3 аймағы

s3_region

S3 қоймасы орналасқан аймақ

S3 сервисіңіздегі бакет атауы

s3_bucket

S3 бакетінің бірегей атауы

S3 бакетіндегі жол

s3_folder

Объектілерді ұйымдастыру және топтастыру үшін бакет ішіндегі логикалық құрылым. Мысалдар: logs, logsfolder

Access Key

s3_access_key

S3 қоймасына қол жеткізу кілтінің идентификаторы

Secret Key

s3_secret_key

S3 қоймасына қол жеткізуге арналған құпия кілт

Iceberg дерекқорының атауы

db_name

Spark қосылатын Iceberg Metastore дерекқорының атауы

Iceberg ДҚ хостының атауы

hostname

<ХОСТ>:<ПОРТ> форматындағы Iceberg Metastore дерекқорының хосты мен порты. Мысалдар: localhost:5432, 127.0.0.1:5432

Iceberg пайдаланушысының аты

username

Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі логині

Пайдаланушы құпиясөзі

password

Spark-ті Iceberg Metastore-ге қосуға арналған тіркелгі құпиясөзі

Spark қосылатын каталог атауы

catalog

Әдепкі бойынша қосылатын директория. Spark баптауларында spark.sql.defaultCatalog=<ДИРЕКТОРИЯ> ретінде пайдаланылады

PostgreSQL-ге қосылу

PostgreSQL дереккөзін Spark данасына қосуға арналған параметрлер:

Жеке кабинеттегі параметр	Terraform-тағы параметр	Сипаттамасы
PostgreSQL	`name`	Жеке кабинетте көрсетілетін PostgreSQL-ге қосылым атауы
ДҚ хостының атауы	`hostname`	`<ХОСТ>:<ПОРТ>` форматындағы PostgreSQL дерекқорының хосты мен порты. Мысалдар: `localhost:5432`, `127.0.0.1:5432`
Дерекқор атауы	`db_name`	Spark қосылатын PostgreSQL дерекқорының атауы
Пайдаланушы аты	`username`	Spark-ті PostgreSQL-ге қосуға арналған тіркелгі логині
Пайдаланушы құпиясөзі	`password`	Spark-ті PostgreSQL-ге қосуға арналған тіркелгі құпиясөзі
TLS сертификаты	`tls_crt`	Қауіпсіз қосылуға арналған TLS сертификаты

Жеке кабинеттегі параметр

Terraform-тағы параметр

Сипаттамасы

PostgreSQL

name

Жеке кабинетте көрсетілетін PostgreSQL-ге қосылым атауы

ДҚ хостының атауы

hostname

<ХОСТ>:<ПОРТ> форматындағы PostgreSQL дерекқорының хосты мен порты. Мысалдар: localhost:5432, 127.0.0.1:5432

Дерекқор атауы

db_name

Spark қосылатын PostgreSQL дерекқорының атауы

Пайдаланушы аты

username

Spark-ті PostgreSQL-ге қосуға арналған тіркелгі логині

Пайдаланушы құпиясөзі

password

Spark-ті PostgreSQL-ге қосуға арналған тіркелгі құпиясөзі

TLS сертификаты

tls_crt

Қауіпсіз қосылуға арналған TLS сертификаты

Spark данасының параметрлері

Spark баптаулары

Дереккөздер

VK Object Storage-ке қосылу

Cloud Iceberg Metastore-ге қосылу

Сыртқы S3 қоймасына қосылу

Сыртқы Iceberg Metastore-ге қосылу

PostgreSQL-ге қосылу

Мақала пайдалы болды ма?

Мақала пайдалы болды ма?