Spark тапсырмаларымен жұмыс істеу
Бұл әдістер Cloud Spark кластерінде тапсырмалардың орындалуын басқаруға мүмкіндік береді:
- тапсырмаларды жасауға, іске қосуға және жоюға;
- кластердің ағымдағы тапсырмаларының тізімін, тапсырма логтарын және тапсырмалар туралы толық ақпаратты алуға;
- кластер оқиғалары, соның ішінде тапсырмалардың орындалуына қатысты оқиғалар туралы ақпаратты алуға.
Cloud Spark кластеріне арналған тапсырма сипаттамасы бар SparkApplication түрінің стандартты манифесінің мысалын алу және қажет болған жағдайда осы тапсырмаға атау беру.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті емес) |
| Cloud Spark кластеріне арналған бірегей тапсырма атауы. Аргумент болмаған жағдайда әдепкі мән пайдаланылады: |
SparkApplication түрінің стандартты манифесінің мысалын қамтитын Manifest класының нысаны. Әдісті шақыру кезінде берілген job_name аргументінің мәні манифестің metadata.name өрісінде болады.
Spark баптау параметрлері туралы көбірек ақпарат ресми құжаттамада берілген.
YAML форматындағы файлдан Cloud Spark кластеріне арналған тапсырма сипаттамасы бар SparkApplication түріндегі манифесті алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| YAML-файлға жол |
Manifest класының нысаны.
Манифесті YAML-файлға сақтау.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Файлға жол |
Қайтарылатын мән жоқ.
Cloud Spark кластеріне тапсырма жіберу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті) |
| Тапсырма сипаттамасы бар SparkApplication түріндегі манифесті қамтитын Нысанды get_default_manifest немесе get_manifest_from_yaml_file әдісі арқылы алуға болады. |
(міндетті емес) |
| Орындау үшін Cloud Spark кластеріне берілетін Python коды бар файлға жергілікті жол. Аргумент болмаған жағдайда әдепкі мән пайдаланылады: |
Spark тапсырмасы туралы ақпараты бар K8sSparkJobInfo класының нысаны.
Өріс | Түрі | Сипаттамасы |
|---|---|---|
|
| Тапсырма атауы |
|
| Тапсырма күйі. Сәтті аяқталған жағдайда — |
| RFC3339 форматындағы күн мен уақыт | Тапсырманың жасалу уақыты |
|
| Тапсырманың орындалу барысы көрсетілетін Spark History Server сілтемесі |
Cloud Spark кластерінің барлық тапсырмаларының тізімін алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
Cloud Spark кластері тапсырмалары туралы ақпараты бар K8sSparkJobInfo класы нысандарының тізімі.
Өріс | Түрі | Сипаттамасы |
|---|---|---|
|
| Тапсырма атауы |
|
| Тапсырма күйі. Сәтті аяқталған жағдайда — |
| RFC3339 форматындағы күн мен уақыт | Тапсырманың жасалу уақыты |
|
| Тапсырманың орындалу барысы көрсетілетін Spark History Server сілтемесі |
Көрсетілген атауы бар Spark тапсырмасы туралы толық ақпарат алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті) |
| Spark тапсырмасының атауы. Spark тапсырмаларының атауларын spark_jobs_list әдісі арқылы алуға болады. |
Spark тапсырмасы туралы толық ақпараты бар K8sSparkJobInfoDetail класының нысаны.
Көрсетілген атауы бар Spark тапсырмасының логтарын алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті) |
| Spark тапсырмасының атауы. Spark тапсырмаларының атауларын spark_jobs_list әдісі арқылы алуға болады. |
Spark тапсырмасының логтары бар K8sSparkJobLogs класының нысаны.
Көрсетілген атауы бар тапсырманы орындау үшін Cloud Spark кластерінде іске қосылған SparkApplication түріндегі қолданба туралы ақпарат алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті) |
| Spark тапсырмасының атауы. Spark тапсырмаларының атауларын spark_jobs_list әдісі арқылы алуға болады. |
Тапсырманы орындау үшін Cloud Spark кластерінде іске қосылған SparkApplication түріндегі қолданба туралы толық ақпараты бар K8sSparkApplication класының нысаны.
Көрсетілген атауы бар Spark тапсырмасын жою.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
(міндетті) |
| Spark тапсырмасының атауы. Spark тапсырмаларының атауларын spark_jobs_list әдісі арқылы алуға болады. |
Қайтарылатын мән жоқ.
Cloud Spark кластері оқиғаларының тізімін алу.
Токеннің қажетті рөлі: Администратор немесе Пользователь. Токен рөлдері туралы толығырақ.
Аргумент | Түрі | Сипаттамасы |
|---|---|---|
(міндетті) |
| Cloud Spark кластерінің идентификаторы. Cloud Spark кластерлерінің тізімін және олардың идентификаторларын get_clusters әдісі арқылы алуға болады. |
Cloud Spark кластері оқиғаларының тізімі бар K8sSparkEventsList класының нысаны.