Spark кластерінде тапсырмаларды іске қосу

Құрылған Cloud Spark кластерінде тапсырманы іске қосу үшін:

1. Cloud ML Platform кітапханасында авторизациядан өтіңіз.

   Python скриптінің мысалы

2. job_manifest манифестін келесі тәсілдердің бірімен жасаңыз:

   • get_default_manifest әдісі арқылы стандартты манифест алыңыз.
   • YAML-файлдан манифесті get_manifest_from_yaml_file әдісі арқылы жүктеңіз.

3. (Опционалды) Файлдарды немесе тәуелділіктерді сақтау үшін қосымша бакеттер жасаңыз.

4. (Опционалды) Қосымша жасалған бакеттерге Cloud Spark кластеріне қолжетімділік беріңіз.

5. (Опционалды) Spark тапсырмасын орындау үшін қажет файлдар мен тәуелділіктерді бакеттерге жүктеңіз.

   Python скриптінің мысалы

6. (Опционалды) job_manifest манифестін тапсырма талаптарына сәйкес баптаңыз:

   • Айнымалыларды жасаңыз.

     Python скриптінің мысалы

   • Spark орындаушысының баптауларын өзгертіңіз.

     Python скриптінің мысалы

   • Spark драйверінің баптауларын өзгертіңіз.

     Python скриптінің мысалы

   Манифесті баптаудың көбірек мысалдары get_default_manifest-signature әдісінің сипаттамасында келтірілген.

7. Spark тапсырмасын кластерге spark_submit_job әдісі арқылы жіберіңіз. Қолданба коды бар файлға жолды көрсету үшін тәсілдердің бірін пайдаланыңыз:

   Локальный файл

   Файл в Docker-образе

   Файл в бакете

   spark_submit_job әдісінің pycode_file_path аргументінде Python қолданбасы файлына жергілікті жолды көрсетіңіз.

   Python скриптінің мысалы:

    
   mlp.spark_submit_job(cluster_id=CLUSTER_ID, manifest=job_manifest, pycode_file_path="<ИМЯ_ПРИЛОЖЕНИЯ>.py")

   Қолданба манифестінің main_app_file өрісінде Cloud Spark кластерінің Docker-образына кірістірілген қолданба файлына жолды көрсетіңіз.

   Python скриптінің мысалы:

    
   job_manifest.main_app_file="local:///opt/spark/examples/src/main/python/<ИМЯ_ПРИЛОЖЕНИЯ>.py"mlp.spark_submit_job(cluster_id=CLUSTER_ID, manifest=job_manifest)

   Қолданба манифестінің main_app_file өрісінде бакетке жүктелген қолданба файлына жолды көрсетіңіз.

   Әртүрлі тілдерге арналған скрипт мысалы:

   Scala

   Java

   Python

    
   job_manifest.spec_type = "Scala"job_manifest.main_class = "org.apache.spark.examples.<имя главного класса>"job_manifest.main_app_file = f"s3a://{BUCKET_NAME}/spark-files/<ИМЯ_ПРИЛОЖЕНИЯ>.jar"mlp.spark_submit_job(cluster_id=CLUSTER_ID, manifest=job_manifest)

    
   job_manifest.spec_type = "Java"job_manifest.main_class = "org.apache.spark.examples.<имя главного класса>"job_manifest.main_app_file = f"s3a://{BUCKET_NAME}/spark-files/<ИМЯ_ПРИЛОЖЕНИЯ>.java"mlp.spark_submit_job(cluster_id=CLUSTER_ID, manifest=job_manifest)

    
   job_manifest.main_app_file = f"s3a://{BUCKET_NAME}/spark-files/<ИМЯ_ПРИЛОЖЕНИЯ>.py"mlp.spark_submit_job(cluster_id=CLUSTER_ID, manifest=job_manifest)

   Мұнда spark-files — қолданба коды бар файлдар бұрын жүктелген бакет директориясы.