Spark кластерін құру

VK Cloud жеке кабинетіне өтіңіз.

Кластер құру қажет жобаны таңдаңыз.

ML Platform → Spark в k8s бөліміне өтіңіз.

Кластеры қойындысына өтіңіз.

Добавить кластер немесе Добавить батырмасын басыңыз.

Создание кластера қадамында:

1. Жалпы баптауларды орнатыңыз:

   • Имя кластера: тек латын әріптерін, сандарды және ., -, _ арнайы таңбаларын қамтуы мүмкін.

   • Зона доступности: кластерге арналған қолжетімділік аймағы.

   • Сеть: кластер түйіндері орналастырылатын желі мен ішкі желі. Егер тізімде қажетті желі мен ішкі желі болмаса, оларды жасаңыз.

2. Настройки worker-нод блогында worker-түйіндерінің баптауларын орнатыңыз:

   • Категория виртуальной машины: ВМ алдын ала орнатылған конфигурацияларының санатын таңдаңыз.

   • Тип виртуальной машины: worker-түйіндеріне арналған конфигурация үлгісін таңдаңыз.

     Жоғары өнімді CPU бар үлгілер қолдау қызметіне сұрау салу арқылы қолжетімді. Осы үлгілерді пайдалану үшін Показывать только высокопроизводительные CPU опциясын таңдаңыз.

   • Включить автомасштабирование: кластер жүктемеге байланысты worker-түйіндерінің санын автоматты түрде масштабтауы үшін осы опцияны таңдаңыз.

     Содан кейін масштабтауға рұқсат етілетін шектердегі түйіндердің ең аз және ең көп санын орнатыңыз. Мәндердің рұқсат етілген диапазоны: 1-ден 100-ге дейін.

     Әдепкі бойынша опция өшірулі. Автомасштабтауы өшірілген кластерде бір worker-түйіні болады.

3. Қосымша баптауларды орнатыңыз:

   • Выбор registry: Spark тапсырмаларын іске қосу кезінде кескіндері пайдаланылатын Docker тізілімі.

     Егер тізімде қажетті тізілім болмаса:

     1. Создать новый registry тармағын таңдаңыз.

        Тізілім кластер құрамына кірмейтін және бөлек тарифтелетін бөлінген виртуалды машинада орналастырылады.

     2. Тізілімге қолжеткізу деректерін көрсетіңіз:

        • Имя пользователя registry: тек латын әріптерін, сандарды және ., -, _ арнайы таңбаларын қамтуы мүмкін.

        • Пароль пользователя registry: құпиясөзді өзіңіз ойлап табуға немесе оны генерациялауға болады.

          Құпиясөзге қойылатын талаптар:

          • тек бас және кіші латын әріптерін, сандарды, !, #, $, %, &, (, ), *, +, ,, ., :, ;, <, =, >, ?, @, [, ], ^, _, {, |, }, ~, -, `, ; арнайы таңбаларын пайдалануға болады.
          • құпиясөзде кемінде бір латын әрпі және кемінде бір сан болуы керек.

   • Режим работы кластера: master-түйіннің конфигурациясын анықтайды.

     • DEV: master-түйін үшін 2 vCPU және 4 GB RAM бар виртуалды машина пайдаланылады.
     • PROD: master-түйін үшін 6 vCPU және 6 GB RAM бар виртуалды машина пайдаланылады.

4. Белсенді емес кластердің өмірлік цикліне әсер ететін опцияларды таңдаңыз.

   Егер кластерде іске қосылған Spark тапсырмалары болмаса, ол белсенді емес күйге өтеді. Төменде келтірілген опциялар дәл осындай кластердің өмірлік циклін анықтайды. Жаңа Spark тапсырмасы іске қосылған кезде кластер қайтадан белсенді күйге оралады.

   Қолжетімді опциялар:

   • Уничтожение после неактивности: берілген уақыт өткенде, белсенді емес кластер автоматты түрде жойылады.

     Әдепкі бойынша опция өшірулі, және кластер қолмен жойылғанша өмір сүре береді. Бұл опция бір реттік тапсырмаларға пайдаланылатын кластерлер үшін пайдалы.

   • Переход кластера в спящий режим: берілген уақыт өткенде, белсенді емес кластер ұйқы режиміне өтеді. Бұл режимде тек кластер түйіндерінің дискілері тарифтеледі, есептеу ресурстары тарифтелмейді.

     Жаңа Spark тапсырмасы іске қосылған кезде кластер ұйқы режимінен шығарылады.

     Әдепкі бойынша опция өшірулі, және кластерде Spark тапсырмалары іске қосылмағанның өзінде, ол жойылғанша жұмыс істей береді. Бұл опция Spark тапсырмаларын іске қосу арасындағы ұзақ үзілістерде есептеу ресурстарын үнемдеуге пайдалы.

   Кластердің өмірлік цикліне опциялардың әсер ету мысалдары

5. Private mode опциясы арқылы кластердің жұмыс режимін анықтаңыз:

   • Егер опция өшірулі болса, кластердің әрбір инстансына сыртқы IP мекенжайлар мен DNS атаулары беріледі. Spark History Server және Docker Registry қоса алғанда, кластердің барлық инстанстары интернеттен қолжетімді болады.
   • Егер опция қосулы болса, кластер сыртқы IP мекенжайларсыз және DNS атауларынсыз құрылады. Бұл режимде Spark History Server мен Docker Registry-ге қолжеткізу, сондай-ақ API арқылы кластерге қолжеткізу тек жергілікті желіден немесе VPN арқылы мүмкін болады.

6. Следующий шаг батырмасын басыңыз.

Настройки Spark қадамында:

1. (Опционалды) Spark-тің кеңейтілген баптауларын орнатыңыз. Бұл баптаулар кластерде іске қосылатын барлық Spark тапсырмалары үшін пайдаланылады.

   Мыналарды баптауға болады:

   • Spark configuration: Spark конфигурациясына жауап беретін қасиеттер (properties) тізімі.
   • Переменные окружения: Spark үшін орта айнымалыларының (environment variables) тізімі.

   Әрбір қасиет немесе айнымалы келесі форматта жеке жолға орналастырылуы керек:

    
   <имя свойства или переменной>: <значение>

   Қасиеттер сипаттамалары YAML синтаксисі тұрғысынан дұрыс болуы керек.

   Қасиеттер мен айнымалылар сипаттамаларының мысалдары

2. Создать кластер батырмасын басыңыз.

   Операцияның аяқталуын күтіңіз. Кластерді құру ұзақ уақыт алуы мүмкін.