Кластер мониторингі

Сіз Spark кластерінің күйін бақылап, оның жұмысын келесі құралдар мен сервистерді пайдаланып талдай аласыз:

• Cloud Logging;
• Cloud Monitoring;
• Cloud Alerting;
• кластер оқиғалары журналы;
• Spark History Server;
• Cloud ML Platform кітапханасының әдістері.

Cloud Logging сервисі пайдаланушы қолданбалары мен VK Cloud сервистерінің логтарын жинауды, сақтауды және көрсетуді орындайды.

Кластер логтарын көру мүмкіндігіне ие болу үшін:

1. Кластердің ВМ-на логтау плагинін орнатыңыз.
2. Деректер жиналуы үшін бірнеше минут күтіңіз.
3. VK Cloud жеке кабинетіне өтіңіз.
4. Қажетті кластер орналасқан жобаны таңдаңыз.
5. Мониторинг → Логтау бөліміне өтіңіз.
6. Кестедегі логтарды сүзуді баптаңыз.

Cloud Monitoring сервисі кластердің күйін берілген метрикалар бойынша нақты уақыт режимінде бақылауға және талдауға мүмкіндік береді. Сервис метрикаларды жинау деректерін графиктерде көрсетеді, оларды кластер жұмысы туралы тек қажетті ақпаратты алатындай етіп баптауға болады.

Кластер мониторингі графигін қосу үшін нұсқаулықты пайдаланыңыз. Ресурс түрі өрісінде k8s-тағы Spark сервисі нұсқасын таңдаңыз.

Cloud Alerting сервисі VK Cloud сервистерінің негізгі метрикалары өзгергені туралы хабарлауды баптауға мүмкіндік береді.

Кластер жұмысы туралы хабарламаларды алу үшін:

1. Хабарландыру арнасын жасаңыз.
2. Жасалған байланыс арнасы бойынша қандай шарттарда хабарламалар жіберілетінін баптаңыз.

Оқиғалар журналында кластер жұмысындағы сыни қателер туралы хабарламалар болады.

Оқиғалар журналын көру үшін:

1. VK Cloud жеке кабинетіне өтіңіз.
2. Қажетті кластер орналасқан жобаны таңдаңыз.
3. Контейнерлер → Kubernetes кластерлері бөліміне өтіңіз.
4. Қажетті кластердің атауын басыңыз.
5. Оқиғалар журналы қойындысына өтіңіз.

Егер кластер жұмысында қателер болса, олар қойындыда көрсетіледі.

Spark History Server сервисі тапсырмалардың орындалу тарихы туралы ақпаратты жинайды және қолданба логтарын веб-интерфейсте көруге мүмкіндік береді. Сервис әрбір Spark кластері үшін қосылады.

Spark History Server ішіндегі логтарды көру үшін:

1. VK Cloud жеке кабинетіне өтіңіз.

2. Қажетті кластер орналасқан жобаны таңдаңыз.

3. ML Platform → Spark в k8s бөліміне өтіңіз.

4. Қажетті кластердің атауын басыңыз.

5. Жалпы деректер қойындысында Spark History Server жолындағы сілтеме бойынша өтіңіз.

6. Spark History Server инстансы ашылады. Авторизация үшін тіркелгі деректерін енгізіңіз:

   • VK Cloud жеке кабинетінің логині мен құпиясөзі — бұл тәсіл ескі кластерлер үшін қолданылады;
   • қолжетімділік токені — бұл тәсіл жаңа кластерлер үшін қолданылады.

Кластер оқиғаларының тізімі көрсетіледі.

Cloud ML Platform кітапханасы кластер оқиғалары мен логтарының тізімдерін алуға мүмкіндік береді.

Келесі әдістерді пайдаланыңыз:

• spark_events — кластерде болған оқиғалардың тізімін алу.
• spark_job_logs — қажетті қолданбаның логтарын көрсету.