Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт

Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes. Spark на Kubernetes позволяет решать задачи изоляции рабочих сред, гибкого управления ресурсами и масштабирования. Популярные материалы останавливаются на запуске тестового приложения в K8s, которое считает число пи. В своем вебинаре мы пошли дальше: даже начинающие научатся обрабатывать данные с помощью Spark в облаке. В рамках мероприятия мы собрали свой образ со своим кодом, добавили необходимые библиотеки, креды для доступа к S3-хранилищу, научились читать из S3 и записывать в него. Все это стало возможно с помощью Kubernetes как сервис, который максимально упрощает базовую работу с технологией Kubernetes, порог входа в которую для Data Scientists все еще очень высокий. В описании к записи вебинара на YouTube вы можете найти готовый репозиторий в Github с инструкцией, всеми командами, примерами кода, готовыми приложениями, чтобы самостоятельно повторить все действия, которые были продемонстрированы спикером в рамках вебинара.