Сервис туралы

Apache Spark — үлкен деректерді үлестірілген түрде өңдеуге арналған сервис. Ол Java, Scala, Python және R тілдеріндегі API-интерфейстерден, сондай-ақ SQL үшін Spark SQL, Pandas API, машиналық оқытуға арналған MLlib, графтарды өңдеуге арналған GraphX және ағындық өңдеуге арналған Structured Streaming өңдеу құралдарынан тұрады. Spark көбінесе Hadoop-кластерінің құрамында пайдаланылады.

Cloud Spark — VK Cloud ұсынған Apache Spark Operator және PaaS Kubernetes негізіндегі шешім. Ол Hadoop-кластерін пайдаланбай, Docker Registry-ден алынған образдың көмегімен Kubernetes ішінде Spark-ты орналастыруға мүмкіндік береді.

• Үлкен деректерді үлестірілген түрде өңдеу.
• Объектілік сақтау орнынан деректерді оқып, оларды кейін өңдеу үшін БД-ға экспорттау (ClickHouse, Greenplum, PostgreSQL). Сондай-ақ деректерді БД-дан объектілік сақтау орнына жіберуге болады.
• Үлкен деректерді пайдаланып ML-модельдерді үлестірілген түрде оқыту.
• GraphX компонентін пайдалана отырып графтық есептеулерді орындау.

• Kubernetes ішінде Spark кластерін өрістету.
• Өрістетілетін кластерлердің master-түйіндерін автоматты түрде баптау.
• Алдын ала орнатылған Spark бейнесі бар VK Cloud Docker Registry пайдалану.
• Автоматты масштабтауды қолдай отырып, кластерді көлденең және тік масштабтау.
• Токендер мен рөлдік модель арқылы қолжетімділікті шектеу.
• Кластерді жою немесе оны кесте бойынша ұйқы режиміне ауыстыру.
• Spark History Server көмегімен Spark тапсырмаларының орындалу тарихын бақылау.
• Cloud Logging, Cloud Alerting, Cloud Monitoring сервистері арқылы өнімділікті талдау, қателерді іздеу және кластер күйін мониторингтеу.
• S3 қолдауы бар VK Object Storage қоймасында объектілерді сақтау.
• Cloud ML Platform Python-кітапханасы арқылы кластерді басқару, қолданбаларды іске қосу және жөндеу.