Қызмет туралы
Apache Spark — үлкен деректерді үлестірілген түрде өңдеуге арналған сервис. Ол Java, Scala, Python және R тілдеріндегі API-интерфейстерден, сондай-ақ SQL үшін Spark SQL, Pandas API, машиналық оқытуға арналған MLlib, графтарды өңдеуге арналған GraphX және ағындық өңдеуге арналған Structured Streaming өңдеу құралдарынан тұрады. Spark көбінесе Hadoop-кластерінің құрамында пайдаланылады.
Cloud Spark — VK Cloud ұсынған Apache Spark Operator және Managed Containers негізіндегі шешім. Ол Hadoop-кластерін пайдаланбай, Docker Registry-ден алынған образдың көмегімен Kubernetes ішінде Spark-ты орналастыруға мүмкіндік береді.
- Үлкен деректерді үлестірілген түрде өңдеу. - Объектілік сақтау орнынан деректерді оқып, оларды кейін өңдеу үшін БД-ға экспорттау (ClickHouse, Greenplum, PostgreSQL). Сондай-ақ деректерді БД-дан объектілік сақтау орнына жіберуге болады. - Үлкен деректерді пайдаланып ML-модельдерді үлестірілген түрде оқыту. - [GraphX](https://spark.apache.org/docs/latest/graphx-programming-guide.html) компонентін пайдалана отырып графтық есептеулерді орындау.-
Kubernetes ішінде Spark кластерін өрістету.
-
Өрістетілетін кластерлердің master-түйіндерін автоматты түрде баптау.
-
Spark History Server көмегімен Spark тапсырмаларының орындалу тарихын қадағалау.
-
Cloud Logging, Cloud Alerting, Cloud Monitoring сервистері арқылы өнімділікті талдау, қателерді іздеу және кластер күйін мониторингтеу.
-
S3 қолдауы бар VK Object Storage қоймасында объектілерді сақтау.
-
Cloud ML Platform Python кітапханасы көмегімен кластерді басқару, қолданбаларды іске қосу және жөндеу.