Қызмет туралы

Apache Spark — үлкен деректерді үлестірілген түрде өңдеуге арналған сервис. Ол Java, Scala, Python және R тілдеріндегі API-интерфейстерден, сондай-ақ SQL үшін Spark SQL, Pandas API, машиналық оқытуға арналған MLlib, графтарды өңдеуге арналған GraphX және ағындық өңдеуге арналған Structured Streaming өңдеу құралдарынан тұрады. Spark көбінесе Hadoop-кластерінің құрамында пайдаланылады.

Cloud Spark — VK Cloud ұсынған Apache Spark Operator және PaaS Kubernetes негізіндегі шешім. Ол Hadoop-кластерін пайдаланбай, Docker Registry-ден алынған образдың көмегімен Kubernetes ішінде Spark-ты орналастыруға мүмкіндік береді.

• Үлкен деректерді үлестірілген түрде өңдеу.
• Объектілік сақтау орнынан деректерді оқып, оларды кейін өңдеу үшін БД-ға экспорттау (ClickHouse, Greenplum, PostgreSQL). Сондай-ақ деректерді БД-дан объектілік сақтау орнына жіберуге болады.
• Үлкен деректерді пайдаланып ML-модельдерді үлестірілген түрде оқыту.
• GraphX компонентін пайдалана отырып графтық есептеулерді орындау.

• Kubernetes ішінде Spark кластерін өрістету.

• Өрістетілетін кластерлердің master-түйіндерін автоматты түрде баптау.

• Spark History Server көмегімен Spark тапсырмаларының орындалу тарихын қадағалау.

• Cloud Logging, Cloud Alerting, Cloud Monitoring сервистері арқылы өнімділікті талдау, қателерді іздеу және кластер күйін мониторингтеу.

• S3 қолдауы бар VK Object Storage қоймасында объектілерді сақтау.

• Cloud ML Platform Python кітапханасы көмегімен кластерді басқару, қолданбаларды іске қосу және жөндеу.