Сервис туралы
ML саласында әзірлеудің стандартты процесі мына кезеңдерді қамтиды:
-
Эксперименттеу кезеңі:
- Жобалау: көздерді қосу, деректерді өңдеу (data engineering), белгілерді дайындау (features).
- Модельді әзірлеу: деректермен және ML-модельдермен эксперименттер, эксперименттерді, деректерді және артефактілерді трекингтеу және нұсқалау.
-
Production-ортаға шығару кезеңі: ML-модельдерді орналастыру, өнімге интеграциялау, production-ортада модельдерді мониторингтеу және жаңарту.
Бұл процестің әртүрлі кезеңдерінде әртүрлі мамандар жұмыс істейді, сондықтан бір кезеңнен екіншісіне өту көп уақыт алады. Соның салдарынан көптеген ML-модельдер production-ортаға жетпейді.
Бұл мәселені MLOps (Machine Learning Operations) шешуге көмектеседі, ол модельдерді әзірлеу процесін стандарттайды және оларды пайдалануға енгізуді автоматтандырады.
MLOps орындайтын міндеттер:
- деректермен эксперименттер жүргізу;
- ML-модельдерді оқыту;
- ML-модельдерді трекингтеу;
- эксперименттерді, датасеттерді және модельдерді нұсқалау;
- production-ортада модельдердің мінез-құлқын мониторингтеу;
- пайдаланылып жатқан ML-модельдерді жаңарту.
Осы міндеттерді орындау үшін MLOps-та көптеген құралдар бар:
- Кешенді, бірден көптеген міндеттерді жабатын (Kubeflow, MLflow).
- Жекелеген міндеттерді шешуге арналған, өзара интеграцияланатын құралдар (мысалы, Jupyter + lakeFS + Airflow + KServe).
Cloud ML Platform — ашық бастапқы коды бар құралдар негізінде құрылған MLOps-платформа, ол деректермен эксперименттерден бастап production-ортада модельдерді орналастыруға дейінгі міндеттерді орындауға мүмкіндік береді.
Cloud ML Platform компоненттері:
JupyterHub | Деректермен эксперименттер жүргізуге арналған орта. Құрамында танымал кітапханалар жиынтығы және GPU үшін алдын ала бапталған орта бар. Көптеген пайдаланушының бір уақытта жұмыс істеуін қолдайды |
MLflow | MLOps міндеттеріне арналған сервис. Деректер мамандарының модельдерін, эксперимент параметрлерін және жұмыс артефактілерін орталықтандырылған түрде трекингтеуді және сақтауды ұйымдастыруға мүмкіндік береді |
MLflow Deploy | MLflow және JupyterHub-пен интеграцияланған сервис, ол модельдерді docker-контейнерлерге буып-түюге және оларды REST API арқылы қолжетімді етуге мүмкіндік береді |
Cloud ML Platform артықшылықтары:
- Cloud ML Platform гипотезаларды тексеру және пилоттық жобаларды іске қосу мерзімдерін қысқартуға мүмкіндік береді.
- Инфрақұрылымды жылдам масштабтау деректермен жұмыс істеудің әрбір кезеңінде мамандарға жеткілікті көлемде ресурстар ұсынуға мүмкіндік береді.
- Cloud ML Platform ашық бастапқы коды бар танымал құралдар негізінде құрылған, бұл валюталық тәуекелдерден және шетелдік вендорға тәуелділіктен аулақ болуға, сондай-ақ импортты алмастыру талаптарын орындауға мүмкіндік береді.
- Cloud ML Platform-та деректермен жұмыс істеуге арналған барлық құралдар бір ортада қолжетімді, өзара интеграцияланған және жылдам бастау үшін алдын ала бапталған.
- Cloud ML Platform мамандардың рөлдері мен жауапкершілік аймақтарын бөле отырып, data-міндеттерді шешуді стандарттауға мүмкіндік береді.
- Деректермен жұмыс істеу кезінде заңнамаға сәйкес қауіпсіздік қамтамасыз етілген. Cloud ML Platform 152-ФЗ, УЗ-1, PCI DSS сертификаттау талаптарына сәйкес келетін VK Cloud бұлтында орналастырылған.
- Тек қажет ресурстар үшін «pay as you go» жүйесі бойынша төлем.