H2O LLM Studio өрістету

H2O LLM Studio — ыңғайлы графикалық интерфейс арқылы үлкен тілдік модельдерді (LLM) оқытуға және баптауға арналған ашық бастапқы коды бар платформа. Платформа өзіңіздің оқыту пайплайндарын іске қосуға, эксперименттерді бағалауға және бағдарламалаусыз модель параметрлерін басқаруға мүмкіндік береді. Корпоративтік немесе ғылыми мәтіндік деректермен жұмыс істейтін командалар үшін өте қолайлы.

H2O LLM Studio мүмкіндіктері:

• LLM оқыту және дәл баптау: деректеріңізде оқытуды іске қосу мүмкіндігімен HuggingFace модельдерін (LLaMA, Falcon, Mistral және т.б.) қолдау.
• Көрнекі интерфейс: пайплайндарды, гиперпараметрлерді және эксперименттерді веб-интерфейс арқылы басқару.
• H2O Wave-пен интеграция: оқыту барысын, журналдарды және нәтиже графиктерін көрсету.
• CPU және GPU қолдауы: негізгі CPU-дан GPU-да жеделдетілген оқытуға дейін ВМ инстансының қажетті конфигурациясын таңдау.
• Конфигурацияны басқару: ортаны айнымалылар, конфигурациялық файлдар немесе интерфейс арқылы баптау.
• VK Cloud Monitoring-пен үйлесімділік: инстанстың жүйелік мониторингін қосу мүмкіндігі.

H2O LLM Studio пайдалану арқылы сіз келесі лицензиялық келісімдермен келісесіз:

• Marketplace VK Cloud
• H2O LLM Studio
• H2O Wave

VK Cloud жобаңыздағы ВМ-де H2O LLM Studio сервисін өрістету үшін:

1. Тіркеліңіз және VK Cloud жеке кабинетіне өтіңіз.

2. Интернеттен өрістетілген сервисі бар ВМ-ге және H2O LLM Studio веб-интерфейсіне қол жеткізу үшін:

   1. Егер бұрын жасалмаған болса, интернетке қолжетімді желіні жасаңыз.
   2. Өрістетілген сервисі бар ВМ орналасатын ішкі желі баптауларында Приватный DNS опциясын өшіріңіз.

3. Магазин приложений бөліміне өтіңіз.

4. Егер бетте H2O LLM Studio сервисінің карточкасы болмаса, Все решения түймесін басып, карточканы каталогтан табыңыз.

5. H2O LLM Studio сервисінің карточкасын басыңыз.

6. Сервис сипаттамасы бар бетте Подключить түймесін басыңыз.

7. Параметры сервера бетінде деректерді енгізіңіз.

   1. H2O LLM Studio параметрлерін көрсетіңіз:

      • Как будет размещен H2O LLM Studio: сервисті орналастыру түрін таңдаңыз.

        • external — VK Cloud ұсынатын сыртқы IP-мекенжайы және домендік атауы бар. Интернеттен өрістетілген H2O LLM Studio сервисі бар ВМ-ге қол жеткізу үшін осы орналастыру түрін таңдаңыз.
        • internal — тек VK Cloud ішінде қолжетімді.

      • Включить резервное копирование на S3: H2O LLM Studio деректерінің резервтік көшірмелерін VK Cloud объектілік қоймасында күн сайын жасау үшін опцияны қосыңыз. Қойма автоматты түрде жасалады. Соңғы 7 көшірме сақталады.

      • IP для доступа к сервису: сервиске қосылуды жоспарлап отырған сыртқы IP-мекенжайды IPv4 форматында, маскасыз көрсетіңіз, мысалы 255.255.255.255. Мекенжайға /32 маскасы автоматты түрде қосылады. Маска үшін басқа мәндерді көрсетпеңіз.

      • Включить мониторинг: H2O LLM Studio өрістетілген виртуалды машинаның метрикаларын Cloud Monitoring сервисіне автоматты түрде жіберу үшін опцияны қосыңыз. Бұл метрикалар жеке кабинеттің Мониторинг бөлімінде қолжетімді болады.

   2. Сервис инстансы өрістетілетін виртуалды машинаның параметрлерін көрсетіңіз:

      • Сеть: өрістетілген сервисі бар ВМ орналасатын желіні таңдаңыз. Егер сіз external орналастыру түрін көрсетсеңіз, интернетке қолжетімді желіні және Приватный DNS опциясы өшірілген ішкі желіні таңдаңыз.
      • Зона доступности: ВМ іске қосылатын ЦОД таңдаңыз.
      • Тип виртуальной машины: H2O LLM Studio сервисінің толыққанды жұмысы үшін GPU бар ВМ конфигурациясының үлгісін таңдау ұсынылады. Егер жобаңызда мұндай үлгі болмаса, оны қосыңыз.

   3. Жүйелік диск пен деректер дискісінің параметрлерін көрсетіңіз.

      • Размер диска: ВМ дискінің қажетті көлемін гигабайтпен көрсетіңіз.
      • Тип диска: диск түрлерінің бірін таңдаңыз — HDD, SSD немесе High-IOPS SSD.

8. Следующий шаг түймесін басыңыз.

9. Сервисті өрістетуге арналған инфрақұрылымның құнымен танысып, Подключить тариф түймесін басыңыз.

   Бұлттық инфрақұрылымды өрістету басталады және сервис қасиеттері бар бет ашылады. Процестің күйі Магазин приложений → Мои сервисы бөлімінде де көрсетіледі.

   Өрістету сәтті аяқталғаннан кейін VK Cloud аккаунтыңызға байланыстырылған поштаға келесі хабарламалар келеді:

   • VK Cloud жеке кабинетіндегі сервис инстансына сілтемесі бар хабарлама;
   • сервиске қол жеткізу деректері бар бір реттік сілтемесі бар хат.

10. Хаттағы бір реттік сілтеме бойынша өтіп, сервиске қол жеткізу деректерін сақтаңыз:

    • h2o_url — H2O LLM Studio веб-интерфейсіне сілтеме.
    • ingress_ip — H2O LLM Studio веб-интерфейсіне және өрістетілген сервисі бар ВМ-ге қол жеткізуге рұқсат етілген IP-мекенжай. Бұл мекенжайды сервисті жеке кабинетте қосу кезінде көрсеттіңіз.
    • os_user — SSH арқылы кіру үшін сервис ВМ инстансының жүйелік пайдаланушысының аты;
    • keypair — сервис ВМ инстансына қосылуға арналған жеке SSH кілті.

11. h2o_url ішіндегі сілтеме бойынша H2O LLM Studio сервисінің веб-интерфейсіне өтіңіз.

    Егер бет ашылмаса, веб-интерфейске өтуге әрекет жасап отырған IP-мекенжайдың ingress_ip ішіндегі IP-мекенжаймен сәйкес келетінін тексеріңіз.

    • Егер IP-мекенжайлар сәйкес келсе, техникалық қолдау қызметіне хабарласыңыз.

    • Егер IP-мекенжайлар сәйкес келмесе, сервис үшін қауіпсіздік топтары баптауларында қажетті IP-мекенжайды көрсетіңіз:

      1. Атауы ХХХХ-h2o-llm-studio болатын қауіпсіздік тобын ашыңыз, мұнда XXXX — сервис инстансы ID-сының бірінші бөлігі.
      2. Қажетсіз IP-мекенжайлар үшін кіріс трафигі ережелерін жойыңыз және керектілері үшін жаңа ережелерді қосыңыз.

12. (Қосымша) Сервисті пайдалануды бастау үшін H2O LLM Studio іске қосу жөніндегі нұсқаулықты пайдаланыңыз. Қажет болса, модельдер мен пайплайндарды баптау жөніндегі нұсқаулықты оқып шығыңыз.