VK Cloud logo

MIG көмегімен GPU-ды аппараттық бөлу

MIG (Multi-Instance GPU) бір GPU жадын және есептеу ресурстарын MIG-құрылғыларына бөлуге мүмкіндік береді. Бұл — есептеу ресурстары мен жадтың бөлінген үлесі бар, пайдаланылатын MIG-профиліне сәйкес аппараттық деңгейде оқшауланған логикалық GPU.

VK Cloud Managed Containers сервисінде MIG-мен жұмыс істеуді қолдайды. GPU Operator аддоны арқылы MIG-құрылғылары жасалады, содан кейін оларды жеке подтарға тағайындауға болады. Аддонды баптау туралы толығырақ Управление ресурсами GPU в сервисе Managed Containers нұсқаулығында.

Шектеулер

  • GPU-дың тек белгілі бір модельдерінде қолдау көрсетіледі. Қолдау көрсетілетін әр модель үшін MIG-профильдерінің тұрақты жиынтығы бар, олардан өзіндік MIG-құрылғылары жиынтығы бар конфигурация жасауға болады.
  • MIG конфигурациясын тек бірде-бір MIG-құрылғысы пайдаланылмаған кезде ғана өзгертуге болады. Ол үшін Managed Containers кластерінде оларды пайдаланатын подтарды жою қажет. Конфигурация өзгертілгеннен кейін подтарды жаңа конфигурацияға сәйкес қайта жасау керек.

MIG-профильдер

MIG-профильге қолжетімді ресурстар оның атауында Xg.Ygb форматында көрсетіледі:

  • Xg есептеу ресурстарының қолжетімді бөлігін — слайстарды (slice) анықтайды. Мұндағы X — олардың саны.
  • Ygb — қолжетімді бейнежадты (VRAM) көрсетеді. Мұндағы Y — жад көлемі гигабайтпен.

Кейбір MIG-профильдердің +me (media extensions) жұрнағы бар. Ол медиа өңдеу технологияларын пайдалану үшін кеңейтілген квоталарды білдіреді: NVDEC, JPEG өңдеу кезіндегі аппараттық жеделдету, OFA (Optical Flow Accelerator).

H200 профильдері

  • 1g.18gb — әзірлеушілерге арналған Jupyter-орталар, шағын нейрожелілерді инференстеу (INT8 форматында 10–14 млрд параметрге дейін), компьютерлік көру міндеттері (объектілерді тану), аудио өңдеу.
  • 1g.18gb+me — OFA көмегімен медиа өңдеуге арналған қосымша квотасы бар H200 профилі. Осындай квоталар 7g.141gb конфигурациясында да қолжетімді.
  • 1g.35gb — INT8 форматында 30 млрд параметрге дейінгі неғұрлым күрделі модельдер мен деректер жиындары немесе 1g.18gb профиліне қарағанда бейнежад қоры көбірек.
  • 2g.35gb — орташа LLM-дерді инференстеу (14–30 млрд параметр), NVDEC көмегімен ағынды бейнені декодтау.
  • 3g.71gb / 4g.71gb — үлкен модельдерді инференстеу (INT8 форматында 70 млрд параметрден бастап), толыққанды қосымша оқыту, деректердің үлкен массивтерін пакеттік өңдеу.
  • 7g.141gb — бір міндетке арналған ресурстардың максимумы: ең ауыр модельдер, INT4 форматында 100+ млрд параметрлі модельдерді қосымша оқыту.

INT8 және INT4 — жадты үнемдеуге мүмкіндік беретін модель салмақтарын кванттау форматтары:

  • INT8 — параметрге 1 байт: 7 млрд параметрлі модель шамамен 7 ГБ алады.
  • INT4 — параметрге 0,5 байт: 7 млрд параметрлі модель шамамен 3,5 ГБ алады.

Толық сипаттамалар жеткізушінің ресми құжаттамасында қолжетімді.

Мақала пайдалы болды ма?