MIG көмегімен GPU-ды аппараттық бөлу
MIG (Multi-Instance GPU) бір GPU жадын және есептеу ресурстарын MIG-құрылғыларына бөлуге мүмкіндік береді. Бұл — есептеу ресурстары мен жадтың бөлінген үлесі бар, пайдаланылатын MIG-профиліне сәйкес аппараттық деңгейде оқшауланған логикалық GPU.
VK Cloud Managed Containers сервисінде MIG-мен жұмыс істеуді қолдайды. GPU Operator аддоны арқылы MIG-құрылғылары жасалады, содан кейін оларды жеке подтарға тағайындауға болады. Аддонды баптау туралы толығырақ Управление ресурсами GPU в сервисе Managed Containers нұсқаулығында.
- GPU-дың тек белгілі бір модельдерінде қолдау көрсетіледі. Қолдау көрсетілетін әр модель үшін MIG-профильдерінің тұрақты жиынтығы бар, олардан өзіндік MIG-құрылғылары жиынтығы бар конфигурация жасауға болады.
- MIG конфигурациясын тек бірде-бір MIG-құрылғысы пайдаланылмаған кезде ғана өзгертуге болады. Ол үшін Managed Containers кластерінде оларды пайдаланатын подтарды жою қажет. Конфигурация өзгертілгеннен кейін подтарды жаңа конфигурацияға сәйкес қайта жасау керек.
MIG-профильге қолжетімді ресурстар оның атауында Xg.Ygb форматында көрсетіледі:
Xgесептеу ресурстарының қолжетімді бөлігін — слайстарды (slice) анықтайды. МұндағыX— олардың саны.Ygb— қолжетімді бейнежадты (VRAM) көрсетеді. МұндағыY— жад көлемі гигабайтпен.
Кейбір MIG-профильдердің +me (media extensions) жұрнағы бар. Ол медиа өңдеу технологияларын пайдалану үшін кеңейтілген квоталарды білдіреді: NVDEC, JPEG өңдеу кезіндегі аппараттық жеделдету, OFA (Optical Flow Accelerator).
1g.18gb— әзірлеушілерге арналған Jupyter-орталар, шағын нейрожелілерді инференстеу (INT8 форматында 10–14 млрд параметрге дейін), компьютерлік көру міндеттері (объектілерді тану), аудио өңдеу.1g.18gb+me— OFA көмегімен медиа өңдеуге арналған қосымша квотасы бар H200 профилі. Осындай квоталар7g.141gbконфигурациясында да қолжетімді.1g.35gb— INT8 форматында 30 млрд параметрге дейінгі неғұрлым күрделі модельдер мен деректер жиындары немесе1g.18gbпрофиліне қарағанда бейнежад қоры көбірек.2g.35gb— орташа LLM-дерді инференстеу (14–30 млрд параметр), NVDEC көмегімен ағынды бейнені декодтау.3g.71gb/4g.71gb— үлкен модельдерді инференстеу (INT8 форматында 70 млрд параметрден бастап), толыққанды қосымша оқыту, деректердің үлкен массивтерін пакеттік өңдеу.7g.141gb— бір міндетке арналған ресурстардың максимумы: ең ауыр модельдер, INT4 форматында 100+ млрд параметрлі модельдерді қосымша оқыту.
INT8 және INT4 — жадты үнемдеуге мүмкіндік беретін модель салмақтарын кванттау форматтары:
- INT8 — параметрге 1 байт: 7 млрд параметрлі модель шамамен 7 ГБ алады.
- INT4 — параметрге 0,5 байт: 7 млрд параметрлі модель шамамен 3,5 ГБ алады.
Толық сипаттамалар жеткізушінің ресми құжаттамасында қолжетімді.