Аппаратное разделение GPU с помощью MIG
MIG (Multi-Instance GPU) позволяет разделять память и вычислительные ресурсы одного GPU на MIG-устройства — логические GPU с выделенной долей вычислительных ресурсов и памяти, изолированные на аппаратном уровне согласно используемому MIG-профилю.
VK Cloud поддерживает работу с MIG в сервисе Managed Containers. Через аддон GPU Operator создаются MIG-устройства, после чего их можно назначать отдельным подам. Подробнее о настройке аддона в руководстве Управление ресурсами GPU в сервисе Managed Containers.
- Поддерживается только на определенных моделях GPU. Для каждой поддерживаемой модели существует фиксированный набор MIG-профилей, из которых можно создать конфигурацию со своим набором MIG-устройств.
- Изменить конфигурацию MIG можно, только когда ни одно из MIG-устройств не используется. Для этого в кластере Managed Containers необходимо удалить поды, которые их используют. После изменения конфигурации поды нужно создать заново согласно новой конфигурации.
Доступные MIG-профилю ресурсы указываются в его названии в формате Xg.Ygb:
Xgопределяет доступную часть вычислительных ресурсов — слайсов (slice). ЗдесьX— их количество.Ygb— указывает на доступную видеопамять (VRAM). ЗдесьY— объем памяти в гигабайтах.
Некоторые MIG-профили имеют суффикс +me (media extensions) с расширенными квотами на использование технологий обработки медиа: NVDEC, аппаратное ускорение при обработке JPEG, OFA (Optical Flow Accelerator).
1g.18gb— Jupyter-среды для разработчиков, инференс небольших нейросетей (до 10–14 млрд параметров в INT8), задачи компьютерного зрения (распознавание объектов), обработка аудио.1g.18gb+me— профиль H200 с дополнительной квотой на обработку медиа с помощью OFA. Аналогичные квоты доступны в конфигурации7g.141gb.1g.35gb— более сложные модели до 30 млрд параметров в INT8 и наборы данных или больший запас по видеопамяти, чем у1g.18gb.2g.35gb— инференс средних LLM (14–30 млрд параметров), декодирование потокового видео с помощью NVDEC.3g.71gb/4g.71gb— инференс больших моделей (от 70 млрд параметров в INT8), полноценное дообучение, пакетная обработка больших массивов данных.7g.141gb— максимум ресурсов под одну задачу: самые тяжелые модели, дообучение на 100+ млрд параметров в INT4.
INT8 и INT4 — форматы квантования весов модели, которые позволяют экономить память:
- INT8 — 1 байт на параметр: модель на 7 млрд параметров занимает около 7 ГБ.
- INT4 — 0,5 байта на параметр: модель на 7 млрд параметров занимает около 3,5 ГБ.
Подробные характеристики доступны в официальной документации поставщика.