VK Cloud logo

Аппаратное разделение GPU с помощью MIG

MIG (Multi-Instance GPU) позволяет разделять память и вычислительные ресурсы одного GPU на MIG-устройства — логические GPU с выделенной долей вычислительных ресурсов и памяти, изолированные на аппаратном уровне согласно используемому MIG-профилю.

VK Cloud поддерживает работу с MIG в сервисе Managed Containers. Через аддон GPU Operator создаются MIG-устройства, после чего их можно назначать отдельным подам. Подробнее о настройке аддона в руководстве Управление ресурсами GPU в сервисе Managed Containers.

Ограничения

  • Поддерживается только на определенных моделях GPU. Для каждой поддерживаемой модели существует фиксированный набор MIG-профилей, из которых можно создать конфигурацию со своим набором MIG-устройств.
  • Изменить конфигурацию MIG можно, только когда ни одно из MIG-устройств не используется. Для этого в кластере Managed Containers необходимо удалить поды, которые их используют. После изменения конфигурации поды нужно создать заново согласно новой конфигурации.

MIG-профили

Доступные MIG-профилю ресурсы указываются в его названии в формате Xg.Ygb:

  • Xg определяет доступную часть вычислительных ресурсов — слайсов (slice). Здесь X — их количество.
  • Ygb — указывает на доступную видеопамять (VRAM). Здесь Y — объем памяти в гигабайтах.

Некоторые MIG-профили имеют суффикс +me (media extensions) с расширенными квотами на использование технологий обработки медиа: NVDEC, аппаратное ускорение при обработке JPEG, OFA (Optical Flow Accelerator).

Профили H200

  • 1g.18gb — Jupyter-среды для разработчиков, инференс небольших нейросетей (до 10–14 млрд параметров в INT8), задачи компьютерного зрения (распознавание объектов), обработка аудио.
  • 1g.18gb+me — профиль H200 с дополнительной квотой на обработку медиа с помощью OFA. Аналогичные квоты доступны в конфигурации 7g.141gb.
  • 1g.35gb — более сложные модели до 30 млрд параметров в INT8 и наборы данных или больший запас по видеопамяти, чем у 1g.18gb.
  • 2g.35gb — инференс средних LLM (14–30 млрд параметров), декодирование потокового видео с помощью NVDEC.
  • 3g.71gb / 4g.71gb — инференс больших моделей (от 70 млрд параметров в INT8), полноценное дообучение, пакетная обработка больших массивов данных.
  • 7g.141gb — максимум ресурсов под одну задачу: самые тяжелые модели, дообучение на 100+ млрд параметров в INT4.

INT8 и INT4 — форматы квантования весов модели, которые позволяют экономить память:

  • INT8 — 1 байт на параметр: модель на 7 млрд параметров занимает около 7 ГБ.
  • INT4 — 0,5 байта на параметр: модель на 7 млрд параметров занимает около 3,5 ГБ.

Подробные характеристики доступны в официальной документации поставщика.

Была ли статья полезна?