Добавление аддона NVIDIA GPU Operator
Аддон NVIDIA GPU Operator устанавливает в кластер Kubernetes драйверы NVIDIA, плагин устройств (device plugin) и метки узлов с GPU.
-
Подключитесь к деплой-ноде по SSH (подробнее — в разделе Подключение к деплой-ноде).
-
Скачайте артефакты аддона:
Команды для скачивания артефактов аддона$ mkdir -p gpu-operator/images$ wget -P gpu-operator https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/gpu-operator-v24.9.0.tgz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nfd__node-feature-discovery__v0.16.6.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__dcgm__3.3.8-1-ubuntu22.04.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__gpu-operator-validator__v24.9.0.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__k8s-cc-manager__v0.1.1.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__k8s-driver-manager__v0.7.0.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__k8s-kata-manager__v0.2.2.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__k8s-mig-manager__v0.10.0-ubuntu20.04.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cloud-native__vgpu-device-manager__v0.2.8.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__cuda__12.6.2-base-ubi9.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__gpu-operator__v24.9.0.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__k8s-device-plugin__v0.17.0-ubi9.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__k8s__dcgm-exporter__3.3.8-3.6.0-ubuntu22.04.tar.gz$ wget -P gpu-operator/images https://shared-vkcloud.hb.ru-msk.vkcloud-storage.ru/gpu-operator/images/127.0.0.1__6663__nvidia__kubevirt-gpu-device-plugin__v1.2.10.tar.gz -
Загрузите артефакты в Nexus. Helm-чарт поместите в репозиторий чартов
magnum-helm, образы Docker — в репозиторий образов Magnummagnum-registryна порте6663:-
Получите пароль администратора Nexus:
$ grep PASSWORD /opt/vkcloud/devstand/run_nexus.out -
Загрузите Helm-чарт:
$ curl -L --user admin:<ПАРОЛЬ> \--upload-file gpu-operator/gpu-operator-v24.9.0.tgz \--fail \http://localhost:8081/repository/magnum-helm/gpu-operator-v24.9.0.tgzЗдесь:
<ПАРОЛЬ>— пароль администратора Nexus из вывода предыдущей команды. -
Добавьте адрес реестра
127.0.0.1:6663в списокinsecure-registriesв конфигурации Docker, например в файле/etc/docker/daemon.json:"insecure-registries": ["127.0.0.1:6663"] -
Перезапустите Docker:
# systemctl restart docker -
Войдите в реестр от того же пользователя, от имени которого отправите образы. Используйте пароль администратора Nexus:
$ docker login -u admin 127.0.0.1:6663 -
Загрузите архивы образов в локальный Docker и отправьте образы в реестр Nexus:
$ for f in ./gpu-operator/images/*.tar.gz; doecho "Loading $f"image=$(gzip -dc "$f" | docker load | awk '/Loaded image/ {print $3}')docker push "$image"done
-
-
Обновите Inventory:
-
В файле
/opt/vkcloud/inventory/vkcloud/group_vars/vkcloud_kube/magnum-addons.ymlдополните переменнуюhelm_magnum_addons_list:Пример фрагмента файла `magnum-addons.yml`helm_magnum_addons_list:- name: "NVIDIA GPU Operator"chartVersion: "24.9.0"chartName: "gpu-operator"values_template: "values_templates/gpu-operator/gpu-operator-24.9.0-default.j2"description: "Оператор автоматизирует управление всеми необходимыми компонентами для поддержки GPU в кластере Kubernetes. Включает Kubernetes device plugin для GPU и автоматическую установку labels для узлов кластера с GPU.\n"short_description: "NVIDIA оператор для поддержки GPU в кластере Kubernetes"installation_instruction: "Подробнее о сценариях установки аддона вы можете найти в [документации](https://cloud.vk.com/docs/ru/kubernetes/k8s/service-management/addons/advanced-installation/install-advanced-gpu-operator).\n1. Укажите `Название приложения`.\n2. Укажите `Пространство имен`, куда будет установлен аддон. Если пространство имен отсутствует, оно будет создано автоматически во время установки.\n3. При необходимости отредактируйте настройки аддона.\n4. (Опционально) Чтобы на узлы с GPU не назначались поды, не требующие GPU, задайте для группы узлов с GPU taint `nvidia.com/gpu=true:NoSchedule`.\n5. Нажмите `Установить аддон`.\n6. Подробнее о настройке аддона и его компонентов: [документация по настройке](https://cloud.vk.com/docs/ru/kubernetes/k8s/how-to-guides/gpu-operator)."purpose: "Поддержка NVIDIA GPU в кластере Kubernetes"changelog: "" -
В файле
/opt/vkcloud/inventory/vkcloud/group_vars/vkcloud/box-builder.ymlдополните переменныеbb_magnumcluster_helm_chartsиbb_nexus_proxy_docker_images:Пример фрагмента файла `box-builder.yml`bb_magnumcluster_helm_charts:- gpu-operator-v24.9.0bb_nexus_proxy_docker_images:- nfd/node-feature-discovery:v0.16.6- nvidia/cloud-native/gpu-operator-validator:v24.9.0- nvidia/cloud-native/k8s-mig-manager:v0.10.0-ubuntu20.04- nvidia/gpu-operator:v24.9.0- nvidia/k8s-device-plugin:v0.17.0-ubi9- nvidia/cuda:12.6.2-base-ubi9- nvidia/cloud-native/dcgm:3.3.8-1-ubuntu22.04- nvidia/k8s/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04- nvidia/cloud-native/k8s-driver-manager:v0.7.0- nvidia/cloud-native/vgpu-device-manager:v0.2.8- nvidia/cloud-native/k8s-kata-manager:v0.2.2- nvidia/kubevirt-gpu-device-plugin:v1.2.10- nvidia/cloud-native/k8s-cc-manager:v0.1.1
-
-
Запустите плейбук
helm-nexus-proxy.yml, чтобы загрузить PaaS-артефакты в кеш Nexus:$ cd /opt/vkcloud/inventory/vkcloud/$ ansible-playbook -i vkcloud.yml --diff -e env=vkcloud ../ansible-openstack/playbooks/helm-nexus-proxy.yml -
Запустите плейбук
helm-magnum-addons.yml:$ ansible-playbook -i vkcloud.yml --diff -e env=vkcloud -e bootstrap=true \-t post-bootstrap,<ТИП_СЕТИ> \../ansible-openstack/playbooks/helm-magnum-addons.ymlЗдесь
<ТИП_СЕТИ>—provider-netдля провайдерских сетей илиextnetдля внешних сетей, выделенных каждому проекту.