VK Private Cloud logo
Помощь
Обновлена 17 июля 2026 г. в 15:55

Отключение и включение стенда

Подсистема
Cloud Servers
Cloud Network
Load Balancing
Cloud Containers
Служебные компоненты
Компонент
RabbitMQ
Galera
MariaDB
Tarantool
Neutron
Magnum
Manila
Octavia

Перезагрузка стенда или его временное отключение могут потребоваться, например, при тестировании или в случае аварии в ЦОДе.

Для перезагрузки стенда последовательно выполните шаги:

  1. Отключите стенд.
  2. Включите стенд.
  3. Устраните ошибки, если они возникли.

Шаг 1: отключите стенд

Отключите стенд VK Private Cloud:

  1. Отключите все вычислительные узлы:

    # systemctl stop openstack-nova-compute# systemctl stop neutron-l3-agent# systemctl stop neutron-openvswitch-agent# systemctl stop neutron-metadata-agent# poweroff

  2. Отключите управляющие узлы:

    1. Найдите master-узел кластера Breeze. На любом из управляющих узлов выполните команду:

      # ETCDCTL_API=2 etcdctl --endpoints=http://127.0.0.1:22379 get /mcs/tarantool/breeze/clusters/breeze/master

      Команда вернет значение вида breeze_<N>. Здесь <N> — номер управляющего узла с ролью master.

    2. Остановите Breeze на всех управляющих узлах без роли master:

      # systemctl stop tarantool@$(ls /etc/tarantool/instances.available/ | grep breeze | awk -F'.' '{print $1}')# systemctl disable tarantool@$(ls /etc/tarantool/instances.available/ | grep breeze | awk -F'.' '{print $1}')

    3. Найдите master-узел кластера Dusk. На любом из управляющих узлов выполните команду:

      # ETCDCTL_API=2 etcdctl --endpoints=http://127.0.0.1:22379 get /mcs/tarantool/dusk/clusters/dusk/master

      Команда вернет значение вида dusk_<N>. Здесь <N> — номер управляющего узла с ролью master.

    4. Остановите Dusk на всех управляющих узлах без роли master:

      # systemctl stop tarantool@$(ls /etc/tarantool/instances.available/ | grep dusk | awk -F'.' '{print $1}')# systemctl disable tarantool@$(ls /etc/tarantool/instances.available/ | grep dusk| awk -F'.' '{print $1}')

    5. Остановите сервисы Neutron и OpenStack на всех управляющих узлах в порядке от последнего к первому:

      # systemctl stop neutron-dhcp-agent.service# systemctl stop neutron-l3-agent.service# systemctl stop neutron-metadata-agent.service# systemctl stop neutron-openvswitch-agent.service# systemctl stop openstack-barbican-worker.service# systemctl stop openstack-cinder-backup.service# systemctl stop openstack-manila-scheduler.service# systemctl stop openstack-manila-share.service# systemctl stop openstack-nova-conductor.service# systemctl stop openstack-nova-consoleauth.service# systemctl stop openstack-nova-novncproxy.service# systemctl stop openstack-nova-scheduler.service# systemctl stop openstack-barbican-api.service# systemctl stop openstack-cinder-api.service# systemctl stop openstack-glance-api.service# systemctl stop openstack-manila-api.service# systemctl stop openstack-nova-api.service# systemctl stop neutron-openvswitch-agent.service# systemctl stop neutron-server.service

    6. Отключите управляющие узлы в порядке от последнего к первому с перерывами по 5 минут:

      # poweroff

  3. Подождите 5 минут.

  4. Отключите узлы Ceph:

    1. Подключитесь к любому узлу Ceph и выполните команды:

      # ceph osd set noout# ceph osd set norebalance

    2. Отключите узлы Ceph в порядке от последнего к первому с перерывами по 5 минут:

      # poweroff

  5. Подождите 5 минут.

  6. Последовательно отключите узлы с помощью команды poweroff:

    1. Узел мониторинга.
    2. Оставшиеся узлы Платформы, например MinIO.
    3. Деплой-узел.

Шаг 2: включите стенд

Чтобы включить стенд VK Private Cloud версии 4.0:

  1. Включите деплой-ноду.

  2. Включите узлы Ceph:

    • Если их 3 или меньше, включайте в любом порядке.
    • Если их больше 3, включайте сначала MON-узлы, а затем OSD-узлы.

  3. Подождите 5 минут.

  4. Подключитесь к любому узлу Ceph и выполните команды:

    # ceph osd unset noout# ceph osd unset norebalance

  5. Убедитесь, что кластер находится в состоянии HEALTH_OK. Выполните команду:

    # ceph -s

  6. Включите узлы мониторинга и S3 (при наличии).

  7. Запустите сервисы и компоненты управляющих узлов:

  8. Перезапустите вычислительные узлы:

    1. Перезапустите chronyd на всех узлах Платформы, так как timedatectl не всегда показывает NTP synchronized: yes:

      # timedatectl # systemctl restart chronyd

    2. Выполните синхронизацию времени:

      # chronyc -a 'burst 4/4'# chronyc -a makestep

  9. Восстановите балансировщики:

    1. Убедитесь, что балансировщики нагрузки работают корректно после отключения и последующего включения Платформы:

      # source ~/openrc.sh# openstack loadbalancer list

    2. Если есть балансировщики с ошибкой:

      1. Запустите скрипт restore_lb.sh для каждого балансировщика с ошибкой:

        # sh restore_lb.sh <БАЛАНСИРОВЩИК>

        Здесь <БАЛАНСИРОВЩИК> — ID балансировщика, для которого запускается скрипт.

      2. Подождите 10 минут.

      3. Повторно получите список балансировщиков, чтобы убедиться, что они работают без ошибок.

Шаг 3: устраните ошибки, если они возникли

[OVS] Неисправные порты

Проблема

[OVS] Неисправные порты.

Решение

Подключитесь к узлу с этой проблемой и удалите порты со статусом error:

# for i in `ovs-vsctl show | grep -B3 error | grep Port | awk -F' ' '{print $2}'`; do ovs-vsctl del-port br-int $i; done

Ошибки ClickHouse и Consul

Проблема

  • Ошибка ClickHouse: distributed connection exceptions occured.
  • Ошибка Consul: Node's health score is over X.

Решение

  1. Выполните команды на управляющем узле cpn001:

    # systemctl stop clickhouse-server.service# systemctl disable clickhouse-server.service# systemctl restart clickhouse-server@vkcloud_ch_proxy.service

  2. Выполните команды на остальных управляющих узлах:

    # systemctl stop clickhouse-server.service# systemctl disable clickhouse-server.service# systemctl restart clickhouse-server@vkcloud_ch_cluster_audit_logs.service

Была ли статья полезна?