VK Cloud logo

Мониторинг

При установке ОС, а также при заказе нового сервера доступна опция Включить мониторинг. С ее помощью устанавливается агент мониторинга telegraf.

Агент собирает метрики сервера Bare Metal и передает их в сервис Cloud Monitoring. Это позволяет отслеживать загрузку процессора, использование памяти и дискового пространства, нагрузку сети и другие показатели.

Вы можете посмотреть минимальный набор метрик сервера в его карточке в личном кабинете VK Cloud или подготовить собственный дашборд с графиками.

Метрики сервера Bare Metal

Агент собирает метрики операционной системы раз в 10 секунд и передает их в пространство имен mcs/baremetal.

Метки сервиса Bare Metal в Cloud Monitoring:

  • service_id — имеет значение BMaaS.
  • group_id — имеет значение Server.
  • stream_id — идентификатор сервера, который можно узнать в карточке сервера.

Процессор

Все метрики отображают текущее значение суммарно по всем ядрам процессора.

Метка в Cloud Monitoring — cpu=cpu-total.

Метрика

Описание

cpu_usage_user

Доля времени, в течение которого процессор обрабатывает пользовательские процессы.

Используется для оценки нагрузки, создаваемой пользовательскими приложениями.

Единицы измерения: %

cpu_usage_system

Доля времени, в течение которого процессор обрабатывает системные процессы на уровне ядра ОС.

Позволяет обнаружить аномалии в работе системы, например частые системные вызовы или активную работу с диском и сетью.

Единицы измерения: %

cpu_usage_iowait

Доля времени простоя процессора в ожидании завершения операций ввода-вывода.

Используется для выявления задержек в работе подсистемы хранения. Причины могут быть разными: накопитель не справляется с нагрузкой; процессы конкурируют за ввод-вывод; неправильно работает драйвер или низкоуровневое ПО, неисправна шина передачи данных или сам накопитель.

Единицы измерения: %

cpu_usage_irq

Доля времени, в течение которого процессор обрабатывает аппаратные прерывания.

Позволяет выявить высокую нагрузку при обработке запросов от оборудования, например от сетевых адаптеров при интенсивном трафике.

Единицы измерения: %

cpu_usage_guest

Доля времени, в течение которого процессор выполняет код гостевых ОС.

Позволяет оценить утилизацию ресурсов виртуальными машинами, если на сервере используется гипервизор.

Единицы измерения: %

Память

Все метрики отображают текущее значение. Метки Cloud Monitoring не используются.

Метрика

Описание

mem_used_percent

Доля используемой оперативной памяти от общего объема.

Используется для оценки потребления памяти.

Единицы измерения: %

mem_used

Объем используемой оперативной памяти.

Используется для оценки потребления памяти в абсолютных значениях.

Единицы измерения: байты

mem_available_percent

Доля доступной памяти от общего объема.

Позволяет оценить доступный ресурс оперативной памяти для новых пользовательских приложений.

Единицы измерения: %

mem_available

Объем памяти, доступный приложениям без обращения к файлу подкачки.

Позволяет оценить доступный ресурс оперативной памяти для новых пользовательских приложений в абсолютных значениях.

Единицы измерения: байты

mem_cached

Объем памяти, занятой кешем файловой системы.

Позволяет оценить объем оперативной памяти, используемой ОС для ускорения работы с диском.

Единицы измерения: байты

mem_dirty

Объем данных в памяти в очереди на запись.

Позволяет выявить задержки в работе подсистемы хранения, если значение высокое или быстро растет одновременно с cpu_usage_iowait. Возможные причины описаны для метрики cpu_usage_iowait.

Единицы измерения: байты

mem_free

Объем памяти, которая никак не используется.

Позволяет отличить действительно свободную память от других типов.

Единицы измерения: байты

Файловые системы

Собирается текущее значение для каждой файловой системы.

Метки Cloud Monitoring:

  • device — имя устройства без префикса /dev/;
  • path — точка монтирования;
  • fstype — файловая система.

Служебные файловые системы tmpfs, devtmpfs, devfs, iso9660, overlay, aufs, squashfs не учитываются.

Метрика

Описание

disk_used_percent

Заполнение файловой системы.

Используется для отслеживания утилизации места накопителей.

Единицы измерения: %

disk_free

Объем свободного места в файловой системе.

Используется для оценки доступного ресурса накопителей в абсолютных значениях.

Единицы измерения: байты

disk_inodes_free

Количество свободных индексных дескрипторов (inodes) в файловой системе.

Позволяет обнаружить нехватку индексных дескрипторов (inodes) под хранение метаданных. Их количество ограничено и, при наличии множества мелких файлов, индексные дескрипторы могут закончиться раньше, чем место на диске, что приведет к невозможности создания новых объектов.

Единицы измерения: штуки

Дисковый ввод-вывод

Отдельное значение собирается для каждого диска. Все метрики отображают значение счетчика с момента загрузки ОС.

В Cloud Monitoring используется метка name — имя устройства без префикса /dev/.

Метрика

Описание

diskio_reads

Количество выполненных операций чтения.

Используется для оценки интенсивности операций на чтение (IOPS).

Единицы измерения: штуки

diskio_writes

Количество выполненных операций записи.

Используется для оценки интенсивности операций на запись (IOPS).

Единицы измерения: штуки

diskio_read_bytes

Объем прочитанных данных.

Используется для оценки скорости чтения с диска за счет сравнения промежуточных значений.

Единицы измерения: байты

diskio_write_bytes

Объем записанных данных.

Используется для оценки скорости записи на диск за счет сравнения промежуточных значений.

Единицы измерения: байты

diskio_read_time

Общее время выполнения операций чтения.

Позволяет выявить рост задержки при чтении за счет сравнения промежуточных значений.

Единицы измерения: миллисекунды

diskio_write_time

Общее время выполнения операций записи.

Позволяет выявить рост задержки при записи за счет сравнения промежуточных значений.

Единицы измерения: миллисекунды

diskio_io_time

Время, в течение которого диск был занят операциями ввода-вывода.

Позволяет выявить рост общего времени на операции ввода-вывода за счет сравнения промежуточных значений.

Единицы измерения: миллисекунды

diskio_weighted_io_time

Время занятости диска, взвешенное по числу запросов в очереди.

Позволяет выявить перегрузку диска: значение растет быстрее, чем diskio_io_time, если запросы выстраиваются в очередь.

Единицы измерения: миллисекунды

Сеть

Отдельное значение собирается для каждого сетевого интерфейса. Кроме netstat_tcp_established, все метрики отображают значение счетчика с момента загрузки ОС. Для netstat_tcp_established указывается текущее значение.

В Cloud Monitoring используется метка interface — имя сетевого интерфейса, которое используется на уровне ядра Linux.

Метрика

Описание

net_bytes_sent

Объем отправленных данных.

Используется для оценки исходящего трафика.

Единицы измерения: байты

net_bytes_recv

Объем полученных данных.

Используется для оценки входящего трафика.

Единицы измерения: байты

net_packets_sent

Количество отправленных пакетов.

Используется для оценки интенсивности исходящего трафика в пакетах.

Единицы измерения: штуки

net_packets_recv

Количество полученных пакетов.

Используется для оценки интенсивности входящего трафика в пакетах.

Единицы измерения: штуки

net_err_in

Количество ошибок при приеме пакетов.

Позволяет выявить проблемы с сетевым оборудованием или каналом связи за счет увеличения количества.

Единицы измерения: штуки

net_err_out

Количество ошибок при отправке пакетов.

Позволяет выявить проблемы с сетевым оборудованием или каналом связи за счет увеличения количества.

Единицы измерения: штуки

net_drop_in

Количество отброшенных входящих пакетов.

Позволяет выявить перегрузку сетевого интерфейса или ОС.

Единицы измерения: штуки

net_drop_out

Количество отброшенных исходящих пакетов.

Позволяет выявить перегрузку сетевого интерфейса или ОС.

Единицы измерения: штуки

netstat_tcp_established

Количество установленных TCP-соединений.

Используется для оценки количества активных подключений к серверу.

Единицы измерения: штуки

GPU

Для серверов с GPU собирается отдельное значение для каждого устройства. Все метрики отображают текущее значение, запрошенное с помощью утилиты nvidia-smi.

В Cloud Monitoring используется метки:

  • index — порядковый номер GPU на сервере, начиная с 0;
  • uuid — уникальный идентификатор GPU;
  • name — модель GPU.

Метрика

Описание

nvidia_smi_utilization_gpu

Загрузка вычислительных ядер GPU.

Используется для оценки нагрузки на GPU.

Единицы измерения: %

nvidia_smi_utilization_memory

Загрузка шины памяти GPU.

Позволяет выявить ограничение производительности из-за скорости доступа к VRAM.

Единицы измерения: %

nvidia_smi_memory_used

Объем используемой памяти GPU.

Используется для отслеживания утилизации памяти VRAM.

Единицы измерения: МиБ

nvidia_smi_memory_free

Объем свободной памяти GPU.

Используется для отслеживания свободного ресурса VRAM.

Единицы измерения: МиБ

nvidia_smi_memory_total

Общий объем памяти GPU.

Позволяет оценить общий объем VRAM и сопоставить его с показателями nvidia_smi_memory_used и nvidia_smi_memory_free.

Единицы измерения: МиБ

nvidia_smi_temperature_gpu

Температура GPU.

Используется для отслеживания температуры, чтобы предотвратить снижение частоты (throttling).

Единицы измерения: °C

nvidia_smi_power_draw

Потребляемая GPU мощность.

Используется для оценки энергопотребления.

Единицы измерения: Вт

nvidia_smi_clocks_current_graphics

Текущая частота графического процессора.

Позволяет отследить снижение частоты (throttling) при перегреве или ограничении мощности.

Единицы измерения: МГц

nvidia_smi_clocks_current_memory

Текущая частота памяти GPU.

Позволяет отследить снижение частоты памяти при перегреве или ограничении мощности.

Единицы измерения: МГц

nvidia_smi_fan_speed

Скорость вращения вентилятора GPU в процентах от максимальной.

Используется для проверки работы системы охлаждения.

Единицы измерения: %

nvidia_smi_pcie_link_gen_current

Текущее поколение интерфейса PCIe, по которому подключен GPU.

Позволяет проанализировать производительность работы GPU с учетом поколения интерфейса.

Единицы измерения: номер поколения

nvidia_smi_pcie_link_width_current

Текущее количество линий PCIe, по которым подключен GPU.

Позволяет проанализировать производительность работы GPU с учетом количества линий.

Единицы измерения: количество линий

nvidia_smi_retired_pages_double_bit

Количество страниц памяти GPU, отключенных из-за неисправимых ошибок ECC.

Позволяет выявить неисправность VRAM.

Единицы измерения: штуки

nvidia_smi_remapped_rows_uncorrectable

Количество строк памяти GPU, переназначенных из-за неисправимых ошибок.

Позволяет выявить неисправность VRAM.

Единицы измерения: штуки

Графики стандартного дашборда

График

Описание

RAM Used

Позволяет оценить потребление памяти.

Метрики: mem_used_percent.

Величина: %

Current IOWait

Позволяет выявить задержки в работе подсистемы хранения. Возможные причины описаны для метрики cpu_usage_iowait.

Метрики: cpu_usage_iowait.

Величина: %

Current CPU

Позволяет оценить общую загрузку процессора.

Метрики: сумма cpu_usage_user, cpu_usage_system, cpu_usage_iowait, cpu_usage_irq, cpu_usage_guest.

Величина: %

Disk Used

Позволяет отследить утилизацию места в файловой системе.

Метрики: disk_used_percent (максимальное значение среди всех файловых систем).

Величина: %

CPU

Позволяет проследить, как во времени меняется нагрузка от приложений и ожидание ввода-вывода.

Метрики: cpu_usage_user (ряд User), cpu_usage_iowait (ряд IO wait).

Величина: %

RAM

Позволяет проследить, как во времени меняется заполнение оперативной памяти.

Метрики: mem_used_percent (ряд Used).

Величина: %

Disk IO

Позволяет проследить, как во времени меняется скорость чтения и записи на диски.

Метрики: diskio_read_bytes (ряд Reads), diskio_write_bytes (ряд Writes), в виде скорости изменения (rate), суммарно по всем дискам.

Величина: байт/с

Disk used

Позволяет проследить, как во времени меняется заполнение каждой файловой системы.

Метрики: disk_used_percent, по одному ряду для каждой файловой системы.

Величина: %

Network

Позволяет проследить, как во времени меняется скорость отправки и получения данных по сети.

Метрики: net_bytes_sent (ряд Sent), net_bytes_recv (ряд Received), в виде скорости изменения (rate), суммарно по всем сетевым интерфейсам.

Величина: байт/с

Была ли статья полезна?