Задачи, возможности и кейсы применения Bare Metal от VK Cloud

Bare Metal — сервис VK Cloud, который позволяет взять в аренду выделенные физические серверы. Сервис активно развивается и применяется бизнесом для решения всевозможных задач.

В статье рассмотрим, в каких сценариях может понадобиться аренда физических серверов и какие возможности доступны в рамках сервиса, а также разберем несколько реальных кейсов применения Bare Metal в ИТ-инфраструктурах.

Типовые запросы бизнеса

В большинстве случаев бизнес рассматривает облачные платформы в качестве наиболее рационального решения в нескольких типовых сценариях.

• Требуется гарантированная производительность. Например, когда требуется инфраструктура, которая обеспечить предсказуемое быстродействие для ключевых систем, среди которых ERP, базы данных, аналитические платформы, высоконагруженные приложения.
• Важна гибкость и быстрое масштабирование. Когда важно получать необходимые ресурсы оперативно и с гибкой моделью оплаты.
• В приоритете контроль затрат и снижение рисков. Когда нужна предсказуемая экономика ИТ-инфраструктуры и возможность запускать новые проекты без крупных капитальных инвестиций.

При этом традиционные способы решения этих задач предполагают две модели развертывания сервисов:

On-Premises. Развертывание сервисов на собственной инфраструктуре компании, что гарантирует полный физический контроль над оборудованием. Нюанс подобного инфраструктурного подхода в том, что все задачи по закупке, настройке и администрированию инфраструктуры остаются на стороне компании, что требует больших капитальных затрат и высокой компетенции команды, а также подразумевает самостоятельную реализацию соответствия требованиям регуляторов.

Облачные ВМ. Подход позволяет практически мгновенно получать вычислительные ресурсы в виртуализации провайдера, имеет максимальную гибкость из всех возможных вариантов (как с точки зрения экономики, так и с точки зрения расширения). Однако, не лишен некоторых недостатков в виде отсутствия контроля за нагрузкой на конкретные гипервизор в моменте времени, отсюда могут быть “плавающие” проблемы с производительностью.

Вместе с тем, есть и еще один вариант, который сочетает преимущества использования «железа» и облачных решений — аренда выделенных физических серверов в рамках сервиса Bare Metal. В подобной модели развертывания инфраструктуры пользователь может быстро (за минуты) получать выделенные, изолированные сервера и полностью контролировать их, причем без капитальных инвестиций (оплачивается только аренда). К тому же обслуживание оборудования остается на стороне вендора.

Важно и то, что зачастую пользователь получает не просто «железо», а полноценный сервис с множеством функциональных возможностей.

Функциональные возможности Bare Metal на примере сервиса VK Cloud

Сервис Bare Metal от VK Cloud имеет большой набор функциональных возможностей. Выделим основные.

• Управление жизненным циклом. Жизненный цикл физических серверов полностью автоматизирован. Сервис поддерживает автоматические процедуры деплоя и удаления оборудования, управление питанием (включение, выключение), переименование узла и помещение в карантин перед освобождением для безопасности данных (чтобы гарантировать полное удаление данных предыдущего арендатора и исключить их утечку новому клиенту).
• ОС, образы и доступ. Сервис предлагает гибкую работу с программным обеспечением: установку ОС из пула готовых образов провайдера, загрузку собственных клиентских ISO-образов без ограничений по типу системы или запуск серверов совсем без ОС. Поддержка User-Data позволяет выполнять постинсталляционные скрипты после установки, что реализует сценарии Bring Your Own Metal. Управление SSH-ключами централизовано.
• Сетевая интеграция с облаком и сетевая фабрика. Физические серверы бесшовно интегрируются в облачную сеть платформы. Доступны изолированные приватные сети, микросегментация на базе VLAN, встроенные сервисы Cloud DHCP и Cloud DNS, а также публичный доступ через Floating IP. Также сервис поддерживает агрегацию сетевых интерфейсов, работу с L2-сетями, изменение конфигураций сети и маршрутизацию публичного трафика через аппаратный уровень. Решение готово к высоким нагрузкам благодаря поддержке Infiniband и высокоскоростных Ethernet-портов.
• Наблюдаемость и надежность. Провайдер берет на себя полную ответственность за доступность железа. Работает непрерывный мониторинг здоровья самих серверов и управляющей прослойки. Любые отклонения фиксируются системой алертинга, которая мгновенно уведомляет дежурную смену инженеров для проактивной реакции. При этом поддержка уровня операционной системы и приложений остается задачей клиента.
• Экономика и потребление. Сервис выстроен по принципам самообслуживания с прозрачной моделью Pay-as-you-go, схожей с тарификацией виртуальных машин.

Благодаря такой функциональности Bare Metal может быть применен в разных сценариях, среди которых:

• Развертывание высоконагруженных приложений — например, корпоративных ERP/CRM систем, баз данных, кластеров Big Data.
• Собственная виртуализация и контейнеризация — развертывание VMware, Kubernetes и других популярных платформ на выделенных ресурсах.
• GPU-ускорение — обучение и инференс моделей, 3D-графика, транскодирование с прямым доступом к GPU.
• Выполнение требований регуляторов — использование сертифицированной инфраструктуры в сферах, где государственные регуляторы и корпоративные стандарты разрешают работу только с изолированным, подконтрольным серверным оборудованием (например, финансовый и госсектор).
• Построение гибридной инфраструктуры — комбинирование физических и виртуальных ресурсов в едином ландшафте.

Кейсы применения Bare Metal

Для наглядности разберем несколько кейсов успешного применения Bare Metal в архитектурах клиентов VK Cloud.

Развертывание высоконагруженных приложений

Один из клиентов VK Cloud пришел с запросом на подготовку инфраструктуры для размещения высоконагруженных приложений. При этом требовались стабильная сетевая производительность, контролируемое распределение нагрузки по серверам и возможность быстрого масштабирования инфраструктуры.

Под эти задачи была развернута инфраструктура из более 50 Bare Metal-серверов, а также были реализованы:

• маршрутизация публичного трафика через аппаратную фабрику;
• аллокация клиентских ip-адресов (BYOIP);
• приватная связность с виртуальной инфраструктурой.

В результате клиент получил инфраструктуру, которая уже сейчас способна обрабатывать свыше 300 Гбит публичного трафика на постоянной основе, и имеет потенциал масштабирования пропускной способности до нескольких Тбит в течение короткого времени.

Здесь стоит отметить, что в архитектуре применен компонент ISP Router (сетевой маршрутизатор). Он обеспечивает возможность интегрировать и использовать чужую по отношению к VK Cloud автономную систему, то есть гибко управлять доступными ресурсами, в том числе для построения гибридной инфраструктуры.

Гибридная инфраструктура

Для гибридизации инфраструктуры внутри облака мы применяем несколько компонентов и реализовываем несколько механик, среди которых:

• сетевая связность на уровне L2 между физическими серверами Bare Metal и виртуальными машинами;
• VXLAN транспорт в сетевой фабрике от физического сетевого оборудования фабрики в слое Bare Metal до узлов виртуализации (гипервизоров);
• VLAN транспорт на порту физического сетевого оборудования фабрики в слое Bare Metal.

Благодаря этому мы имеем гибридный SDN, который растянут на всё облако.

Собственная виртуализация

Еще один пример применения Bare Metal — построение собственной платформы виртуализации.

С подобным запросом к команде VK Cloud обратился Skillbox, которому нужно было перенести собственные приложения в облако, но сохранить привычную среду управления виртуальными ресурсами и оставить без изменений CI/CD-процессы и контроль над инфраструктурой.

В соответствии с запросом команда VK Cloud развернула несколько compute/storage-кластеров на основе Bare Metal, выделила отдельные серверы под БД и настроила объектное хранилище для бэкапов.

При этом взаимодействие уровня сетевой фабрики, проекта клиента в облаке и физических серверов Bare Metal реализовано через L2 Direct Connect.

Сетевая связность на уровне L2 между виртуальными сетями Облака и активным сетевым оборудованием клиента в On-Prem инфраструктуре обеспечивает VXLAN транспорт в фабрике от физического сетевого оборудования фабрики на точке присутствия до узлов виртуализации (гипервизоров).

Сетевую связность на уровне L2 между физическими серверами Bare Metal и активным сетевым оборудованием клиента в On-Prem инфраструктуре обеспечивают VXLAN транспорт в фабрике от физического сетевого оборудования фабрики на точке присутствия оборудования в слое Bare Metal и VXLAN транспорт на порту физического сетевого оборудования фабрики в слое Bare Metal.

Миграция была выполнена бесшовно (без смены гипервизора, адресации и других изменений) и теперь приложения заказчика работают в контролируемой инженерами Skillbox инфраструктурной виртуализации. Что важно — производительность инфраструктуры не снизилась, но, по сравнению с размещением всего контура в публичной виртуализации, компания смогла значительно сократить расходы.

Инфраструктура с GPU

Помимо прочего Bare Metal можно применить для развертывания инфраструктуры с GPU. Так, одному из клиентов VK Cloud требовалась изолированная среда для GPU-нагрузок с быстрым обменом между узлами, приватным доступом к данным.

Решением стало развертывание:

• нескольких GPU Bare Metal-серверов и InfiniBand между узлами;
• Ethernet для сервисного трафика;
• Private Link до S3.

Здесь стоит особо выделить InfiniBand фабрику. Так, эта технология позволяет объединить несколько физических машин в единое вычислительное пространство. Она полностью убирает традиционное узкое место в виде стандартного сетевого протокола Ethernet, поскольку скорость передачи данных и принципы работы InfiniBand существенно отличаются от привычных сетей. Это критически важно для задач распределенного обучения нейросетей или рендеринга, где задержка при обмене данными между видеокартами разных серверов может свести на нет всю мощность оборудования.

Пример гибридной архитектуры от VK Cloud

Анализ проектов и запросов клиентов показал, что Bare Metal зачастую применяют не обособленно, а в качестве элемента гибридной инфраструктуры. Исходя из этого, мы приняли решение разработать свой вариант такой архитектуры.

Так, техническая реализация нашей архитектуры строится на обеспечении сетевой связности на уровне L2 между физическими серверами Bare Metal, виртуальными сетями облака и сетевым оборудованием клиента в инфраструктуре On-Premises.

Для передачи трафика внутри фабрики используется VXLAN транспорт от физического сетевого оборудования на точке присутствия до оборудования в слое Bare Metal, а также аналогичный VXLAN транспорт от того же физического оборудования до узлов виртуализации — гипервизоров. При этом сохраняется поддержка классического VLAN транспорта непосредственно на порту физического сетевого оборудования в слое Bare Metal для совместимости со специфическими требованиями заказчиков.

Для администратора вся эта среда выглядит как единое целое. Управление происходит через привычные инструменты — API или инфраструктуру как код (Terraform), что минимизирует вероятность ошибок при настройке. При этом использование подобной архитектуры не только упрощает администрирование, но и потенциально позволяет получить конкретные бизнес-выгоды в виде:

• сокращения сроков реализации инфраструктурных изменений с дней и недель до нескольких часов или минут;
• ускорения вывода новых сервисов в эксплуатацию;
• повышения предсказуемости работы приложений благодаря контролируемым ресурсам.

Планы развития

Команда VK Cloud продолжает активно развивать Bare Metal. Так, в ближайшее время для аренды станут доступны:

• Высокопроизводительные процессоры AMD EPYC 9575F. Они подойдут для CPU-heavy нагрузки и будут оптимальны для задач БД, аналитики, compute.
• Процессоры Intel нового поколения. Они справятся с рабочей нагрузкой Enterprise-проектов и любыми другими стандартными ВМ-сценариями.
• 1-сокетные High Frequency. Их преимущество — высокая производительность на одно ядро и простая NUMA-модель. Подобные компоненты подойдут для Low Latency-приложений.

Помимо доступной инфраструктуры «под капотом», будет дополнен и функционал сервиса. Например, в планах: расширение пула поддерживаемых Linux OS;

• поддержка отказоустойчивых сетевых подключений;
• интеграция с Managed Kubernetes;
• адаптация новых серверных платформ;
• поддержка дополнительных моделей тарификации;
• партиционирование дисков и не только.
• Подробнее об обновлениях будем сообщать по мере их релиза — следите за новостями.