Три дня до запуска: как Salebot развернул собственную языковую модель на GPU VK Cloud

**Задача:** развернуть собственную языковую модель без передачи данных клиентов во внешние сервисы. **Решение:** два GPU с NVLink в VK Cloud. **Результат:** инфраструктура готова за три дня, модель в работе.

[Salebot](https://salebot.pro/) — платформа для автоматизации бизнеса через чат-боты в MAX, Telegram, ВКонтакте, Авито и других каналах. Ежедневно через платформу проходит 60 млн сообщений, на ней работают 15 000+ компаний. AI-ассистент — один из ключевых продуктов: он отвечает клиентам, собирает заявки и ведёт по воронке.

Команда решила развернуть языковую модель на собственной инфраструктуре — без передачи данных клиентов внешним сервисам. Для AI-ассистента, который обрабатывает часть переписки на платформе с 60 млн сообщений в день, было важно соблюдение ключевых условий: - сохранность данных клиентов, - бесперебойная работа сервиса — модель должна отвечать быстро и стабильно независимо от внешних API. Требование к железу было конкретным: два GPU, объединённые через NVLink. Такая связка складывает память карт в общий пул — а с 141 ГБ HBM3e на каждой карте это открывает работу с моделями, которые не поместились бы на одну карту.

Рассматривали несколько вариантов. У одного из провайдеров качество оказалось недостаточным для соответствия требованиям Salebot. У другого нашлось нужное железо, но общение с самого начала не задалось. В итоге менеджер VK Cloud вышел с предложением, которое по качеству и срокам оказалось выгоднее обоих предыдущих вариантов.

Инфраструктура с запущенными на ней моделями была готова через три дня после обращения. Salebot развернул на ней языковую модель и подключил её к AI-ассистенту — часть переписки, которая раньше могла бы уходить во внешние LLM-сервисы, теперь обрабатывается на собственной инфраструктуре Salebot.