Cloud Sessions #2: инфраструктура для ИИ

При разработке прототипа сервиса инференса LLM мы попробовали использовать Ray Serve + vLLM, но быстро поняли, что такое решение связано с рядом проблем – отсутствием изоляции моделей, конфликтами библиотек в одном постоянно увеличивающемся образе, сложностями реализации своих парсеров ризонинга и вызова туллов; весь трафик упирался в самодельный шлюз с ручной маршрутизацией запросов. Стало ясно, что для SaaS и PaaS нужен другой подход к архитектуре инференса. Мы сравнили несколько вариантов сервинга под нагрузкой на разных конфигурациях Qwen3.6-27B и увидели, что один вариант заметно обошел остальных: в результате выбрали его и начали переезд. На чем мы остановились — расскажу в докладе. А еще подробно разберу, на чем строится архитектура нового решения, как разворачиваем в нем модели, как разделили их по отдельным контейнерам и видеокартам и упростили маршрутизацию и что получилось в итоге.

Один запрос к корпоративному ИИ может запустить целую цепочку действий: поиск данных, вызовы инструментов, проверки и повторные попытки. Каждый шаг расходует токены, а подключение внутренних систем добавляет вопросы безопасности. Как понять, на что уходят деньги, какие данные можно передавать модели и где нужно согласование пользователя? Алексей расскажет об инженерных подходах, которые применяют в «Азбуке вкуса» при развитии корпоративной ИИ-платформы. Разберёт, как поиск инструментов и оптимизация вызовов помогли сократить расход токенов на запросы до 80%, почему модель с более дорогим входом может оказаться выгоднее за счёт кэша и как автоматически выбирать уровень рассуждений под сложность задачи. Отдельно покажет подходы к выявлению конфиденциальных данных, маршрутизации запросов в доверенный контур и проверке действий ИИ перед записью в корпоративные системы. Поделится, как с помощью логов, метрик и обратной связи пользователей находят причины ошибок и проверяют, что оптимизация расходов сохраняет качество результата.

ИИ ускоряет работу, но сотрудники несут во внешние LLM договоры, выгрузки из учётных систем и переписку с клиентами — с ФИО, телефонами, закупочными ценами и маржой. Знакомо? Один из подходов — вынести обработку чувствительной информации в LLM Security Gateway, который перехватывает запросы, преобразует чувствительное перед отправкой во внешнюю модель и возвращает значения в ответе на стороне корпоративного контура. В докладе расскажу, как мы в «Ароматном Мире» строим шлюз маскирования для персональных данных и коммерческой тайны. • Как находить сотрудников, клиентов, поставщиков и бренды по справочникам из учётных систем. • Почему умножить цены на секретный коэффициент — плохая идея и как вынести вычисления внутрь контура, чтобы модель анализировала Excel, не увидев ни одной цены. • Почему русский язык усложняет задачу и как вернуть фамилию в ответ в правильном падеже. • Отдельно — про агентов: модель вызывает инструменты с масками, а корпоративные системы получают реальные значения. • И почему шлюз можно построить без хранилища соответствий и где маскирование перестаёт работать в принципе.

После докладов афтепати с пиццей и нетворкингом: задать вопросы авторам напрямую и обсудить с коллегами в кулуарах интересующие темы.