Как работает инференс LLM: от токенизации до генерации ответа

Что такое инференс LLM

Когда пользователь отправляет запрос языковой модели и получает ответ, происходит инференс — применение уже обученной модели. Это принципиально отличается от обучения (training), при котором модель настраивает веса на больших массивах данных. В рантайме веса зафиксированы: меняется только входная последовательность токенов.

Инференс — вычислительно затратный процесс. Он требует специализированного железа (GPU, других ускорителей) и оптимизированного программного стека, способного эффективно задействовать это железо. Большая часть GPU-инференса LLM опирается на CUDA — платформу параллельных вычислений NVIDIA, представленную в ноябре 2006 года.

Первый этап обработки запроса — токенизация. Текст разбивается на токены: подслова, слова или отдельные символы — согласно словарю конкретной модели. Один из самых распространённых алгоритмов субсловной токенизации — Byte Pair Encoding (BPE). Алгоритм был предложен для машинного перевода и позже адаптирован для нейронных языковых моделей.

Каждому токену присваивается числовой идентификатор. Дальше модель работает не с текстом, а с идентификаторами, преобразованными в эмбеддинги — векторные представления, которые проходят через слои сети.

Современные LLM построены на архитектуре трансформера, описанной в статье «Attention Is All You Need». Ключевой элемент — механизм self-attention: на каждом шаге модель взвешивает важность всех предыдущих токенов друг относительно друга и определяет, какие части последовательности учитывать при обработке текущего токена.

Большинство генеративных LLM используют decoder-only (авторегрессионную) архитектуру трансформера, где каждый следующий токен предсказывается на основе всех предыдущих. Пример — GPT-3: модель на 175 млрд параметров, генерирующая текст авторегрессивно, токен за токеном.

После обработки запроса модель генерирует ответ последовательно. На каждом шаге она предсказывает распределение вероятностей для следующего токена, выбирает один из них, добавляет к контексту и повторяет процесс — уже с учётом добавленного токена.

Генерация продолжается, пока модель не выдаст специальный токен конца последовательности (EOS) или не будет достигнут лимит длины ответа.

Поскольку каждый новый токен требует полного прохода через сеть, инференс-серверы применяют несколько техник оптимизации.

KV-кэш (key-value cache) сохраняет промежуточные вычисления attention для уже обработанных токенов. Это избавляет от повторного пересчёта на каждом новом шаге генерации.

PagedAttention — алгоритм управления памятью KV-кэша, реализованный в vLLM. Он снижает фрагментацию видеопамяти GPU и повышает throughput за счёт эффективного батчинга запросов.

Батчинг запросов — объединение нескольких пользовательских запросов в одну вычислительную партию. Вместо обработки по одному GPU обрабатывает запросы группами, что увеличивает пропускную способность инференс-сервера.