Что такое токенизация и почему языковые модели считают текст не так, как человек

Языковая модель не видит буквы и слова напрямую. На входе нейросети последовательность чисел: идентификаторов токенов из фиксированного словаря. Перевод сырого текста в такую последовательность называется токенизацией — это отдельный шаг предобработки, который выполняется до того, как текст попадает в саму сеть.

Токен — не синоним слова. В зависимости от алгоритма и языка токеном может стать часть слова, целое слово, знак препинания или фрагмент юникод-символа (например, часть эмодзи). Длина текста в токенах и в словах почти никогда не совпадает.

Что такое токен и зачем он нужен модели

Языковая модель не видит буквы и слова напрямую. На входе нейросети последовательность чисел: идентификаторов токенов из фиксированного словаря. Перевод сырого текста в такую последовательность называется токенизацией — это отдельный шаг предобработки, который выполняется до того, как текст попадает в саму сеть.

Токен — не синоним слова. В зависимости от алгоритма и языка токеном может стать часть слова, целое слово, знак препинания или фрагмент юникод-символа (например, часть эмодзи). Длина текста в токенах и в словах почти никогда не совпадает.

Почему не разбивать текст по словам или по буквам

Самый очевидный вариант — разбить текст по словам. У него два практических ограничения:

1. Огромный словарь. Нужно заранее перечислить все формы всех слов языка.
2. Проблема out-of-vocabulary. Модель неизбежно встретит слово, которого не было в обучающем словаре, и для него просто не окажется токена.

Противоположная крайность — токенизация по отдельным символам или байтам. Словарь компактный, зато последовательности получаются очень длинными: то, что уместилось бы в десяток токенов при разбиении по словам, превращается в сотни элементов. Длина последовательности напрямую определяет вычислительные затраты.

Subword-токенизация — компромисс между этими крайностями. Частые слова остаются целыми токенами, редкие или незнакомые разбиваются на более мелкие, но осмысленные куски. Этот подход лежит в основе всех крупных семейств языковых моделей.

Как работает BPE (Byte Pair Encoding)

Byte Pair Encoding — алгоритм, изначально применявшийся для сжатия данных. В 2016 году Рико Сеннрих, Барри Хэддоу и Александра Бёрч адаптировали его для нейронного машинного перевода и сегментации редких слов на подслова.

Словарь строится итеративно. На каждом шаге алгоритм находит самую частую пару соседних символов (или уже собранных подслов) и объединяет её в новый токен. Процесс повторяется, пока словарь не достигнет заданного размера.

GPT-2 использует вариант этого подхода — byte-level BPE. Он работает не с юникод-символами, а с байтами UTF-8, поэтому любой текст раскладывается без токенов «неизвестное слово»: даже редкий символ представляется составляющими его байтами.

Альтернативный подход: SentencePiece и Unigram LM

BPE — не единственный способ построить subword-словарь. SentencePiece обучается напрямую на сырых предложениях, без предварительного разбиения текста по пробелам. Это делает токенизатор языконезависимым и пригодным для языков, где границы слов не обозначены явно (китайский, японский, тайский).

Внутри SentencePiece может использоваться Unigram Language Model — подход, устроенный противоположно BPE. Вместо объединения пар символов «снизу вверх» Unigram LM начинает с большого словаря и итеративно сокращает его, удаляя токены, потеря которых меньше всего ухудшает правдоподобие модели.

Токенизаторы конкретных семейств моделей

Размер словаря заметно отличается от поколения к поколению:

OpenAI публикует открытую библиотеку tiktoken, которая реализует byte-pair-encoding-токенизацию для этих моделей. С её помощью можно заранее посчитать, сколько токенов займёт конкретный текст.

Практические следствия для разработчиков

Длина контекстного окна модели измеряется в токенах, а не в словах или символах. Объём текста, который «влезет» в запрос, зависит от того, как конкретный токенизатор разбивает именно этот язык и тип контента.

Числа, редкие слова, программный код и не-английские языки могут разбиваться на неожиданно большое количество токенов. С этой механикой связан ряд характерных особенностей поведения моделей: