Визуально-лингвистические модели: как ИИ учится понимать изображения и текст одновременно

Визуально-лингвистические модели (VLM) объединяют обработку изображений и видео с обработкой естественного языка в единой архитектуре. В классической схеме CV-модель распознаёт объекты на картинке, NLP-модель обрабатывает текст, а результаты склеиваются вручную. VLM работают иначе: изображение и текст с самого начала проходят через общее эмбеддинг-пространство или общий трансформер.

Это часть более широкой эволюции мультимодального ИИ: от классификации изображений по фиксированному набору категорий к пониманию сцены целиком, диалогу об изображении и генерации контента по текстовому описанию.

Архитектурные подходы: как устроены VLM изнутри

Большинство современных VLM опираются на несколько типовых решений.

Contrastive-подход

Модель CLIP (Contrastive Language-Image Pre-training) от OpenAI использует раздельные энкодеры изображения и текста. Они обучаются сближать эмбеддинги совпадающих пар «картинка — подпись» и отдалять эмбеддинги несовпадающих пар; обучение идёт на большом наборе пар изображение-текст из интернета. Модель ALIGN от Google реализует ту же идею контрастивного обучения, но обучена на значительно большем и менее отфильтрованном наборе пар.

Vision Transformer как энкодер изображений

Типовой способ подать изображение в трансформер — Vision Transformer (ViT). Изображение разбивается на фиксированные патчи (например, 16×16 пикселей), которые линейно проецируются и подаются в трансформер как последовательность токенов, по аналогии с токенами текста.

Encoder-decoder и captioning-подход

BLIP-2 сопрягает готовый замороженный визуальный энкодер и готовую замороженную большую языковую модель через компактный обучаемый модуль Q-Former. Такая схема резко снижает вычислительные затраты по сравнению с обучением мультимодальной архитектуры с нуля.

Fusion-подход: мультимодальные LLM

Визуальный энкодер соединяется с предобученной языковой моделью через проекционный слой, а дообучение проходит на инструкциях с изображениями.

• LLaVA (Large Language and Vision Assistant) обучается методом visual instruction tuning: визуальный энкодер связан с языковой моделью через проекционный слой, дообучение идёт на сгенерированных парах «изображение — инструкция — ответ».
• GPT-4V добавляет возможность анализировать изображения прямо в диалоге — распознавать объекты, читать текст на картинке, интерпретировать схемы и графики.
• Flamingo от DeepMind способна к few-shot обучению на произвольно чередующихся последовательностях изображений и текста без дообучения весов под конкретную задачу.

Ключевые модели и этапы развития

Развитие VLM прослеживается по цепочке моделей, каждая из которых закрывала конкретный архитектурный или прикладной пробел.

• Vision Transformer (2020) — перенёс архитектуру трансформера из NLP в обработку изображений, разбивая картинку на патчи-токены.
• CLIP и ALIGN (2021) — первые массовые contrastive-модели, обученные на веб-масштабных парах изображение-текст.
• BLIP-2 (2022–2023) — показала, как эффективно сопрягать готовый визуальный энкодер и LLM через промежуточный модуль без обучения с нуля.
• Flamingo (2022) — продемонстрировала few-shot мультимодальное обучение на смешанных последовательностях изображений и текста.
• LLaVA и GPT-4V (2023) — превратили VLM в визуальных ассистентов с диалоговым интерфейсом, обученных через instruction-tuning.
• RT-2 (2023) — перенесла подход VLM в робототехнику: модель, обученная на веб-данных и данных робота, напрямую генерирует токены действий по изображению камеры и текстовой инструкции.

Где применяются VLM