Multimodal CoLRAG-TF: новый стандарт RAG для сложных PDF
Исследователи представили Multimodal CoLRAG-TF — архитектуру с четырёхосевой фильтрацией, которая объединяет dense-эмбеддинги, BM25, граф знаний и изображения для работы с гетерогенными PDF. Решение решает проблемы многомодального контента и многошагового вывода.
Генерация с дополненной выборкой (Retrieval-Augmented Generation, RAG) стала стандартом для работы с большими объёмами текстов, но сталкивается с серьёзными трудностями при обработке сложных PDF-документов. Смешанный контент — текст, таблицы, диаграммы, изображения — в сочетании с узкоспециализированной терминологией и необходимостью многошаговых рассуждений (multi-hop reasoning) требует принципиально новых архитектур. В новой работе на arXiv представлен Multimodal CoLRAG-TF — фреймворк, предлагающий четырёхосевой подход к фильтрации и объединению разнородных данных.
Что произошло
Группа исследователей опубликовала препринт Multimodal CoLRAG-TF: Triple-Filtered Retrieval for Complex PDFs (arXiv:2607.20517v1). В основе архитектуры лежит четыре канала извлечения информации: плотные текстовые эмбеддинги (dense embeddings) для семантической близости, классический BM25 для точного совпадения ключевых слов, тройная фильтрация через граф знаний (knowledge-graph triple filtering) и отдельный канал для обработки изображений. Все четыре потока синтезируются в едином модуле слияния, что позволяет системе одновременно учитывать текстовую, структурную и визуальную информацию из PDF. Эксперименты на бенчмарках показали значительное повышение точности извлечения релевантных фрагментов по сравнению с существующими RAG-решениями.
Почему это важно
Современные RAG-системы, как правило, полагаются на один или два канала поиска (например, dense + BM25) и игнорируют визуальные элементы и логические связи между разрозненными фрагментами. Multimodal CoLRAG-TF закрывает этот пробел. Добавление графа знаний позволяет системе выполнять многошаговые рассуждения: например, связывать упоминание химического соединения в тексте с его структурной формулой на изображении и числовыми данными из таблицы. Тройная фильтрация на уровне графа (triple filtering) отсеивает шум и нерелевантные связи, что критически важно для доменов с высокой терминологической плотностью — медицина, юриспруденция, инженерные науки. Авторы подчёркивают, что их подход особенно эффективен для PDF-коллекций, где информация распределена по страницам и модальностям.
«Мы показываем, что четырёхосевая интеграция — плотные эмбеддинги, BM25, граф знаний и изображения — позволяет преодолеть ограничения традиционных RAG-моделей и добиться точности, недостижимой при использовании любого из каналов по отдельности», — отмечают авторы исследования.
Что дальше
Разработка открывает путь к созданию более интеллектуальных ассистентов для работы с документацией в науке и бизнесе. Ожидается, что следующие версии CoLRAG-TF будут включать адаптивное управление весами каналов (dynamic channel weighting) и поддержку видео- и аудиовставок в PDF. Кроме того, авторы планируют выпустить открытый датасет сложных PDF с многомодальной разметкой для бенчмаркинга. Если архитектура подтвердит свою эффективность в промышленных масштабах, она может стать новым стандартом для корпоративных RAG-систем, работающих с гетерогенными документами.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.