Новая модель разнообразной генерации текста на основе DPP
Исследователи предложили формализовать разнообразную генерацию как выборку подмножества из K полных строк через детерминантальный точечный процесс (DPP). Качество кодируется вероятностью, а отталкивание между похожими выходами — геометрией эмбеддингов. Это решает проблему повторяющихся семантических мод в наборах.
Исследователи представили модель PoolDPP, которая решает проблему повторяющихся семантических мод в наборах текстов, генерируемых языковыми моделями. В основе подхода лежит детерминантальный точечный процесс (DPP) — математический метод, позволяющий выбирать подмножество из K полных строк так, чтобы они были одновременно качественными и разнообразными. Качество каждого варианта кодируется его вероятностью, а отталкивание между похожими выходами учитывается через геометрию эмбеддингов (векторных представлений текста).
Поскольку точный перебор всех возможных строк невозможен, авторы предложили практический алгоритм: сначала из tractable proposal (доступного для вычислений распределения) формируется конечный пул кандидатов, затем каждый кандидат взвешивается с помощью importance weighting (метода коррекции смещения выборки) для приближения к целевому качеству, после чего запускается K-DPP-сэмплер на полученном ядре пула. Для детерминированного отбора предусмотрена жадная MAP-версия. Теоретический анализ показывает, что KL-дивергенция (мера расхождения распределений) между выходом сэмплера и целевым K-DPP убывает как O(1/N) при увеличении размера пула N.
На практике PoolDPP расширяет границу качества и разнообразия в задачах открытой генерации, улучшает точность и полноту в неоднозначном преобразовании текста в SQL (Ambrosia), а в математических рассуждениях (GSM8K) повышает разнообразие при сохранении того же уровня pass@K. Для разработчиков и бизнеса это означает, что теперь можно получать от языковых моделей не просто отдельные хорошие ответы, а наборы, в которых каждый вариант несёт новую смысловую информацию, без ручной фильтрации дублирующихся результатов.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.