Синтетические табличные данные широко используются для обучения моделей машинного обучения, когда реальные данные недоступны или содержат конфиденциальную информацию. Особую ценность такие данные представляют в областях с сильным дисбалансом классов — например, в выявлении мошеннических транзакций или оценке клинических рисков, где сигнал о редком событии часто закодирован в сложных взаимосвязях между признаками. Однако до сих пор не существовало надёжного способа проверить, насколько хорошо синтетические данные сохраняют эти зависимости.
Что произошло
Группа исследователей представила на arXiv препринт, в котором вводится новая метрика — dependency gap (разрыв зависимостей). Она количественно оценивает, насколько распределение совместных зависимостей между столбцами в синтетических данных отличается от исходного набора. Авторы показали, что широко используемые метрики, такие как статистические тесты на маргинальные распределения или расстояние Вассерштейна, не улавливают потерю важных межколоночных связей, что может приводить к неверным выводам о качестве синтетических данных.
Почему это важно
В задачах с редкими классами именно структура зависимостей между признаками несёт основную дискриминативную силу. Если генеративная модель хорошо воспроизводит одномерные распределения, но искажает корреляции или условные вероятности, downstream-модели, обученные на таких синтетических данных, будут показывать завышенную или заниженную точность. Dependency gap позволяет диагностировать эту проблему на раннем этапе, делая сертификацию синтетических данных более надёжной.
«Наиболее распространённые метрики, как мы показываем, в значительной степени не способны выявить потерю межколоночных зависимостей, что ставит под сомнение их пригодность для оценки синтетических табличных данных в критически важных приложениях». — из аннотации работы.
Что дальше
Внедрение dependency gap может стать стандартом при тестировании генеративных моделей для табличных данных, особенно в финансовом и медицинском секторах. Авторы планируют выпустить открытую библиотеку для расчёта метрики. Ожидается, что это ускорит разработку более точных синтезаторов и повысит доверие к синтетическим данным со стороны регуляторов и практиков.