DeepMind представляет SL2T: прорыв в переводе жестового языка в текст

Команда DeepMind (подразделение Google AI) объявила о создании SL2T (Sign Language to Text) — первой в своём роде модели машинного обучения, способной в реальном времени переводить жестовый язык в письменный текст. Прорыв стал результатом многолетних исследований в области компьютерного зрения и обработки естественного языка. Новая технология уже встроена в экспериментальные функции для глухих и слабослышащих пользователей, доступные в ряде продуктов Google.

Что произошло

DeepMind представил SL2T — модель, которая анализирует видеопоток с жестами и преобразует его в текст на естественном языке. В отличие от предыдущих решений, SL2T не требует специальных маркеров или перчаток для отслеживания движений. Модель обучена на обширном наборе данных, включающем несколько тысяч часов записей жестового языка с участием носителей. На данный момент SL2T поддерживает американский жестовый язык (ASL), но в планах — расширение на другие национальные жестовые языки.

Почему это важно

Для миллионов глухих и слабослышащих людей по всему миру жестовый язык является основным средством общения. Однако технологии распознавания речи и текстовые интерфейсы часто игнорируют эту потребность. SL2T устраняет барьер: теперь глухой человек может общаться с голосовыми ассистентами, участвовать в видео-конференциях или просто писать сообщения, используя родной язык жестов. Это шаг к инклюзивности, который снижает зависимость от сурдопереводчиков в повседневных ситуациях.

Как это работает

Модель использует комбинацию нейросетевых архитектур: 3D-свёрточные сети для анализа пространственно-временных паттернов движений и трансформеры для генерации текста. Система способна различать не только жесты рук, но и мимику, а также движения корпуса — все эти элементы несут смысловую нагрузку в жестовых языках. Важно, что SL2T работает в реальном времени с задержкой менее секунды, что делает её пригодной для живого общения.

Что дальше

DeepMind планирует интегрировать SL2T в Google Meet, YouTube и другие сервисы. Однако перед массовым внедрением предстоит решить несколько задач: расширить поддержку жестовых языков (британский, японский, русский и др.), повысить точность на диалектах и обеспечить приватность — видео с жестами не должны храниться на серверах без согласия пользователя. Параллельно исследователи работают над обратной задачей: перевод текста в анимированный аватар, «говорящий» на жестовом языке.

Эксперты отмечают, что SL2T может стать катализатором для пересмотра стандартов доступности в IT. Если технология подтвердит свою надёжность, она войдёт в список обязательных инструментов для платформ, стремящихся к полной инклюзии. Пока же DeepMind приглашает сообщество глухих к тестированию и обратной связи — это поможет сделать модель по-настоящему полезной.