DeepMind представляет SL2T: прорыв в переводе языка жестов в текст

Команда Google DeepMind объявила о создании новой модели искусственного интеллекта, которая переводит язык жестов в текст — Sign Language to Text (SL2T). Эта разработка знаменует собой важный шаг на пути к устранению коммуникационных барьеров для глухих и слабослышащих людей. Модель уже интегрируется в новые функции продуктов Google, предоставляя пользователям инструмент для более естественного взаимодействия с цифровым миром.

Что произошло

DeepMind в партнёрстве с командами Google Accessibility представил SL2T — нейросетевую архитектуру, способную в реальном времени распознавать жестовые языки (например, американский язык жестов, ASL) и преобразовывать их в письменный текст. Разработка основана на многолетних исследованиях в области компьютерного зрения и обработки естественного языка. Ключевое новшество — использование «сквозного» обучения (end-to-end), что позволяет модели напрямую отображать видеопоследовательности на текст без промежуточной сегментации жестов. Первые тесты показывают высокую точность даже при разнообразии темпа жестикуляции и фоновых условий.

Почему это важно

Для миллионов глухих и слабослышащих людей по всему миру язык жестов является основным средством общения, однако цифровые интерфейсы редко учитывают эту реальность. Большинство систем распознавания речи ориентированы на голосовой ввод, оставляя жестовые языки без поддержки. SL2T меняет эту парадигму: теперь пользователи могут общаться с голосовыми помощниками, вводить текст в мессенджерах или управлять устройствами с помощью жестов. Это не просто технологическое достижение — это шаг к инклюзивности, который даёт возможность глухим людям полноценно участвовать в цифровой экономике и социальной жизни. Кроме того, модель может быть адаптирована под разные национальные жестовые языки, что делает её глобально значимой.

Что дальше

На данный момент SL2T внедряется в ограниченном наборе функций Google (например, в режиме Live Caption для жестового видео), но в планах компании — расширение поддержки на большее количество языков жестов и интеграция с платформами видеосвязи, такими как Google Meet. В перспективе модель может лечь в основу двустороннего переводчика «жесты — речь», что полностью изменит коммуникацию между глухими и слышащими людьми. Однако остаются вызовы: необходимость больших размеченных датасетов для каждого жестового языка, чувствительность к освещению и быстрым движениям, а также вопросы приватности при обработке видео. DeepMind обещает продолжать исследования, привлекая сообщества глухих к разработке, чтобы продукт отвечал реальным потребностям пользователей.