Gemini Robotics ER 2: ИИ учит роботов понимать видео и работать вместе

Робототехника долгое время сталкивалась с фундаментальной проблемой: даже самые продвинутые машины с трудом интерпретируют визуальную информацию в реальном времени и не могут гибко координировать действия с другими роботами. Большинство современных решений полагаются на жёстко запрограммированные сценарии или ограниченные модели восприятия, что делает их непригодными для непредсказуемых условий. Новый проект DeepMind — Gemini Robotics ER 2 — предлагает принципиально иной подход, объединяя достижения в области мультимодальных языковых моделей и управления роботами.

Что произошло

Исследователи DeepMind анонсировали Gemini Robotics ER 2 — второе поколение системы, которая интегрирует видеопонимание, оркестрацию задач и коллаборацию нескольких роботов в единую платформу. Система основана на больших языковых моделях (LLM) и моделях зрения, обученных на тысячах часов видеоданных с роботизированными манипуляциями. ER 2 способна анализировать видеопоток, выделять ключевые объекты и действия, а затем распределять подзадачи между несколькими роботами. В демонстрациях система успешно координировала сборку конструкций, сортировку деталей и совместное перемещение крупных объектов.

Ключевые возможности системы

Первая составляющая — расширенное понимание видео. ER 2 не просто распознаёт объекты, но и отслеживает их состояние, перемещения и взаимодействия во времени. Это позволяет роботу предсказывать следующие шаги и корректировать свои действия при изменении обстановки. Вторая — оркестрация задач: система автоматически разбивает сложную операцию на последовательность простых шагов и назначает их конкретным роботам с учётом их возможностей. Третья — мульти-роботная коллаборация: роботы обмениваются информацией о прогрессе, избегают конфликтов и перераспределяют нагрузку в реальном времени без централизованного контроллера.

Почему это важно

Gemini Robotics ER 2 знаменует переход от роботов-одиночек, действующих по заранее заданным алгоритмам, к адаптивным группам, способным самостоятельно планировать и перепланировать работу. Для промышленности это означает сокращение времени наладки, возможность работать в хаотичных средах (склады, стройплощадки) и снижение требований к человеческому контролю. Кроме того, система демонстрирует, что мультимодальные ИИ-модели могут быть эффективно применены не только в виртуальном пространстве, но и в физическом мире — это открывает путь к универсальным роботизированным помощникам.

Что дальше

DeepMind планирует продолжить тестирование ER 2 в реальных логистических и производственных сценариях. Ожидается, что в ближайшие год-два система будет интегрирована в коммерческие роботизированные платформы. Однако остаются вызовы: масштабирование на десятки и сотни роботов, обеспечение безопасности при автономном принятии решений и адаптация к нестандартным ситуациям. Тем не менее, Gemini Robotics ER 2 задаёт новое направление — робототехника перестаёт быть просто набором механизмов и становится полноценной частью экосистемы искусственного интеллекта.