«Горький урок» для фанатов масштабирования: нобелевский лауреат по ИИ предупреждает о тупике
Тьюринговский лауреат Ричард Саттон, автор концепции «горького урока», заявил, что простого увеличения вычислительных мощностей недостаточно для создания настоящего интеллекта. Бывший исследователь OpenAI подтвердил, что слепое масштабирование трансформеров «взламывает мозги целому поколению учёных».
Коротко
- Ричард Саттон утверждает, что одних вычислительных мощностей недостаточно для создания настоящего интеллекта.
- Бывший исследователь OpenAI Творек считает, что слепое масштабирование трансформеров «взламывает мозги» учёных.
- Новые стартапы уже делают ставку на альтернативные подходы к обучению ИИ.
Тьюринговский лауреат Ричард Саттон, известный своей концепцией «горького урока» (Bitter Lesson), вновь предупредил ИИ-сообщество: простое увеличение вычислительных мощностей не ведёт к созданию настоящего интеллекта. Его слова прозвучали в контексте растущего увлечения масштабированием больших языковых моделей (LLM — нейросетей, генерирующих текст на основе огромных массивов данных).
Что произошло
В недавнем интервью Саттон заявил, что «сырая вычислительная мощность сама по себе недостаточна» — нужны принципиально новые методы обучения. Его поддержал бывший исследователь OpenAI (компании, создавшей ChatGPT) Творек (Tworek), который назвал слепое масштабирование архитектуры трансформеров (Transformer — тип нейросети, лежащий в основе большинства современных LLM) «взломом вознаграждения, который испортил мышление целого поколения учёных». Творек имел в виду, что исследователи слишком сосредоточились на увеличении масштаба моделей, игнорируя фундаментальные проблемы.
Почему это важно
Для бизнеса и разработчиков это означает, что гонка за всё более крупными моделями (например, GPT-4, Gemini, Llama) может оказаться не единственным путём. Если Саттон прав, компании, вкладывающие миллиарды в суперкомпьютеры, рискуют упереться в потолок. Для обычных пользователей это может означать, что будущие ИИ-помощники не станут «просто больше», а потребуют иных подходов — например, агентных систем (агентов — программ, способных самостоятельно выполнять многошаговые задачи) или обучения с подкреплением (reinforcement learning — метода, где модель учится через пробу и ошибку).
«Слепое масштабирование трансформеров взломало мозги целому поколению учёных», — Творек, бывший исследователь OpenAI.
Что дальше
Уже сейчас растёт волна стартапов, делающих ставку именно на этот разрыв — они ищут альтернативы чистому масштабированию. Среди них — компании, разрабатывающие нейросети с новыми архитектурами (не только трансформеры), а также стартапы в области нейроморфных вычислений (имитирующих работу мозга) и гибридных методов. Если тенденция подтвердится, мы можем увидеть сдвиг от гонки размеров к гонке эффективности и новых алгоритмов.
Источники
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.