DumpsterCluster: как собрать кластер для LLaMA-70B из списанных GPU за $60
Исследователи показали, что списанные дата-центрами ускорители можно объединить в кластер для запуска современных LLM. Такой DumpsterCluster оказался экономически выгоден и экологически устойчив.
Стремительное развитие больших языковых моделей (LLM) требует огромных вычислительных ресурсов, но что делать с ускорителями, которые дата-центры списывают как устаревшие? Новая работа на arXiv (arXiv:2608.14614v1) предлагает неожиданное решение — собирать из таких GPU дешёвые кластеры, способные обслуживать инференс моделей уровня LLaMA-70B. Исследователи не только теоретически обосновали концепцию, но и физически построили прототип, получивший название DumpsterCluster.
Что произошло
Авторы статьи проанализировали рынок списанных GPU, которые массово появляются после обновления парка оборудования в гиперскейлерах. Они отобрали несколько моделей ускорителей (например, NVIDIA Tesla P40 и аналоги), доступных на вторичном рынке по цене около $60 за штуку, и объединили их в кластер с помощью дешёвых материнских плат и блоков питания. На этом кластере им удалось запустить инференс LLaMA-70B с использованием техник квантизации и тензорного параллелизма, добившись приемлемой скорости генерации текста.
Почему это важно
Проблема электронных отходов в ИТ-секторе становится всё острее: ежегодно миллионы ускорителей отправляются на свалку, хотя их вычислительная мощность всё ещё значительна. DumpsterCluster предлагает не только способ продлить жизнь «железу», но и радикально снизить порог входа для экспериментов с LLM. Если раньше запуск модели с 70 миллиардами параметров требовал инвестиций в десятки тысяч долларов, то теперь это можно сделать за несколько сотен. Кроме того, такой подход снижает углеродный след, так как не требует производства новых чипов.
«Наши эксперименты показывают, что даже устаревшие GPU, которые дата-центры считают мусором, способны эффективно обслуживать современные нейросети — нужно лишь правильно организовать их взаимодействие и применить компрессию моделей», — отмечают авторы исследования.
Что дальше
Разработчики планируют опубликовать открытую инструкцию по сборке DumpsterCluster, чтобы любой энтузиаст или небольшая лаборатория могли повторить эксперимент. В перспективе такие кластеры могут стать основой для распределённых сетей инференса, где владельцы списанных GPU будут получать вознаграждение за предоставление вычислительных мощностей. Однако остаются вопросы по надёжности и энергоэффективности старых ускорителей — авторы признают, что для production-нагрузок потребуется дополнительная оптимизация охлаждения и балансировки нагрузки.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.