Автор запустил 125B-модель на рабочей станции для ИИ-агентов
Сотрудник компании рассказал, как локальная 125B-модель на его рабочей станции пишет код и расследует инциденты. Агенты работают без отправки данных в облако, но для сложных решений автор прогнозирует гибридный подход.
Сотрудник одной из компаний рассказал, как запустил на своей рабочей станции 125B-модель Qwen3.8-Flash-Next (архитектура qwen4exp) для работы ИИ-агентов. Модель использует архитектуру MoE (смесь экспертов, где на каждый токен активно около 6 млрд параметров из 125 млрд), что позволяет уместиться в 16 ГБ видеопамяти. Скорость генерации на его железе (Xeon E5-2640 v3, 128 ГБ DDR4, SSD) достигает 22–25 токенов в секунду, а качество топ-кванта — 93,1% согласия с 8-битным эталоном.
Основная причина перехода на локальную модель — требования информационной безопасности. По словам автора, в облачные API (программные интерфейсы для вызова ИИ) уходят постановки задач, куски кода, конфиги, логи и персональные данные, что недопустимо для заказчиков из госкорпораций и банков. Маскирование данных перед отправкой он называет обязательным, но недостаточным: реконструкция по косвенным признакам возможна, а код и метаданные не маскируются.
На практике локальная модель уже выполняет реальные задачи: за один день она провела аудит трассировок (журналов выполнения программ), нашла корневые причины сбоев, отклонила два варианта фиксов до написания кода и реализовала шесть исправлений с тестами. Автор отмечает, что для сложных решений и дизайна он по-прежнему использует облачные модели, а локальный контур — для массовых волн и чувствительных данных.
Для тех, кто работает с ИИ, этот кейс показывает, что локальный запуск больших моделей перестал быть игрушкой: при правильной настройке движка (автор использовал Strata) и подготовке железа можно получить рабочую скорость и качество, достаточные для агентных задач, не отправляя данные за периметр. Это особенно важно для компаний с жёсткими требованиями к безопасности данных.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.