n8n показала, как запустить ИИ-воркфлоу на одном NVIDIA DGX Spark без облачных API

В блоге n8n вышло руководство Джейми Мэддена о том, как запускать ИИ-воркфлоу (цепочки автоматических шагов) полностью на собственном железе — одном компьютере NVIDIA DGX Spark, без обращений к облачным API. Это не новый продукт, а подробный рецепт с замерами и честным списком подводных камней.

Что произошло

Автор адресует текст небольшим компаниям в регулируемых сферах — клиникам, юрфирмам, бухгалтерам, — которым часто нельзя отправлять данные клиентов в облачные сервисы. Все модели работают на DGX Spark с чипом GB10 Grace Blackwell и 128 ГБ общей памяти для процессора и видеоядра. Главное ограничение, по словам автора, — пропускная способность памяти 273 ГБ/с: от неё зависит скорость генерации текста. Цены на оборудование в статье не указаны.

• Текст, код, изображения на входе и извлечение данных — одна модель Qwen3.6-35B-A3B в 4-битном формате NVFP4. Это MoE-модель (из «экспертов», где на каждый токен работает лишь около 3 млрд параметров), поэтому она быстрее на ограниченной памяти.
• Эмбеддинги (числовые представления текста для поиска) — Qwen3-Embedding-4B, переранжирование результатов — Qwen3-Reranker-0.6B.
• Распознавание речи — whisper-large-v3-turbo, OCR документов — GLM-OCR, генерация изображений — Z-Image-Turbo, озвучка текста — Kokoro-82M.
• Модели обслуживает vLLM 0.30.0, а перед ними стоит шлюз LiteLLM: один OpenAI-совместимый адрес, отдельные ключи и бюджеты для команд.
• n8n подключается через обычные учётные данные OpenAI с собственным адресом сервера; опцию Use Responses API нужно выключить.

Все семь моделей заняли 108 ГБ из 121 ГБ, которые видит система. Ollama в этом стеке не используется: автор выбрал vLLM, потому что тот объединяет запросы многих пользователей. Для одного человека он советует готовый self-hosted AI starter kit от n8n. К статье приложен шаблон из шести узлов: форма загрузки файла, конвертация картинки, OCR, извлечение поставщика, номера, даты, суммы и валюты через Qwen3.6, приведение полей в порядок и форма с результатом. С включённым режимом рассуждений извлечение заняло 12,1 секунды и 1616 токенов, с выключенным — 0,59 секунды и 76 токенов, и все пять полей оказались верными. При этом OCR потерял ноль в номере НДС поставщика, поэтому идентификаторы автор советует проверять отдельно. Форма принимает только PNG и JPEG, PDF нужно сначала конвертировать. Замеры скорости на этой сборке:

• Чат, 1 пользователь: первый токен через 0,11 с, 120 токенов в секунду. При 8 пользователях — 47 токенов в секунду на каждого, но 359 в сумме.
• Озвучка 30 секунд аудио — 0,87 с, распознавание того же фрагмента — 0,58 с, OCR страницы — 1,8 с.
• Генерация изображения 1024×1024 за 8 шагов — 12,2 с.
• Параллельная генерация картинок замедляет чат одного пользователя со 122 до 38 токенов в секунду, на 69%.

Замеры сделаны 13 октября 2026 года на зафиксированных версиях моделей, на других моделях и промптах цифры будут отличаться.

Почему это важно

Для компаний, которые не могут отправлять персональные данные в облако, это рабочая схема: один компьютер обслуживает несколько сотрудников, а n8n не отличает локальные модели от облачных. Но это проект для человека с техническими навыками. Автор честно перечисляет сложности: свежим моделям нужны свежие версии vLLM, и ошибки об этом не говорят прямо; свободной памяти остаётся около 13 ГБ; Whisper однажды дописал в расшифровку «Thank you.», которого не было в записи. Отдельная тема — лицензии. По словам автора, они оказались сложнее техники: многие сильные открытые модели для озвучки и картинок запрещены к коммерческому использованию. В стек попали только модели с разрешительными лицензиями вроде Apache 2.0 и MIT.

Что дальше

Если генерация изображений нужна постоянно, автор советует ставить её в очередь или выносить на второй DGX Spark. Тем, у кого такого компьютера нет, n8n предлагает начать со starter kit и импортировать шаблон для счетов.