ИИ · Железо · 16 сентября 2026
NVIDIA Vera Rubin NVL72 впервые протестировали в MLPerf Inference 6.1
Следующая серверная AI-платформа NVIDIA появилась в независимой отраслевой системе MLPerf. Vera Rubin NVL72 показала preview-результаты на DeepSeek-R1 и Qwen3-VL, а сам MLPerf 6.1 впервые добавил тесты для RAG и агентного inference.
Что произошло
16 сентября MLCommons опубликовала результаты MLPerf Inference v6.1. Среди новых систем впервые появилась NVIDIA Vera Rubin NVL72 — rack-scale платформа следующего поколения с процессорами Vera и ускорителями Rubin.
Ключевое слово здесь — preview. Результаты показывают работающую платформу и позволяют оценивать её производительность в стандартизированных тестах, но это не означает, что Vera Rubin NVL72 уже является массово доступным сервером, который можно сегодня купить и развернуть на тех же условиях, что существующие Blackwell-системы.
Какие модели тестировали
NVIDIA представила preview-результаты Vera Rubin NVL72 для DeepSeek-R1 и Qwen3-VL. Для Qwen3-VL использовались vLLM и открытый inference-фреймворк NVIDIA Dynamo, а для DeepSeek-R1 — TensorRT-LLM.
| Нагрузка | Результат NVIDIA относительно GB300 NVL72 | Стек |
|---|---|---|
| Qwen3-VL | до 3,7× выше throughput | vLLM + NVIDIA Dynamo |
| DeepSeek-R1 | до 2,5× выше throughput | TensorRT-LLM |
Эти коэффициенты приводит NVIDIA. MLPerf при этом даёт проверяемую методику и опубликованные submission-результаты, но конкретные маркетинговые сравнения «до 3,7×» и «до 2,5×» следует воспринимать именно в контексте выбранных конфигураций и сценариев.
Почему нельзя сравнивать только цифру tokens/s
Производительность inference зависит от числа ускорителей, сценария MLPerf, размера batch, ограничений latency, точности вычислений, программного стека и самой модели. Например, большой rack может выдавать намного больше токенов в секунду просто потому, что содержит больше ускорителей.
Поэтому при выборе оборудования полезнее смотреть одновременно на производительность одного ускорителя, полный rack, server/offline/interactive режим, энергопотребление, стоимость системы и итоговую стоимость обработки запроса.
Что нового в MLPerf Inference 6.1
Сам выпуск MLPerf 6.1 важен не меньше Rubin. MLCommons добавила нагрузки, которые лучше соответствуют современным AI-системам, а не только одиночному запуску нейросети.
- End-to-End RAG. Проверяется цепочка из embedding, vector database, retrieval, reranking и LLM.
- Edge Agentic Inference. Появился многошаговый агентный сценарий с растущей историей диалога и последовательными действиями.
- Speculative decoding. Для части интерактивных LLM-тестов разрешена эта оптимизация.
- API-centric harness. Более половины участников использовали новый клиент-серверный механизм тестирования через API.
Насколько вырос inference
По данным MLCommons, лучший результат на один ускоритель в server-сценарии VLM вырос в 2,99 раза относительно MLPerf 6.0 шестимесячной давности. Для DeepSeek-R1 лучший per-accelerator server result оказался в 5,7 раза выше результата v5.1 годичной давности.
Это нельзя приписывать только новому GPU. MLCommons отдельно отмечает сочетание трёх факторов: новое поколение ускорителей, переход к более низкой числовой точности при сохранении требований benchmark к accuracy и постоянные улучшения inference-софта.
NVFP4, KV-cache и архитектура inference
NVIDIA связывает часть прироста Vera Rubin с обновлёнными Tensor Cores и Transformer Engine, а также использованием NVFP4. Более компактное представление данных уменьшает объём памяти для весов, attention и KV-cache и позволяет увеличить пропускную способность.
Для крупных reasoning- и MoE-моделей важен не только сам ускоритель. Производительность всё сильнее определяется связью между устройствами и архитектурой serving: разделением prefill и decode, expert parallelism, распределением KV-cache и скоростью interconnect.
Что это означает для локальных LLM
Vera Rubin NVL72 — не домашнее оборудование и не конкурент одной RTX в рабочей станции. Но серверные изменения постепенно доходят до более доступного железа и программного стека. Особенно важны оптимизации vLLM, TensorRT-LLM, Dynamo, quantization и методы эффективного использования KV-cache.
Для пользователя локальной модели главный вывод другой: производительность LLM нельзя оценивать только по TFLOPS видеокарты. VRAM, пропускная способность памяти, precision, context, KV-cache, backend и параметры serving способны радикально изменить реальную скорость и число одновременно обслуживаемых запросов.
Новые ориентиры для выбора AI-железа
MLPerf Inference 6.1 показывает сдвиг от вопроса «сколько токенов выдаёт GPU» к оценке всей системы. Для будущих сравнений AI-серверов и локальных машин полезно учитывать четыре уровня:
- ускоритель и доступную память;
- числовую точность и квантование;
- inference backend и его оптимизации;
- реальную нагрузку — чат, RAG, VLM, coding agent или многопользовательский serving.
Именно поэтому результаты одной модели в одном benchmark нельзя автоматически переносить на другую LLM или конкретную рабочую нагрузку.