Компания NVIDIA выпустила для своих видеокарт GeForce RTX и платформ RTX AI PC драйвер версии GeForce Game Ready 555.85 WHQL. Это обновление приблизительно в три раза ускоряет обработку данных в программах, которые задействуют большие языковые модели (LLM) в генеративном искусственном интеллекте.

Новый драйвер предлагает следующие возможности для RTX GPU и RTX AI PC:

 — Поддержка DQ-GEMM для обработки квантования INT4 для LLM
 — Новые методы нормализации RMSNorm для моделей Llama 2, 3, Mistral и Phi-3
 — Механизмы группового внимания, многозапросного внимания и скользящего окна для Mistral
 — Поддержка GEMM-тензоров с размерами, некратными 8, для ускорения контекстной фазы



В тестах нового драйвера показан значительный прирост производительности для INT4 и FP16 данных. Благодаря оптимизациям, скорость работы моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз. NVIDIA напоминает, что RTX GPU используют тензорные ядра для ускорения различных технологий, включая DLSS, NVIDIA Ace, RTX Remix, Omniverse, Broadcast и RTX Video. Компания предлагает наборы разработчиков TensorRT, Maxine и RTX Video для использования тензорных ядер в ИИ-приложениях. По заявлению NVIDIA, производительность её GPU в ИИ-задачах достигает 1300 TOPS, что значительно выше, чем у конкурентных решений.

Обновить драйвер можно через NVIDIA App.