Компания Apple договорилась о сотрудничестве с крупнейшим производителем видеочипов NVIDIA. Всё ради значительного повышения производительности больших языковых моделей (LLM) путём внедрения новой технологии генерации текста, которая обеспечивает существенное повышение скорости для приложений с ИИ.

Подписаться на iGuides в Telegram, чтобы узнать обо всем первым — t.me/iguides

Ранее в этом году Apple открыла исходный код к Recurrent Drafter (ReDrafter), подхода, который объединяет методы лучевого поиска и внимание к динамическому разветвлению для ускорения генерации текста. Лучевой поиск исследует несколько потенциальных последовательностей текста одновременно для получения лучших результатов, в то время как динамическое разветвление организует и удаляет избыточные перекрытия между этими последовательностями для повышения эффективности.

Теперь Apple интегрировала эту технологию в фреймворк NVIDIA TensorRT-LLM, который оптимизирует LLM, работающие на графических процессорах NVIDIA. Производитель iPhone уже отмечает, что технология достигла «передовой производительности», и смогла увеличить скорость генерации токенов в 2,7 раза в секунду во время тестов с моделью из десятков млрд параметров.

Apple утверждает, что улучшенная производительность не только снижает воспринимаемую пользователем задержку, но и приводит к снижению использования графического процессора и энергопотребления при работе с нейросетями.

Почему это важно для обычных пользователей? Попробуйте погенерировать изображения на iPhone 15 Pro, и вы поймёте, что смартфон греется слишком сильно, а обрабатывает информацию довольно долго. И это только базовые фичи Apple Intelligence. С их дальнейшим развитием актуальные гаджеты будут греться ещё больше, если не оптимизировать большие языковые модели LLM.