Apple и Nvidia оптимизируют генерацию текста с помощью нового метода ReDrafter

нженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта. В этом году Apple опубликовала исходный код своего решения Recurrent Drafter ReDrafter — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Apple и NVIDIA запускают ReDrafter для ускорения генерации текста Это сотрудничество стало редким примером партнерства между Apple и NVIDIA, но интереснее развитие их отношений в будущем - коллаб года? Следи за новостями VA-PC Наш менеджер для связи

Apple объявила о сотрудничестве с NVIDIA для улучшения LLM Совместная работа Apple и NVIDIA позволит значительно повысить производительность языковых моделей LLM с помощью внедрения новых методов генерации текста, что обеспечит улучшение скорости для приложений на базе искусственного интеллекта. У Apple уже есть проект Recurrent Drafter ReDrafter , который сочетает в себе поиск луча с динамическим вниманием, чтобы ускорить генерацию токенов LLM до 3,5 токенов за шаг генерации для моделей с открытым исходным кодом, превосходя производительность предыдущих методов. А теперь Apple интегрировала технологию в платформу NVIDIA TensorRT-LLM, которая оптимизирует LLM, работающую на графических процессорах NVIDIA. Интеграция привела к тому, что метод способен до 2,7х раз увеличить скорость токенов, генерируемых в секунду во время тестирования, основанной на десятках миллиардов параметров. Такая улучшенная производительность не только снижает задержку, которую пользователь получает на выходе, но и приводит к снижению использования графического процессора и энергопотребления.

Apple теперь сотрудничает с NVIDIA для ускорения работы своих ИИ-моделей Инженеры обеих компаний добились увеличения скорости обработки запросов к большим языковым моделям на графических чипах Nvidia в 2,7 раза благодаря адаптации алгоритма ReDrafter. Теперь алгоритм поддерживает как чипы Nvidia, так и Apple Silicon. Ускоренная обработка позволяет сократить время отклика на пользовательские запросы и сделать взаимодействие с чат-ботами удобнее. Кроме того, Apple даже открыла исходный код ReDrafter, чтобы другие разработчики могли использовать этот инструмент для оптимизации своих языковых моделей.

Nvidia способствовала улучшению работы больших языковых моделей в Apple Инженеры Apple рассказали о своем сотрудничестве с Nvidia, которое позволило значительно повысить эффективность текстовой генерации с использованием больших языковых моделей искусственного интеллекта. В текущем году Apple представила исходный код своего решения Recurrent Drafter ReDrafter , представляющего собой новый подход к генерации текста. Этот метод отличается высокой скоростью работы благодаря интеграции двух технологий: лучевого поиска и динамического дерева внимания. Исследование Apple продемонстрировало впечатляющие результаты, однако при внедрении ReDrafter в реальную среду была использована система Nvidia TensorRT-LLM, что позволяет ускорить работу больших языковых моделей на ускорителях Nvidia. При запуске языковых моделей с десятками миллиардов параметров в сочетании с фреймворком Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Это позволяет сократить время отклика для пользователей, одновременно уменьшая количество задействуемых ускорителей и снижая энергетические затраты, заключили инженеры Apple. «С увеличением использования больших языковых моделей в приложениях, эффективность вывода оказывается важной для снижения вычислительных затрат и задержек. Новый подход ReDrafter, совместимый с Nvidia TensorRT-LLM, помогает разработчикам быстрее генерировать токены на ускорителях Nvidia», - добавили в Apple.

Apple совместно с NVIDIA будет работать над улучшением больших языковых моделей Это сотрудничество позволит значительно ускорить обработку приложений, где используются большие языковые модели ИИ. В этом году Apple опубликовала исходный код своего проекта Recurrent Drafter ReDrafter , с помощью которого скорость генерации токенов увеличилась в 2,7 раза. ReDrafter уменьшает время ответа на запрос, а также снижает нагрузку на графический процессор и уменьшает энергопотребление. Apple адаптировала эту технологию не только под процессоры Apple Silicon, но и под чипы NVIDIA. Tehnobzor: IT Технологии

Мало кто сомневался, что внедрение Apple искусственного интеллекта не будет проходить через боль читай новость о том, что «Репортеры без границ» требуют от компании убрать функцию сводок уведомлений , однако в Купертино потихоньку продолжают пилить и прикладную часть своего Apple Intelligence, и более фундаментальную. В частности вместе с Nvidia она оптимизировала свой метод обучения больших LLM-моделей под чипы производителя, в результате чего скорость этого процесса выросла до 3 раз. Ранее в 2024 году Apple опубликовала и выложила в открытый доступ метод Recurrent Drafter, известный как ReDrafter — метод спекулятивного декодирования для повышения производительности при обучении. В нем использовалась модель черновика RNN Recurrent Neural Network , сочетающая лучевой поиск с динамическим вниманием к дереву для предсказания и проверки черновых маркеров из нескольких путей. Это ускорило генерацию лексем LLM до 3,5 раз за шаг генерации по сравнению с типичными авторегрессивными методами генерации лексем. Однако до сих пор метод работал только на процессорах Apple, что заметно сужало область его применения. В итоге Apple пришла к Nvidia с тем, чтобы интегрировать ReDrafter в ускоритель выводов Nvidia TensorRT-LLM. Поскольку ReDrafter использует операторы, которые другие методы спекулятивного декодирования не используют, Nvidia пришлось добавить в свои чипы дополнительные элементы для его работы. В результате бенчмаркинга производственной модели с десятками миллиардов параметров на графических процессорах Nvidia скорость генерации токенов в секунду увеличилась в 2,7 раза. В итоге этот процесс можно использовать для минимизации задержек для пользователей и уменьшения количества требуемого оборудования. Иными словами, пользователи могут ожидать более быстрых результатов от облачных запросов, а компании смогут предлагать больше, тратя при этом меньше. У себя в блоге Nvidia говорит, что сотрудничество сделало TensorRT-LLM «более мощным и более гибким, позволив сообществу LLM разрабатывать более сложные модели и легко их внедрять».

Apple заключила сделку с NVIDIA, но не ради игровых видеокарт. Всё намного серьёзнее Компания Apple договорилась о сотрудничестве с крупнейшим производителем видеочипов NVIDIA. Всё ради значительного повышения производительности больших языковых моделей LLM путём внедрения новой технологии генерации текста, которая обеспечивает существенное повышение скорости для приложений с ИИ. Ранее в этом году Apple открыла исходный код к Recurrent Drafter ReDrafter , подхода, который объединяет методы лучевого поиска и внимание к динамическому разветвлению для ускорения генерации текста. Лучевой поиск исследует несколько потенциальных последовательностей текста одновременно для получения лучших результатов, в то время как динамическое разветвление организует и удаляет избыточные перекрытия между этими последовательностями для повышения эффективности. Теперь Apple интегрировала эту технологию в фреймворк NVIDIA TensorRT-LLM, который оптимизирует LLM, работающие на графических процессорах NVIDIA. Производитель iPhone уже отмечает, что технология достигла «передовой производительности», и смогла увеличить скорость генерации токенов в 2,7 раза в секунду во время тестов с моделью из десятков млрд параметров. Apple утверждает, что улучшенная производительность не только снижает воспринимаемую пользователем задержку, но и приводит к снижению использования графического процессора и энергопотребления при работе с нейросетями. Почему это важно для обычных пользователей? Попробуйте погенерировать изображения на iPhone 15 Pro, и вы поймёте, что смартфон греется слишком сильно, а обрабатывает информацию довольно долго. И это только базовые фичи Apple Intelligence. С их дальнейшим развитием актуальные гаджеты будут греться ещё больше, если не оптимизировать большие языковые модели LLM.

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта. В этом году Apple опубликовала исходный код своего решения Recurrent Drafter ReDrafter — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia. Дипфейкер Наш бот для дипфейков

Apple объявила, что совместно с Nvidia разрабатывает инструменты для ускорения работы больших языковых моделей Инженеры компаний смогли ускорить обработку ответов от LLM на графических чипах Nvidia в 2,7 раза. Для этого Apple адаптировала свой алгоритм ReDrafter под чипы Nvidia. ReDrafter также поддерживает процессоры Apple Silicon. Мой Компьютер