Apple и Nvidia оптимизируют генерацию текста с помощью нового метода ReDrafter

нженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта. В этом году Apple опубликовала исходный код своего решения Recurrent Drafter ReDrafter — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Apple и NVIDIA запускают ReDrafter для ускорения генерации текста Это сотрудничество стало редким примером партнерства между Apple и NVIDIA, но интереснее развитие их отношений в будущем - коллаб года? Следи за новостями VA-PC Наш менеджер для связи

Apple объявила о сотрудничестве с NVIDIA для улучшения LLM Совместная работа Apple и NVIDIA позволит значительно повысить производительность языковых моделей LLM с помощью внедрения новых методов генерации текста, что обеспечит улучшение скорости для приложений на базе искусственного интеллекта. У Apple уже есть проект Recurrent Drafter ReDrafter , который сочетает в себе поиск луча с динамическим вниманием, чтобы ускорить генерацию токенов LLM до 3,5 токенов за шаг генерации для моделей с открытым исходным кодом, превосходя производительность предыдущих методов. А теперь Apple интегрировала технологию в платформу NVIDIA TensorRT-LLM, которая оптимизирует LLM, работающую на графических процессорах NVIDIA. Интеграция привела к тому, что метод способен до 2,7х раз увеличить скорость токенов, генерируемых в секунду во время тестирования, основанной на десятках миллиардов параметров. Такая улучшенная производительность не только снижает задержку, которую пользователь получает на выходе, но и приводит к снижению использования графического процессора и энергопотребления.

Apple теперь сотрудничает с NVIDIA для ускорения работы своих ИИ-моделей Инженеры обеих компаний добились увеличения скорости обработки запросов к большим языковым моделям на графических чипах Nvidia в 2,7 раза благодаря адаптации алгоритма ReDrafter. Теперь алгоритм поддерживает как чипы Nvidia, так и Apple Silicon. Ускоренная обработка позволяет сократить время отклика на пользовательские запросы и сделать взаимодействие с чат-ботами удобнее. Кроме того, Apple даже открыла исходный код ReDrafter, чтобы другие разработчики могли использовать этот инструмент для оптимизации своих языковых моделей.

Nvidia способствовала улучшению работы больших языковых моделей в Apple Инженеры Apple рассказали о своем сотрудничестве с Nvidia, которое позволило значительно повысить эффективность текстовой генерации с использованием больших языковых моделей искусственного интеллекта. В текущем году Apple представила исходный код своего решения Recurrent Drafter ReDrafter , представляющего собой новый подход к генерации текста. Этот метод отличается высокой скоростью работы благодаря интеграции двух технологий: лучевого поиска и динамического дерева внимания. Исследование Apple продемонстрировало впечатляющие результаты, однако при внедрении ReDrafter в реальную среду была использована система Nvidia TensorRT-LLM, что позволяет ускорить работу больших языковых моделей на ускорителях Nvidia. При запуске языковых моделей с десятками миллиардов параметров в сочетании с фреймворком Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Это позволяет сократить время отклика для пользователей, одновременно уменьшая количество задействуемых ускорителей и снижая энергетические затраты, заключили инженеры Apple. «С увеличением использования больших языковых моделей в приложениях, эффективность вывода оказывается важной для снижения вычислительных затрат и задержек. Новый подход ReDrafter, совместимый с Nvidia TensorRT-LLM, помогает разработчикам быстрее генерировать токены на ускорителях Nvidia», - добавили в Apple.

Apple объявила, что совместно с Nvidia разрабатывает инструменты для ускорения работы больших языковых моделей Инженеры компаний смогли ускорить обработку ответов от LLM на графических чипах Nvidia в 2,7 раза. Для этого Apple адаптировала свой алгоритм ReDrafter под чипы Nvidia. ReDrafter также поддерживает процессоры Apple Silicon. Мой Компьютер

Хочешь удивить близких? Подари криптокарту! Жми за подробностями

Мало кто сомневался, что внедрение Apple искусственного интеллекта не будет проходить через боль читай новость о том, что «Репортеры без границ» требуют от компании убрать функцию сводок уведомлений , однако в Купертино потихоньку продолжают пилить и прикладную часть своего Apple Intelligence, и более фундаментальную. В частности вместе с Nvidia она оптимизировала свой метод обучения больших LLM-моделей под чипы производителя, в результате чего скорость этого процесса выросла до 3 раз. Ранее в 2024 году Apple опубликовала и выложила в открытый доступ метод Recurrent Drafter, известный как ReDrafter — метод спекулятивного декодирования для повышения производительности при обучении. В нем использовалась модель черновика RNN Recurrent Neural Network , сочетающая лучевой поиск с динамическим вниманием к дереву для предсказания и проверки черновых маркеров из нескольких путей. Это ускорило генерацию лексем LLM до 3,5 раз за шаг генерации по сравнению с типичными авторегрессивными методами генерации лексем. Однако до сих пор метод работал только на процессорах Apple, что заметно сужало область его применения. В итоге Apple пришла к Nvidia с тем, чтобы интегрировать ReDrafter в ускоритель выводов Nvidia TensorRT-LLM. Поскольку ReDrafter использует операторы, которые другие методы спекулятивного декодирования не используют, Nvidia пришлось добавить в свои чипы дополнительные элементы для его работы. В результате бенчмаркинга производственной модели с десятками миллиардов параметров на графических процессорах Nvidia скорость генерации токенов в секунду увеличилась в 2,7 раза. В итоге этот процесс можно использовать для минимизации задержек для пользователей и уменьшения количества требуемого оборудования. Иными словами, пользователи могут ожидать более быстрых результатов от облачных запросов, а компании смогут предлагать больше, тратя при этом меньше. У себя в блоге Nvidia говорит, что сотрудничество сделало TensorRT-LLM «более мощным и более гибким, позволив сообществу LLM разрабатывать более сложные модели и легко их внедрять».

Apple заключила сделку с NVIDIA, но не ради игровых видеокарт. Всё намного серьёзнее Компания Apple договорилась о сотрудничестве с крупнейшим производителем видеочипов NVIDIA. Всё ради значительного повышения производительности больших языковых моделей LLM путём внедрения новой технологии генерации текста, которая обеспечивает существенное повышение скорости для приложений с ИИ. Ранее в этом году Apple открыла исходный код к Recurrent Drafter ReDrafter , подхода, который объединяет методы лучевого поиска и внимание к динамическому разветвлению для ускорения генерации текста. Лучевой поиск исследует несколько потенциальных последовательностей текста одновременно для получения лучших результатов, в то время как динамическое разветвление организует и удаляет избыточные перекрытия между этими последовательностями для повышения эффективности. Теперь Apple интегрировала эту технологию в фреймворк NVIDIA TensorRT-LLM, который оптимизирует LLM, работающие на графических процессорах NVIDIA. Производитель iPhone уже отмечает, что технология достигла «передовой производительности», и смогла увеличить скорость генерации токенов в 2,7 раза в секунду во время тестов с моделью из десятков млрд параметров. Apple утверждает, что улучшенная производительность не только снижает воспринимаемую пользователем задержку, но и приводит к снижению использования графического процессора и энергопотребления при работе с нейросетями. Почему это важно для обычных пользователей? Попробуйте погенерировать изображения на iPhone 15 Pro, и вы поймёте, что смартфон греется слишком сильно, а обрабатывает информацию довольно долго. И это только базовые фичи Apple Intelligence. С их дальнейшим развитием актуальные гаджеты будут греться ещё больше, если не оптимизировать большие языковые модели LLM.

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта. В этом году Apple опубликовала исходный код своего решения Recurrent Drafter ReDrafter — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia. Дипфейкер Наш бот для дипфейков