Yandex Research представил методы сжатия нейросетей для маломощных устройств

Yandex Research разработал и выложил в открытый доступ новые методы сжатия нейросетей. По заявлению компании, они позволяют сократить расходы бизнеса на вычислительные ресурсы до восьми раз

Forbes: Яндекс разработал новые методы сжатия нейросетей – они сокращают расходы на вычислительные ресурсы до восьми раз – Ученые Яндекса создали новые методы сжатия нейросетей – Над проектом работали Yandex Research, IST Austria и Kaust – Yandex Research выложил методы сжатия в открытый доступ – Решение делает внедрение и работу нейросетей дешевле – Новая разработка может уменьшить модель в несколько раз – Ее можно запускать при меньшей вычислительной мощности – Метод сжатия Yandex Research не влияет на качество ответов – Новое решение от Яндекса включает в себя два инструмента – Первый инструмент уменьшает нейросеть до восьми раз – Ее можно запустить на одном процессоре вместо четырех – Второй исправляет ошибки после сжатия языковой модели – При этом уменьшенная нейросеть будет работать быстрее – Метод сохраняет в сред. 95% качества ответов нейросети – Статья Yandex Research про метод AQLM включена в ICML – Это одна из самых престижных ML-конференций в мире

В Яндексе придумали, как бизнесу сократить расходы на ИИ в 8 раз Yandex Research вместе с исследователями из Института науки и технологий Австрии ISTA и KAUST разработали новые методы сжатия языковых моделей, которые позволяют бизнесу сократить расходы на внедрение нейросетей до 8 раз. Это решение станет полезным для компаний и ученых, которые используют нейросети на собственном оборудовании.

Учёные Яндекса разработали решение, которое позволит бизнесу сократить расходы на внедрение нейросетей до восьми раз. Решение будет полезно корпорациям, стартапам и исследователям. Оно поможет сократить расходы на вычислительные ресурсы, а также запускать нейросети на устройствах с небольшой вычислительной мощностью, таких как смартфоны, умные колонки и другие гаджеты. Нейросети в каждый дом, получается.

Нейросети можно будет запускать на смартфонах: Яндекс разработал алгоритмы, позволяющие уменьшить размер языковой модели в 8 раз, сохранив качество ответов. К примеру, после сжатия нейросети её можно будет запустить на 1 графическом процессоре вместо 4. А всего новые методы позволят сократить расходы на оборудование до 8 раз, занимая гораздо меньше вычислительных мощностей. До нейросетевых микроволновок и тостеров осталось совсем чуть-чуть.

Исследователи Яндекса разработали новые методы сжатия больших языковых моделей. Они позволяют бизнесу в 8 раз сократить расходы на вычислительные мощности, которые используются для работы нейросетей. По информации от компании, данный метод позволяет сохранить качество ответов ИИ на 95%. Такое решение поможет небольшим игрокам рынка, которые имеют желание и опыт заниматься разработками, но не могут приобрести дорогостоящее оборудование для модернизации своей инфраструктуры. Сегодня ИИ-разработки обходятся в копеечку и у большинства компаний, особенно стартапов, которым нейросети нужны для разработки новых продуктов, просто может не хватить денег на оборудование. В новой методике работают два инструмента. Первый сжимает саму языковую модель — за счет этого нейросеть можно запускать на менее мощном оборудовании. Второй — исправляет возможные ошибки в работе нейросети.

Учёные Yandex Research разработали методы сжатия больших языков моделей для запуска на устройствах с небольшой вычислительной мощностью. Они позволяют уменьшить модель до восьми раз, сохранив в среднем на 95% качество ответов vc.ru/ai/1328754

Яндекс разработал решение, которое позволит бизнесу сократить расходы на внедрение нейросетей до восьми раз Команда Yandex Research совместно с исследователями IST Austria и KAUST разработала и опубликовала в свободном доступе новые методы сжатия больших языковых моделей. Они позволяют сократить бизнесу расходы на вычислительные ресурсы до восьми раз. Решение полезно корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании. Новые методы сжатия нейросетей уже доступны для применения — код опубликован на GitHub. Специалисты могут скачать уже сжатые с помощью новых методов популярные модели с открытым исходным кодом. Исследователи Yandex Research также выложили обучающие материалы, которые помогут разработчикам дообучить уменьшенные нейросети под свои сценарии.

Яндекс разработал новые методы сжатия языковых моделей — с их помощью размер модели можно уменьшить до 8 раз, сохранив качество ответов на 95%. Способ включает два инструмента: первый сжимает нейросети, а второй исправляет ошибки, возникающие в процессе уменьшения модели. Решение позволит сократить расходы на необходимое оборудование до 8 раз и запускать нейросети на устройствах с меньшей вычислительной мощностью. Кстати, методы сжатия нейросетей уже доступны для применения — код опубликован на GitHub.

Наш новый метод сжатия больших языковых моделей позволяет уменьшить их размер до восьми раз. Сжатая модель сохраняет в среднем 95% точности исходной модели. Новый метод тестировали на моделях LLama 2, LLama 3 и Mistral. ↗ Код совместного проекта исследователей из Yandex Research и IST Austria опубликован на GitHub. Статья про новый метод сжатия включена в программу ICML 2024, конференции по машинному обучению. Над новым методом работал аспирант «Сколтеха» и резидент нашего научного отдела Yandex Research Денис Кузнеделев. Мы поговорили с ним о том, чем исследователи и учёные занимаются в больших технологических компаниях. Подписывайтесь