Открытие в сфере AI: ускорение работы нейросетей на 10-15%

Открытие в сфере AI от наших учёных Учёные Сбера, лаборатории Fusion Brain Института AIRI и Сколтеха нашли способ сделать нейросети-трансформеры «легче» на 10-15% без потери качества. Исследователи изучили 20 открытых языковых моделей и достигли результата благодаря замене некоторых слоёв на линейные преобразования. Статья с результатами исследования принята к публикации на одну из наиболее престижных конференций в сфере искусственного интеллекта в мире — ACL 2024 Main Track, Core A . Материал занимает первое место на Daily Papers Hugging Face и за него всё ещё можно проголосовать.

Пушка: Институт AIRI, SberAI и Сколтех придумали, как оптимизировать структуры больших языковых моделей! Учёные изучили 20 моделей с открытым исходным кодом и поняли, что их сложную архитектуру легко упростить. Открытие привело к облегчению моделей аж до 15%! Для этого части моделей просто заменяли на более легкие слои. Кроме того, ученые разработали способ контроля негативных свойств облегченных моделей и разработали специальный «регуляризатор» — он сильно бустит метрики качества. Оптимизация, которую мы ждали давно. Бэкдор

А вот это реально очень полезно — учёные Сбера и лаборатории FusionBrain Института AIRI нашли способ ускорить работу больших языковых нейросетей на 10-15%. И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами числовые представления данных есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры. «Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха — тиражировать её на флагманские модели GenAI. Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей» — рассказал Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.

Найден способ оптимизировать большие языковые модели до 15% без потери качества Команда ученых из Сбера, лаборатории FusionBrain Института AIRI и «Сколтеха», изучив устройство 20 известных open source языковых моделей по типу декодера, обнаружила высокую линейную зависимость между эмбеддингами. Это принципиально новое свойство больших языковых моделей позволяет оптимизировать модели-трансформеры на 10–15% без потери в качестве. Нивелировать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели позволяет разработанный российскими специалистами регуляризатор. С его помощью ученые заменяют сложные блоки слоев модели на более простые. По словам старшего вице-президента и руководителя блока «Технологическое развитие» Сбербанка Андрея Белевцева, следующим этапом исследований станет тестирование рассмотренной идеи. В случае успеха разработку распространят на флагманские модели GenAI. «Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому мы продолжим поддержку таких исследований в направлении обучения больших моделей», — пообещал он.

В России обнаружили способ ускорить работу больших языковых нейросетей на 10-15%. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI. Анализ показал, что для числовых представлений данных в этих системах ИИ характерна очень высокая линейная зависимость, в некоторых случаях близкая к 99%. Это позволяет значительно упростить архитектуру больших языковых моделей и ускорить их работу без серьезных потерь в качестве. / Наука

ТАСС: Найден способ ускорить работу больших языковых нейросетей на 10-15% – Открытие совершили ученые Института AIRI, Сбера и Сколтеха – Они изучили 20 языковых моделей с открытым кодом – Было обнаружено новое свойство для LLM – «линейность» – Она позволяет упростить архитектуру LLM и ускорить их работу – Оптимизировать модели можно на 10-15% – При этом новый способ не повлияет на качество работы модели – Для реализации идеи был разработан алгоритм-регуляризатор, он выложен в открытый доступ – Алгоритм позволит другим разработчикам упростить архитектуру LLM

Нейросети смогут работать быстрее благодаря ученым из Сбера и лаборатории FusionBrain. Во время эксперимента исследователи разработали регулятор — с его помощью процесс обучения генеративных моделей ускорился до 15% без потери качества. Тем временем старший вице-президент Сбербанка Андрей Белевцев заявил, что банк уже готовится протестировать разработку в своих нейронках: Мы в Сбере планируем провести тестирование рассмотренной идеи и в случае успеха тиражировать её на флагманские модели GenAI.

Ученые нашли способ ускорить нейросети на 10-15%. Исследователи из Сбера и лаборатории FusionBrain разработали специальный регулятор. С ним обучение нейросети стало намного проще — регулятор позволил заменить сложные блоки слоев модели на более простые. Это облегчило весь процесс обучения на 10-15%. Со слов старшего вице-президента Сбербанка Андрея Белевцева, Сбер уже планирует воспользоваться разработкой: Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха тиражировать её на флагманские модели GenAI.

Учёные из Сколтеха, Института искусственного интеллекта AIRI и SberAI обнаружили принципиально новое свойство больших языковых моделей и научились контролировать его. Это позволит оптимизировать модели на 10-15% без потери в качестве, снижая количество вычислительных мощностей, необходимых для их использования. Команда изучила устройство 20 известных open-source языковых моделей типа декодер и выяснили, что между эмбеддингами числовыми представлениями данных есть высокая линейная зависимость. Это значит, что при переходе от слоя к слою информация не претерпевает нелинейных преобразований и сложную архитектуру трансформера можно заменить намного более лёгкими слоями нейросети. Чтобы избежать проявления негативных свойств линейности во время предобучения, коллектив разработал специальный «регуляризатор». Он позволяет контролировать проявления линейности и улучшать метрики качества. Благодаря возможности контролировать проявления линейности учёные смогли заменить сложные блоки слоёв модели на более простые. В ходе экспериментов выяснилось, что облегчать без потери качества можно 10-15% слоёв. Далее модель начинает терять полезные навыки. Иван Оселедец, профессор Сколтеха, генеральный директор Института AIRI: «На днях мы выложили препринт статьи, а она уже обогнала публикации от Google, Microsoft, MIT и Adobe в списке статей дня на HuggingFace. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе». Статья принята на одну из наиболее престижных конференций в сфере ИИ – ACL 2024 Main Track, Core A . Получить доступ к регуляризатору можно по ссылке.