YaFSDP: ускорение обучения ML-моделей и экономия ресурсов GPU

Исследователи из Стэнфордского университета и института Epoch AI выяснили, что стоимость обучения передовых ML-моделей ежегодно возрастает в 2,4 раза. Основная часть затрат — это оборудование графические процессоры, компоненты серверов , персонал и энергопотребление. Если тенденция сохранится, то к 2027 году стоимость разработки флагманских моделей, таких, например, как GPT-4 или Gemini, превысит миллиард долларов. Один из способов сделать создание ML-моделей быстрее и дешевле — метод оптимизации обучения FSDP Fully Sharded Data Parallel . Сегодня Яндекс открыл для всех библиотеку YaFSDP — доработанную реализацию FSDP, которая позволяет на четверть ускорить обучение больших языковых моделей и при этом тратить на 20% меньше ресурсов графических процессоров GPU . Теперь YaFSDP могут использовать сторонние компании, разработчики и исследователи по всему миру. Особенно это пригодится тем, кому слишком дорого использовать мощные дата-центры. Например, стартапам и научным проектам. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

«Яндекс» поделился способом ускорить обучение больших языковых моделей Компания разработала и выложила в опенсорс свою библиотеку YaFSDP — она оптимизирует загрузку графических процессоров, которые используются при обучении нейросетей. Технология позволяет сократить время на процедуру обучения до 25%, а экономия ресурсов графических процессоров может достигать 20%. rozetked.me/news/33662

Яндекс разработал и выложил в открытый доступ библиотеку YaFSDP. Это решение помогает сократить время обучения больших языковых моделей на 25% и расходовать до 20% меньше ресурсов графических процессоров. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру.

В опенсорсе появилась мощная библиотека YaFSDP — это разработка Яндекса для ускорения обучения больших языковых моделей. — Оно позволяет ускорить до 25% обучение больших языковых моделей LLM с открытым исходным кодом; — Экономия ресурсов графических процессоров GPU может достигать 20%; — YaFSDP могут использовать компании, разработчики и исследователи по всему миру. Решение особенно пригодится тем, кто не может позволить себе использование мощных компьютерных систем и для тех, кто использует GPU в облаке — например, научные стартапы. Исходный код библиотеки уже доступен на GitHub.

Яндекс разработал и выкатил в опенсорс инструмент для ускорения обучения нейросеток Айтишники могут использовать библиотеку YaFSDP из открытого доступа, чтобы снизить затраты в своих стартапах. Она сокращает время обучения больших языковых моделей до 25% и уменьшает нагрузку на графические процессоры до 20%:

Выложили в опенсорс библиотеку, чтобы быстрее обучать нейросети YaFSDP оптимизирует использование ресурсов графических процессоров GPU . Нейросети обучаются быстрее, а требования к вычислительным ресурсам снижаются. Это особенно важно для небольших компаний и научных проектов. Библиотека рассчитана в первую очередь на большие языковые модели, но также может ускорять и обучение других типов нейросетей, например, рисующих картинки. Исходный код YaFSDP опубликован на GitHub, а на Хабре можно подробнее узнать о разработке библиотеки. ↗ YaFSDP — один из множества проектов, который Яндекс выложил в опенсорс наряду с CatBoost, YDB, DataLens, YTsaurus и другими. А зачем вообще большие компании делятся своими разработками с сообществом? Поговорили об этом в одном из выпусков yet another podcast — смотрите на YouTube. Подписывайтесь

«Яндекс» опубликовал исходный код алгоритма YaFSDP, который должен помочь бизнесу, разработчикам и исследователям ускорить обучение больших языковых моделей. Например, если бы YaFSDP использовали при работе с моделью LLaMA 2, предварительное обучение на 1024 GPU заняло бы не 66 дней, а 53 vc.ru/ml/1225832

"Яндекс" открыл разработчикам и исследователям по всему миру доступ к своей библиотеке для обучения больших языковых моделей YaFSDP, которая может ускорить процесс обучения на четверть, говорится в пресс-релизе компании.

Разрабы из Яндекса выложили в открытый доступ библиотеку YaFSDP, которая поможет LLM-щикам оптимизировать ресурсы при обучении больших языковых моделей. Сразу к сути: библиотека ускоряет обучение LLM до 25% ! и снижает использование ресурсов GPU до 20%. YaFSDP была разработана в процессе обучения YandexGPT 3. Библиотеку также протестировали на сторонних нейросетях с открытым исходным кодом — пример на картинке.

Золото: YaFSDP от Яндекса теперь доступна в open-source. Компания опубликовала код библиотеки, которая позволяет ускорить обучение больших языковых моделей до 25% и расходовать до 20% меньше ресурсов графических процессоров. YaFSDP решает проблему недостаточной загрузки каналов коммуникации между GPU, оптимизируя ресурсы на всех этапах обучения. Это снизит затраты стартаперов и разработчиков по всему миру. Забираем тут. Не баг, а фича