Alibaba оптимизирует использование ускорителей Nvidia, сокращая потребность на 82%

Alibaba Cloud сократил использование видеокарт Nvidia на 82 Подразделение Alibaba Cloud представило систему Aegaeon которая позволила снизить потребление графических процессоров Nvidia H20 на 82 при работе с крупными языковыми моделями Разработку тестировали более трех месяцев на платформе Alibaba Cloud где количество используемых видеокарт удалось сократить с 1192 до 213 при обслуживании десятков моделей объемом до 72 млрд параметров Исследование представленное на симпозиуме SOSP в Сеуле показало что Aegaeon оптимизирует ресурсы за счет объединения вычислительной мощности для одновременного обслуживания разных моделей По мнению экспертов новая система может значительно снизить издержки и изменить подход к обработке ИИ нагрузок в сфере облачных вычислений Новости Китая ЭКД

Компания Alibaba представила решение для объединения вычислений которое по ее словам привело к сокращению числа графических процессоров Nvidia необходимых для обслуживания ее модели искусственного интеллекта на 82 Новая система Aegaeon способна обслуживать десятки крупных языковых моделей используя лишь малую часть графических процессоров которые требовались ранее что потенциально кардинально меняет рабочие нагрузки ИИ Система под названием Aegaeon проходила бета тестирование на рынке моделей Alibaba Cloud в течение более трех месяцев в ходе которого она сократила количество графических процессоров Nvidia H20 необходимых для обслуживания десятков моделей с 72 миллиардами параметров с 1192 до 213 говорится в исследовательском докладе представленном на этой неделе на 31 м симпозиуме по принципам операционных систем SOSP в Сеуле Южная Корея Aegaeon первая работа которая выявила чрезмерные затраты связанные с обслуживанием параллельных рабочих нагрузок LLM на рынке пишут исследователи из Пекинского университета и Alibaba Cloud

Alibaba буквально придумала GPU шаринг следующего уровня гении нашли способ заменить 1000 видеокарт Nvidia двумя сотнями В Китае дефицит GPU а ограничения на импорт только подливают масла в огонь Но Alibaba выкрутилась их новая система Aegaeon сократила потребность в ускорителях на 82 Задержки при этом упали на 97 а эффективность выросла в разы Фишка в том что один GPU теперь обрабатывает до 7 моделей одновременно переключаясь между ними на уровне токенов Это приблизит нас к AGI

Alibaba нашла способ сократить потребность в ускорителях Nvidia на 82 благодаря системе Aegaeon В условиях нехватки вычислительных мощностей и ограничений на импорт компания оптимизировала использование ускорителей для работы своих языковых моделей Теперь для обслуживания десятков языковых моделей требуется всего 213 ускорителей вместо 1192 Система позволяет одному GPU обрабатывать до семи моделей значительно снижая задержки при переключении Это стало возможным благодаря сотрудничеству с учеными Пекинского университета и внедрению автомасштабирования на уровне токенов Как сообщает South China Morning Post тестирование Aegaeon уже идет более трех месяцев на платформе Bailian Источник изображения Nvidia Unlim AI

Китай сталкивается с нехваткой вычислительных мощностей для искусственного интеллекта из за ограничений на импорт ускорителей Разработчики работают над оптимизацией и Alibaba смогла уменьшить потребность в ускорителях Nvidia на 82 для своих языковых моделей alibaba alibabacloud ии nvidiah20 Подробнее

Alibaba Cloud снизила потребность в GPU NVIDIA на 82 благодаря системе Aegaeon это меняет мир ИИ Китайская компания Alibaba Cloud благодаря своей системе виртуализации GPU Aegaeon смогла снизить потребность в ускорителях NVIDIA на 82 при работе с большими языковыми моделями LLM Результаты испытаний были представлены на конференции SOSP 2025 в Сеуле

Alibaba сократила использование GPU на 82 с новой системой Aegaeon Alibaba представила Aegaeon революционную систему пуллинга GPU которая делает обслуживание LLM моделей в облаке в восемь раз эффективнее Результаты впечатляют Минус 82 использования Nvidia GPU при работе моделей В 3 месячной бете на Alibaba Cloud с 1 192 до 213 H20 GPU при поддержке десятков моделей до 72B параметров Как это работает Обычно GPU простаивают обслуживая холодные модели 17 7 GPU выполняли лишь 1 35 запросов Aegaeon решает это с помощью токен уровневого авто масштабирования GPU может переключаться между моделями прямо во время генерации не дожидаясь окончания ответа Эффект Один GPU обслуживает до 7 моделей в других системах 2 3 Задержка при переключении снизилась на 97 Горячие модели сохраняют приоритет холодные занимают ресурсы короткими всплесками Система оптимизирована для инференса где генерация идёт по токенам и идеально ложится на тонкое планирование нагрузки В условиях дефицита чипов в Китае это стратегический прорыв меньше GPU больше трафика Что это даёт Снижение стоимости за токен Рост утилизации оборудования Отсрочка закупки новых GPU без потери производительности Источник www scmp com business article 3329450 alibaba cloud claims slash nvidia gpu use 82 new pooling system

Alibaba изобретает будущее В Китае острый дефицит GPU Nvidia под санкциями поставки душат мощности не хватает Но инженеры Alibaba нашли способ заменить тысячу видеокарт двумя сотнями Новая система Aegaeon сокращает потребность в ускорителях на 82 снижает задержки на 97 и заставляет один GPU работать сразу на семь моделей одновременно переключаясь между ними буквально на уровне токенов Хочешь жить умей вертеться lobushkin