Представлен чип Sohu: революционный прорыв в мире нейросетей

Только что анонсировали новый ASIC для LLM: он умеет генерировать 500,000 токенов в секунду! Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 профессиональных карт NVIDIA H100. Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее.

Изобрели чип, способный многократно улучшить ИИ Стартап Etched представил чип Sohu, способный перевернуть индустрию Компания Etched совершила настоящую революцию в мире ИИ, презентовав новый чип Sohu для обучения и функционирования нейронных сетей. Это изобретение может серьезно пошатнуть позиции лидера рынка - компании Nvidia. Sohu демонстрирует впечатляющие характеристики: он в 20 раз мощнее флагманского продукта Nvidia - H100, при этом работает быстрее и стоит дешевле. Для сравнения: если для обучения GPT-4 потребовалось 8000 чипов H100, то теперь эту задачу можно выполнить всего на 400 Sohu. Скорость генерации контента поражает воображение - 500 000 токенов в секунду. Это означает, что любая нейросеть сможет воспроизвести текст объемом с Библию всего за 2 секунды. Ключ к такому успеху - узкая специализация. Чипы Sohu оптимизированы для работы исключительно с моделями-трансформерами, к которым относятся популярные нейросети вроде ChatGPT, Claude и Sora. Этот технологический прорыв может серьезно изменить расстановку сил на рынке ИИ-чипов и подорвать доминирующее положение Nvidia под руководством Дженсена Хуана. Источник: 3dnews.ru #Новости #IT #ИИ

Нейрочип Sohu AI оказался в 20 раз быстрее GPU Nvidia в языковых моделях Специализированный нейропроцессор NPU Sohu AI оказался в 20 раз производительнее в языковых моделях, чем Nvidia H100, по утверждению компании-разработчика Etched, 26 июня сообщает американское интернет-издание о компьютерных технологиях Tom’s Hardware. В Etched обратили внимание на высокий спрос на большие языковые модели LLM . В компании разработали процессор, ориентированный на выполнение наиболее востребованных в LLM с существующей архитектурой математических операций — перемножение матриц. Читать подробнее

Nvidia больше не монополист на рынке чипов для обучения ИИ: только что презентовали чип Sohu от стартапа Etched. Sohu в 20 раз мощнее аналогичного Nvidia H100, но при этом дешевле. Для понимания: во время обучения GPT-4 было задействовано 8000 чипов от Nvidia. Теперь же для этой задачи хватило бы всего 400 чипов Sohu. GPT-5 уже не за горами. Ждем.

Чип Sohu способен похоронить GPU NVIDIA Стартап Etched создал самый быстрый чип для трансформеров. Sohu в 20 раз быстрее, чем NVIDIA H100. Один сервер 8xSohu может обслуживать более 500000 токенов Llama 70B в секунду и заменить 160 графических процессоров GPU H100. Всё дело в том, что основная часть транзисторов в H100 отвечает за управление и снабжение данными, а на перемножение матриц базовая операция в нейросетях выделяется только 3 % транзисторов. В отличие от Sohu, который специализируется только на трансформерах, что и даёт ему высокую производительность в обучении и развертывании нейросетей. Однако специализация чипа накладывает на него ряд ограничений. На Sohu не получиться запустить традиционные модели ИИ DLRM, Stable Diffusion, модели с архитектурой CNNS, RNNs или LSTM. При этом можно уменьшить затраты на обучение при создании нейросетей на самой популярной сейчас архитектуре. Возникает вопрос, кто из ИИ-гигантов попытается купить этот стартап

Революция в мире ИИ. Компания Etched представила новый чип Sohu, который в 20 раз мощнее лучшего чипа Nvidia H100 и дешевле. ChatGPT-4 обучали на 8 тысячах H100, а с Sohu хватило бы всего 400 чипов Преимущество новинки в её узкой специализации. Чипы работают исключительно с моделями-трансформерами, такими как ChatGPT, Claude, Sora и другими популярными моделями. Айтишник Подписаться