Meta анонсировала LLaMA 3.1 с улучшенными характеристиками и увеличенным размером контекста

В сети появилась LLaMA 3.1 размером 405B Как показывают бенчмарки, Llama 3.1 превосходит GPT-4o в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих. Однако он отстает в HumanEval и MMLU-social sciences. Важно отметить, что эти цифры взяты из базовых моделей Llama 3.1. Чтобы полностью раскрыть потенциал модели, важна настройка инструкций. Многие из этих результатов могут улучшиться с выпуском версий Instruct моделей Llama 3.1. Главное изменение, помимо улучшения качества, в версии 3.1 размер контекста увеличен до 128K вместо 8K. Официального релиза от корпорации не было, модель распространяется в виде торрент файла на reddit суммарный вес файлов 820гб : Репозиторий huggingface:

2. Meta представили Llama 3.1 — следующее поколение современных моделей больших языков с открытым исходным кодом. Модель превосходит GPT-4 в нескольких тестах и может работать локально на любом мобильном телефоне #IT Meta признана в России экстремистской организацией

Свершился официальный релиз Llama 3.1! Моделька потребовала несколько месяцев и несколько сотен млн долларов на обучение, при этом Meta использовала 16тыс. Nvidia H100. По метрикам: слитые вчера бенчмарки оказались правдой. Модель на 405В действительно составляет сильную конкуренцию GPT-4o, а модели на меньшее количество параметров – GPT-4o mini. Размер контекста увеличился до 128к. Скачать модели можно с самого Meta.Ai или с Huggingface если вы еще не скачали с торрентов .

Meta выпустила самую большую языковую модель с открытым кодом Llama 3.1-405B Meta удивила мир ИИ, представив свою новейшую и самую мощную языковую модель с открытым исходным кодом – Llama 3.1-405B. Основные факты Параметры: Llama 3.1-405B является самой крупной моделью в серии Llama, обладая 405 млрд параметров. Представлены также более компактные версии на 8 и 70 млрд параметров. Количество параметров влияет на способность модели рассуждать, понимать контекст и генерировать разнообразный, точный и креативный контент. Больше параметров требуют больше вычислительных ресурсов. Бенчмарки: на тестах новинка очень близка к лидерам рынка GPT-4o и Claude 3.5 Sonnet. Смотрите сравнение по пониманию языка MMLU , программированию HumanEval и математике GSM8K и MATH Мультимодальность: эта модель сможет обрабатывать и генерировать как текст, так и изображения. Модель уже внедрена в бета-версию WhatsApp для Android. Открытый исходный код: Llama 3.1-405B позволяет разработчикам и исследователям использовать ее в своих проектах. Это делает ее доступной для более широкого круга пользователей, включая университеты и небольшие компании. Контекстное окно: модель использует новый токенизатор, который расширяет словарный запас с 32K до 128K токенов, что улучшает обработку языка и позволяет более эффективно работать с текстом, запоминая больше контекста. Протестировать Llama 3.1-405B можно здесь. Марк Цукерберг уже дал видеоинтервью. В предыдущей серии: Чем отличаются модели с открытым и закрытым кодом Llama 3 – самая большая LLM-модель с открытым кодом Meta запрещена в России #news #llama

Meta опубликовала новые модели Llama 3.1 1 Теперь доступна модель размером в 405B, запустить у нас всех ее не получится нужно промышленное железо – про нее я напишу отдельно потом, как почитаю тесты возможностей 2 Помимо этого, Llama 3.1 вышла в 8B и 70B размерах, они поддерживают многоязычность и просто стали лучше в своих категориях, запускаться они смогут на том же железе где и работали прошлые версии + длинный контекст 128k Вы наверное теперь понимаете почему OpenAI показало gpt4o mini неделю назад и сделала ее настолько дешевой – скоро у нас будут очень умные модели, которые очень быстро работают на любом железе Meta классно создает давление на OpenAI через опенсорс, Цукерберг красавчик

Meta выложила в опенсорс Llama 3.1 — флагманскую языковую модель на 405 миллиардов параметров для сравнения у GPT-4o — 175 миллиардов с контекстным окном в 128 тысяч токенов и улучшенной поддержкой 8 языков. Модель в течение нескольких месяцев обучали на 15 триллионах токенов и более 16 тысяч видеокарт NVIDIA H100. По оценке самой компании, LLama 3.1 сопоставима по качеству ответов с флагманскими закрытыми моделями конкурентов. Например, в человеческой оценке она проигрывает GPT-4o в 29,2% случаев, в 51,7% достигает паритета, а в 19,1% даёт лучший ответ. Компания также обновила свои модели на 8 и 70 миллиардов параметров — также с размером контекста 128K, заметно повысив качество их работы, и впервые открыла возможность для стороних компаний тренировать свои языковые модели на базе ответов LLama. признана в России экстремистской организацией Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

Как и обещала — Meta выпустила Llama 3.1 - крупнейшую модель ИИ с открытым исходным кодом. Немного цифр и фактов: Производительность Llama 3.1 сравнима или превосходит некоторые закрытые модели GPT-4, Claude 3.5 ; 25 компаний-партнеров сделают Llama 3.1 доступной на своих облачных платформах; Выпуск Llama 3.1 может усилить конкуренцию с закрытыми моделями от OpenAI, Google и Anthropic. Это также может изменить бизнес-модели в индустрии ИИ; Цели Meta — ускорить разработку собственных систем ИИ, сэкономить на разработке и помешать конкурентам. Компания не планирует продавать подписки на свой ИИ. Открытый исходный код позволит привлечь глобальное сообщество разработчиков для улучшения модели; Марк Цукерберг утверждает, что открытый исходный код безопаснее и прозрачнее, однако вызывает опасения у регулирующих органов; Администрация Байдена призывает к раскрытию информации о крупных вычислительных проектах. Существуют опасения о возможных будущих ограничениях на открытые модели ИИ. Эти аспекты демонстрируют, как выпуск Llama 3.1 может повлиять не только на технологический ландшафт, но и на более широкие дискуссии о развитии и регулировании ИИ. Meta – организация, признанная экстремистской и запрещенной на территории РФ Дежурный smmщик

Meta представили Llama 3.1 — следующее поколение современных моделей больших языков с открытым исходным кодом. Модель превосходит GPT-4 в нескольких тестах и может работать локально на любом мобильном телефоне #IT Meta признана в России экстремистской организацией