ai_newz

Midjourney наконец-то начали выбираться из Discord! В честь релиза вебверсии для всех пользователей врубили бесплатные триалы - дают бесплатно сгенерить 25 картинок. Дальше по подписке - они стоят от $10 до $120 за месяц или от $96 до $1152 за год. В веб интерфейсе на удивление много фич - кроме стандартной галереи генераций и интерфейса промптинга там есть текстовые и голосовые чаты, текстовые связаны с дискордом. В придачу есть специальный интерфейс для ранкинга изображений в обмен на ускоренную генерацию картинок очень умный способ получить данные для тюна практически бесплатно . Заметьте как один из лучших генераторов изображений в мире больше двух лет был доступен лишь в дискорде. Фокус был на основном продукте - модели генерации, на вторичные фичи на распылялись. В том числе из-за этого компания не просто профитная, она ни разу не привлекала денег, остальным стартапам есть чему у них поучиться.

У Nvidia проблемы - Blackwell задерживается В суперчипах GB200 нашли изъян - у чипа, отвечающего за связь двух B200 друг с другом и с Grace CPU, слишком большое количество производственных дефектов. Чтобы удовлетворить гигантский спрос, его нужно редизайнить. Если всё пойдёт хорошо, Blackwell поставят на три месяца позже планируемого срока. Это заметно задержит развёртывание ряда кластеров: Microsoft хотела дать OpenAI доступ к 50 тыс.+ GPU нового поколения к началу 2025 года, Google заказал 400 тыс. GPU для своего облака, ряд других технологических гигантов сделали заказы на 10+ миллиардов долларов. Из-за этого новое поколение моделей, для тренировки которых и нужны новые кластеры, задержится на несколько месяцев.

Google выпустил Gemma 2 2B Модель - SOTA в своей весовой категории, запускается везде: в браузере, на телефоне, на посудомойке. На арене перегоняет даже GPT 3.5, но веры арене теперь нет. Модель дистиллировали из какой-то более жирной LLM какой именно не сказано , как это сейчас делают для большинства мелких моделек. Так как дистилляция даёт лучший результат чем тренировка с нуля. Но самое интересное в релизе - натренированные Sparse Autoencoder SAE для всех слоёв Gemma 2 2B и 9B. Это нейронки выделяющие отдельные фичи из активаций LLM. Они позволяют нам не только читать их "мысли", но и напрямую влиять на них! Если вы видели майское демо Golden Bridge Claude от Anthropic, то вы уже видели SAE в действии. На Neuronpedia выпустили демку, где каждый может поиграться с этим. На картинке - активность ряда топовых лаб на huggingface в этом году Веса модели Веса Sparse Autoencoders Демка "чтения мыслей" Gemma Ещё, умельцы уже запилили ноутбук для файнтюна модели в бесплатном коллабе.

SAM 2: Segment Anything in Images and Videos Вышла вторая версия SAM - модели для сегментации изображений. Лучше оригинала по качеству, при это в шесть раз быстрее 130 FPS на одной A100 ! Главная новая фича - поддержка видео, для чего в архитектуру добавили темпоральные компоненты memory attention, memory encoder, etc. . Вместе с моделью релизят датасет SA-V в 50к размеченных видео с 600к масклетов масок объекта на протяжении времени . Веса релизнуты по лицензии Apache 2.0, то есть делать с моделью можно практически что угодно. Демо Пейпер Репа ссылки на веса там

AlphaProof - нейросеть Google решает задачи с IMO международной олимпиады по математике на уровне серебряного медалиста Модель идеально решила 4 проблемы из 6, набрав 28 баллов из 42. Для золотой медали нужно 29 баллов. Подход концептуально относительно простой - зафайнтюненная Gemini переводит условие задачи в формат Lean инструмент доказательства теорем такой . Дальше в дело вступает знакомый алгоритм AlphaZero, который научили решать формальные проблемы. Если вы не знакомы с Lean и интересно что это такое - попробуйте natural numbers game, это прекрасное введение в Lean, которое прошёл даже Терри Тао. Блогпост

Апдейт: кластер хоть запитан не весь, но работает там сильно больше GPU, чем можно подумать по его потреблению из электросети. А именно ~32 тысячи H100, треть кластера. Секрет успеха - генераторы, которые подвезли прямо к кластеру. Если количество генераторов останется константным, то в августе может заработать уже больше половины кластера. А вот в четвёртом квартале энергии будет уже с избытком - подведено к датацентру будет 200 мегаватт, тогда как кушать он будет всего ~150.

XAI построили крупнейший тренировочный кластер в мире Но самый большой построенный не значит самый большой работающий. Питаться кластеру пока что не от чего: из рассчитанных 200 мегаватт, в датацентр поступает всего лишь 7. То есть из ста тысяч GPU работает примерно четыре тысячи. В начале следующего месяца ситуация должна поправиться - подстанция, питающая датацентр заработает на полную. Это даст на него 50 мегаватт и позволит выйти на уровень производительности одного из двух кластеров, которые Meta запустила в марте. Полностью запустить кластер удастся только в конце этого года/начале следующего. Затык в тренировке ИИ всё больше и больше не в чипах, а в энергии. Это приведёт в ближайшие годы к куче странных феноменов: мы всё больше будем видеть компании, сбрасывающие GPU прошлого поколения за бесценок, просто потому что их нечем питать. Так и в реакторы синтеза от Альтмана начинаешь верить. Кажется, Grok 3 всё-таки релизнется по Elon time, а не в декабре

Чем заменить JetBrains: решение для российских разработчиков от СберТеха СберТех представил среду разработки GIGA IDE со встроенным AI-ассистентом , что особенно актуально для российских разработчиков в свете последних новостей. GIGA IDE может стать альтернативой IntelliJ IDEA от JetBrains, которая оказалась заблокирована для российских пользователей. Среда позволяет вести разработку на популярных языках программирования, обеспечивает совместимость с востребованными плагинами и привычный пользовательский опыт. · GIGA IDE Desktop пользователи уже могут скачать на платформе GitVerse. Это интегрированная среда разработки, которая включает 70 инструментов для облегчения задач разработки, автоматизации тестирования и администрирования приложений. · GIGA IDE Cloud позволит вести разработку в облаке, расширив возможности устройства дополнительными облачными ресурсами. Записаться на раннее тестирование GIGA IDE Cloud. AI Artificial Intelligence - искусственный интеллект #промо

Google выкатил Gemma 2 Как и обещали на Google I/O модель вышла в июне. Выпускают два размера: 9 и 27 миллиардов параметров. Обе достаточно маленькие, так что их можно запустить дома на одной геймерской видяхе. Показывают себя на бенчах они хорошо: 9B обгоняет LLaMa 3 8B, будучи не сильно больше, а 27B подбирается по качеству к Mixtral 8x22B. 27B версию тренили на 13 триллионах токенов, а вот 9B лишь на 8, но там дистиллировали из модели побольше. Модель последние два дня тестили на арене, под названием im-also-a-late-june-chatbot. Пока говорить что-то рано, разброс слишком большой, но вроде вышло неплохо. Лишь бы не было кучи проблем, как было с оригинальной Gemma. Веса Блогпост Техрепорт

Gemini Nano уже доступна в Chrome Canary Gemini Nano - версия Gemini для запуска локально . Тренировали её на тех же данных, что и модели побольше, и она такая же мультимодальная, просто поменьше. Релизнуть её Google обещал ещё с Chrome 126, не вышло. Сейчас она доступна в Canary для всех, официальный релиз, видно, не за горами. А теперь вот как можно её запустить прямо в Chrome: Качаем Chrome Canary и ставим там язык English United States В адресное строке вводим chrome://flags и устанавливаем Enables optimization guide on device на Enabled BypassPerfRequirement, а Prompt API for Gemini Nano на Enabled Перезапускаем Хром Заходим в chrome://components и удостоверяемся что Optimization Guide On Device Model версия 2024.6.5.2205 или выше, если это не так - жмём Check for updates. Вы великолепны! Поюзать для чата можно тут. Моделька очень ТУПОЙ, но круто, что разработчикам сайтов теперь доступна LLM для локального инференса : Ещё умельцы уже расколупали это чудо, вытянули из Хрома веса и выложили на Huggingface в формате TFLite.