data_secrets

Bad news: с 9 сентября в России перестанет работать BigQuery от Google Об отключении платформы для обработки данных сообщила российская компания Softline. Плюс, пользователям уже начали поступать уведомления об отключении. При этом Google Workspace и Google Cloud продолжат работать.

Японская лаборатория Sakana AI выкатила AI-ресерчера из коробки Это агент, который обучен проходить весь "человеческий" цикл написания научной работы: генерация и скоринг идей, эксперименты включая код, графики, проверку гипотез и написание статьи, причем при этом есть отдельная моделька, которая высутупает в роли "ревьюера №2" и критикует текст папиры. На картинке – пример такой работы про гроккинг. Кроме этого кейса, агент тестировался на разработке статьи про диффузионки и NLP. Некоторые из статей эксперты признали подходящими для уровня ведущих конференций. Авторы утверждают, что цена реализации идеи – 15 долларов. Они верят, что такой агент может ускорить прогресс и умножить научные знания человечества. Кажется, так же начинался какой-то роман-утопия, но все равно интересно взглянуть, что из этого выйдет. Тех.репорт Открытый код проекта

Тем временем инженеры Google DeepMind в пятницу вечером играют в настольный теннис с роботом. А вы что делаете? А вот, кстати, только что вышедшая статья про то, как они этого робота в теннис играть учили. Спойлер: у людей он выигрывает уже больше половины матчей.

Figure наконец анонсировали новое поколение своего робота: того самого, которого они разрабатывали совместно с OpenAI. Вот что пишут: Может свободно общаться в режиме speech2speech спасибо gpt-4o 6 встроенных камер с системой компьютерного зрения Руки с 16 степенями свободы и силой, равной человеческой На 50% больше времени без зарядки за счет бодрого аккумулятора Вычисления в 3 раза быстрее, чем у прошлого поколения Домой такого надо?

Еще трое соучредителей, среди которых Грег Брокман, покинули OpenAI Правда, Грег не совсем ушел: он взял длительный отпуск до конца года. В твиттере он написал, что это его первый отпуск за 9 лет в OpenAI. Однако, его мотивы все еще неизвестны. Кроме него, из компании ушел Питер Денг – Vice President of Product, и Джон Шульман. Шульман – мега выдающийся исследователь, автор метода PPO, который лежит в основе RLHF, и любитель alignment’a. Не мудрено, что ушел он… в Anthropic Интересно, как там настроение у Альтмана

Тем временем еще двое бывших инженеров Google со своим стартапом строят планы перещеголять Nvidia Компания занимается разработкой ИИ-чипов, называется Groq как тебе такое, Илон Маск? и сейчас оценивается в $2.8 миллиарда. Недавно стало известно, что они привлекли $640 миллионов новых вложений. Кроме новости про инвестиции также появилась новость о том, что в качестве нового тех.консультанта у Groq выступит Ян Лекун, а в качестве COO – Стюард Панн, бывший директор тех.производства Intel и ex-CIO HP Сейчас компания занимается чипом нового поколения LPU language processing unit . Как вы понимаете, специально для LLM. Обещают х10 к скорости инференса и выпуск в Q1 2025.

Воу: Google выпустила SOTA LLM в размере 2В Мини-версия вышедшей месяц назад Gemma-2 на 2В параметров бьет рекорды. На арене она уже обошла даже GPT-3.5 Turbo, не говоря уже о моделях своего размера. Архитектура: написано, что эта модель дистиллирована из другой вот тут мы писали, как такое работает , но из какой и на сколько параметров, не уточняется. Также благодаря поддержке softcapping во Flash Attention след атеншена в памяти теперь линейный вместо О N^2 . Но и это не все: плюсом к модели вышло еще семейство классификаторов ShieldGemma для фильтрации вредоносного контента, а также Gemma Scope. Это сет автоенкодеров для интерпретации модели и ее оценки. Ну кайф! Блогпост Веса

GPT-4 moment для для компьютерного зрения: новая SAM-2 от Meta В апреле 2023 Meta впервые показала свою «Segment Anything Model» SAM . Это базовая модель для сегментации, которую тогда прозвали «GPT-3 moment» для CV из-за прорыва по метрикам. И вот: вышел SAM-2! Он, в отличие от предшественника, обучался не на изображениях, а на видео. По словам Meta, теперь сегментация по видео работает даже с шакальным качеством или если некоторые кадры вырезаны. Датасет SA-V в Meta наклепали сами с помощью Data Engine: они дали людям-анотаторам SAM для лейблинга кадров, и новые размеченные данные использовались для обучения дальше. Получилось в 9 раз быстрее, чем с обычной разметкой, и в итоге SA-V содержит 200 часов аннотированных видео. Архитектурно SAM-2 – это трансформер, как и прошлая версия. Чтобы адаптировать его к видео, был добавлен модуль памяти, который собственно и хранит информацию о прошлых кадрах. Если на вход подается картинка, модуль просто остается пустым. По метрикам – SOTA. При этом моделька быстрая – в 6 раз быстрее SAM на изображениях, в три раза быстрее предшественников на видео. И при этом все полностью в опенсорс: вот репозиторий, где можно найти код, веса, демо, статью и блогпост.

OpenAI в своем репертуаре На этой неделе они пообещали раскатить «в альфу» голосовые функции наконец-то, после трех месяцев ожиданий . Пользователи обрадовались и объявили почти что празднование, но…. Оказалось, что «в альфу» на языке OpenAI – это значит «очень ограниченному количеству альфа-пользователей GPT Plus». Другими словами, доступ получат три землекопа, а смертные будут ждать еще «few weeks», что, опять же, с языка OpenAI может означать «до Нового Года».

Google заезжают в гонку моделек-математиков Система решает IMO на уровне серебряного медалиста: это подтвердил известный математик Джозеф Майерс p.1 . Для не геометрических задач используется AlphaProof р.2 , который по сути представляет из себя предобученную LM с алгоритмом RL из Alpha Zero тот самый ИИ-шахматист, который обыграл Каспарова . Для обучения AlphaProof использовали Gemini, которая переводила текстовые задачи в формальный вид р.3 . Что касается геометрии, в системе используется AlphaGeometry 2: нейро-символическая гибридная система. В роли базовой модели также использовалась Gemini, ее дообучали на синтетике. Р.4 – пример решения AlphaGeometry. Статья