seeallochnaya

Подарок от китайцев западному миру на Рождество: DeepSeek опубликовали третье поколение своих LLM, так ещё и полноценный технический отчёт ссылка на PDF . Деталей в нём много, вот очень краткое саммари: — модель гигантская, больше 650 миллиардов параметров, однако как и в прошлый раз применяется подход MoE, микстура экспертов. Поэтому каждое слово при генерации проходит примерно через 37 миллиардов параметров. — они предлагают оптимальный способ применения моделей, для чего нужно... больше 340 GPU ‍ но это оптимальное, можно сильно меньше — модель тренировали относительно мало, так как обучение очень эффективно. На финальный запуск потратили менее $6M на 2048 GPU. При этом модель видела почти 15 триллионов токенов как LLAMA3 . Большая часть вычислений происходила в FP8 E4M3; так как GPU быстрее считают — модель училась предсказывать сразу несколько следующих слов. Помимо улучшения качества это позволяет из коробки получить спекулятивное декодирование, то есть а удешевить б ускорить использование. У DeepSeek цены вообще копеечные по сравнению с другими провайдерами. — данные для дообучения получались путём... генерации цепочек рассуждений моделью R1 это их аналог o1 . Это для математики, программирования и смежных областей, написание эссе и более традиционные нетехничекие задачи делали как обычно — в конце статьи авторы даже дают рекомендации на будущее производителям чипов, что и как бы им хотелось видеть Ссылку на веса давать не буду а зачем, у вас что, есть 2x8H100? , но поиграться можно бесплатно на сайте тут. Ну а метрики — вот:

Последнее судебное заявление Elon Musk против OpenAI знаменует собой его четвертую попытку менее чем за год переформулировать свои претензии к своим бывшим коллегам. Как и в прошлый раз, OpenAI опубликовали свежий ответ, раскрывая некоторые детали в том числе переписки прошлого, которые показывают, что слова Elon а не бьются с тем, что написано в поданном иске. Прочитать можно тут: Если честно, то мне и прошлого блога хватило — там было явно показано, что Musk в 2017-м сам высказывал тезис, что нужно гораздо больше капитала для разработки ИИ, и не выступал против превращения компании в коммерческую из некоммерческой . В этом же блоге показывается ещё более глубокая история — Elon не то что был просто согласен, он зарегистрировал свою коммерческую компанию, на которую хотел, чтобы переписали большую часть OpenAI в прямом смысле, majority, больше половины . Также он должен был стать СЕО и получить начальный контроль. Где-то в это же время он предлагал всей компании стать частью Tesla тоже коммерческой компании, как вы понимаете . Так что любые заявления «я вкладывал свои деньги в НКО, а меня обманули и за счёт имени и средств раскрутились в мощный стартап!» звучат очень бредово. Посмотрим через пару месяцев на следующий т.н. мув. Кроме того, в течение нескольких лет даже после выхода из компании Sam Altman предлагал представителям Musk а долю в компании ведь инвестиции на ранних этапах-то реально были , а тот отказывался.

Кроме этого, напоминаю, что на этой неделе ждём, пока разродится гигант: Google должны показать Gemini 2.0 У некоторых пользователей Gemini уже появилась Flash-версия. И даже в документации есть страница! Основные улучшения: — поддержка стрима аудио- и видео-потока в реальном времени чтобы давать опыт, схожий к Advanced Voice Mode у OpenAI — модель быстрее Flash 1.5, и в то же время лучше на многих бенчмарках ну тут не сомневались, а вот что быстрее - интересно — Improved agentic capabilities ! , ждём первых замеров — Модель умеет генерировать изображения GPT-4o тоже умеет, просто эту фичу не включили для нас , а также контролируемо генерирует речь. Ссылка попробовать в AI Studio только текст, зато 1М контекста : тык

Ракета Falcon Heavy отправит уникальный аппарат Dragonfly на Титан. Есть и хорошие новости для науки на этой неделе. Компании SpaceX выиграла новый контракт NASA по запуску межпланетного аппарата к спутнику Сатурна. Общая сумма контракта по фиксированной стоимости $256.6 миллионов, которая включает в себя отправку зонда и все дополнительные услуги. Dragonfly — это винтокрылый летательный аппарат, по сути дрон, с радиоизотопным термоэлектрическим генератором РИТЭГ и массой около полутонны, который будет летать по Титану. Его основная миссия должна продлиться около 3 лет. Дата запуска назначена на 5-25 июля 2028 года. Вокруг самой миссии ходило много новостей про отмену, но видимо удалось спасти. Интересно в выборе Falcon Heavy то, что по сути ракета наконец-то сертифицирована для запуска радиоактивных элементов, а конкурентов на контракт по сути не было. Из ныне летающих опций по сути есть только Vulcan Centaur, у которого пока что нет нужного налёта для оценки безопасности.

На неделе Figure.AI, компания, делающая коммерческих роботов и запартнёрившаяся с OpenAI , выпустила апдейт по результатам трёх месяцев работы с BMW. CEO компании похвастался, что теперь их роботы действуют автономно без телеоперации, то есть удалённого управления человеком , и что они на «400% быстрее с в 7 раз большим показателем успешного выполнения задачи». Цифры могут выглядеть впечатляющими, но такие большие приросты всегда означают низкий старт — то есть что старые результаты были слабыми. Например, увеличение доли успешно выполненных задач в 7 раз означает, что... раньше он был не более 100% / 7 ~= 14.3%. За эти три месяца компания соорудила физические/цифровые двойники, точно воспроизводящие среду работы, существующую на объекте клиента см. видео — это физическая копия . На них роботы и практикуются, оттачивают навыки = собирают данные для дообучения . Пока что показывают всё ту же одну задачу — снять три детали со специального держателя, положить аккуратно на специальную форму так, чтобы пазы/штыки совпали. По прошлому анонсу можно предположить, что задача требует точности манипуляций не более полусантиметра бОльшие отклонения не позволят выполнить задачу . Ещё написали, что делают 1000 установок деталей на подложку в день, но не ясно, это каждый робот или «флот» из как минимум трёх на видео . Я бы поставил на последнее. К сожалению, отсутствие процента успешно выполняемых задач в автономном режиме он может быть хоть 70%, хоть 98% и сравнения с человеком по скорости 1000 — это много или мало? не позволяет делать заключения о близости интеграции в реальные производственные процессы BMW.

Прошло полтора месяца с анонса o1 от OpenAI, и вот сегодня китайцы из DeepSeek удивляют первым конкурентом. Я бы не подумал, что среди компаний уровня Google - META - Anthropic именно они смогут первыми удивить релизом. Они представили модель DeepSeek-R1-Lite-Preview, но к сожалению без деталей касательно обучения и сбора данных. Модель пока доступна в онлайн-чате, зато видны все рассуждения, а не только краткая выжимка — однако обещают, что и веса LLM-ки, и API для неё опубликуют скоро. На первой картинке — результаты бенчмарков, на задачах с AIME модель обходит o1-preview но полноценная o1, со слов OpenAI, выдаёт 74.4 . На LiveCodeBench задачи на LeetCode, добавленные с августа 2024-го, то есть «новые», хоть похожие на них наверняка были в интернете до этого тоже прирост относительно других моделей очень ощутимый. На второй картинке — результаты масштабирования процесса размышлений R1 с точки зрения процента решённых на AIME задач : — Pass — это результат модели, если делать одно предсказание на задачу и его сверять с ответом. В данном случае масштабируется длина единственной цепочки рассуждений, чем больше — тем выше качество — Majority Voting это дополнительная техника для улучшения качества за счёт генерации нескольких независимых цепочек рассуждений с последующим выбором ответа через взятие самого часто встречающегося предсказания грубо говоря голосование Обратите внимание на значения на горизонтальной оси, самые правые точки — результат аггрегации цепочек рассуждений общей длины более 100 000 токенов. На третьей картинке я задал LLM-ке задачку с олимпиады 4-го класса, ответ правильный решение не проверял, чат тут . Вы можете потестировать модель сами тут: Можно авторизоваться через Google аккаунт. Доступно 50 запросов в день. Китай вперёёёд

SpaceX поделились 3-минутной нарезкой с кадрами успешного пятого запуска Starship: вот ссылка на YouTube Вместе с этим... была объявлена дата шестого полёта! Он запланирован на час ночи 19-го ноября. Пуск случится так скоро потому, что при сохранении профиля полёта не требуется изменение лицензии, то есть затраты на бюрократию сведены к минимуму. Снова посадка на башню через ~7 минут, снова приводнение корабля в Индийском океане. Но есть и несколько изменений: 1. Во время пребывания на орбите корабль перезапустит двигатель, чтобы продемонстрировать возможность схода с неё в будущем. Попытка сделать это предполагалась в третьем полёте, но по каким-то причинам не была проведена. 2. Так как запуск теперь ночью, а не днём, то и посадка корабля ... будет в дневное время! Значит, на трансляции мы увидим больше деталей, в том числе плавность «приводнения». 3. В этот раз уберут ещё больше теплозащитных плиток в тех местах, где, предположительно, их не будет в следующей версии , а сам корабль войдёт в атмосферу под большим углом. Это сделано намеренно, чтобы испытать его в критических условиях. Если я ничего не путаю, это последний корабль в линейке v1; уже почти готов первый прототип v2. Его полёт, вероятно, увидим нескоро снова из-за бюрократии и лицензирования , если повезёт — в конце первого квартала 25-го.

Уже каждый канал написал, что OpenAI выкатили ChatGPT Search. Много рассказывать не буду, TLDR: — это улучшение уже существовавшей функции поиска по интернету — работает шустро, не нужно ждать несколько секунд до начала генерации ответа — за счёт более чем десятка парнтёрств с масс медиа ChatGPT имеет доступ к почти всем свежим новостям — под капотом gpt-4o, дообученная на с помощью синтетических данных, включая дистилляцию ответов более продвинутой o1; за поисковый индекс отвечает Microsoft Bing — доступно всем Plus юзерам, бесплатным перепадёт «in the coming months» — можно поставить плагин для браузера, чтобы поисковые запросы вместо Google сразу шли в ChatGPT А вот ещё параллельные новости: — META разрабатывает свой поиск, чтобы уменьшить зависимость от Google + Microsoft. Работа над парсингом и сбором ведётся как минимум 8 месяцев — Mark Zuckerberg заявил, что LLAMA-4 уже тренируется скорее всего малая версия на кластере из более чем 100 000 GPU H100. Первые детали стоит ожидать, вероятно, во второй половине первого квартала 2025-го. — Google за 1 минуту до OpenAI буквально выкатили search grounding для Gemini в UI и в API. Эта функция использует результаты поисковой системы Google для обоснования ответов, сгенерированных LLM. В API стоимость кусается: $35 за 1000 запросов то есть за использование поискового индекса Google, чтобы найти релевантные документы и предложить их LLM ке; так что придётся ещё и за input tokens платить, видимо

Boston Dynamics наконец нормально показали нового Атласа. На видео он перемещает крышки двигателя между контейнерами поставщика и специальной тележкой для сборки. Роботу дают список, откуда и куда нужно переместить детали. Атлас использует Computer Vision, чтобы распознавать объекты вокруг и находить нужные контейнеры [0:36]. Он применяет специальный способ захвата и постоянно следит за положением предметов, чтобы аккуратно выполнять задачу. Круто, что движения робота не задаются заранее и не управляются оператором; все действия он выполняет сам в режиме реального времени. Атлас может замечать и реагировать на изменения в окружающей среде например, если что-то рядом двигается и на ошибки например, если крышка не вставилась, робот споткнулся или столкнулся с чем-то [1:24] . Для этого он использует зрение, датчики силы и внутренние сенсоры. Еще он забавно крутит головой и телом на 1:00 - получаются неестественные развороты. Выкладываю полное видео для тех, у кого всякие ютубы не работают.

The Verge: OpenAI планирует запустить Orion, свою следующую передовую модель, к декабрю В отличие от выпуска последних двух моделей OpenAI, GPT-4o и o1, Orion изначально не будет широко доступен пользователям ChatGPT. Вместо этого OpenAI планирует сначала предоставить доступ компаниям, с которыми тесно сотрудничает, чтобы они могли создавать свои собственные продукты и фичи, сказал источник издания, знакомомый с планами. Другой источник сообщил The Verge, что инженеры Microsoft — основного партнера OpenAI по развертыванию моделей — готовятся разместить Orion на Azure облачная платформа уже в ноябре. Хотя в OpenAI Orion рассматривается как преемник GPT-4, неясно, будет ли компания называть его GPT-5 за пределами компании. Ранее сообщалось, что OpenAI использует выпущенную модель o1 для генерации синтетических данных для тренировки Orion. P.S.: напомню, что это должен быть не yet another release: модель больше, в неё вложили существенно больше мощностей, и ожидается кем? мной прокачка способностей по всем фронтам, а не +3-4% на бенчмарках.