seeallochnaya

News 1 TheInformation: OpenAI планирует выпустить Strawberry что это — писал тут как часть своего сервиса ChatGPT в ближайшие две недели 2 Jimmy Apples за полдня до этого написал, что на этой неделе что-то произойдет может быть не релиз, а внутренний показ/демо 3 Последнюю неделю некоторым пользователям ChatGPT в ответ на запрос предлагается 2 варианта ответа, но видимо это не то же самое, что и раньше. Сейчас сверху пишется «You re giving a feedback on an experimental version of ChatGPT» или «on a new version of ChatGPT», и сделана пометка, что ответы могут генерироваться не сразу, а после паузы. Именно про это, по слухам, проект Strawberry: дать модели время «на подумать» перед ответом, чтобы снизить вероятность ошибки/не спешить с неправильной генерацией. Время «раздумий» в среднем составляет от 10 до 20 секунд 4 По началу Strawberry будет работать лишь с текстом на вход и выход, никаких картинок и файлов. Цены на Strawberry, скорее всего, будут отличаться от $20 за подписку на чат-бот OpenAI. Журналисты пока не уверены, какие будут ограничения по использованию сколько сообщений в час и можно ли будет докупать расширенный пакет. 5 завтра утром выходит лонг не про Strawberry , бронируйте время в календарях на прочтение 30-40 минут Кажется, началось...

Сейчас ежемесячная подписка на ChatGPT стоит $20. Как думаете, на сколько её могут поднять в ближайшем будущем с выпуском новых моделей? 50 долларов? 75 долларов? А как насчет 200 или 2000 долларов? Вы можете удивиться, но такие цифры да, две тыщи фигурировали во внутренних обсуждениях в OpenAI. Сейчас этот вопрос стоит особенно остро ну, если вы верите, что следующее поколение моделей приятно удивит — ведь проекты Strawberry улучшение навыков рассуждения моделей и Orion вероятно, GPT-5 будут требовать больше ресурсов для работы. По достаточно популярной гипотезе, моделям нужно будет время «на подумать» перед тем, как давать ответ, и всё это время в фоне будет крутиться нейронка. Конечно, повышение цены особенно до планки более чем 100 долларов также будет означать, что OpenAI считает, что ее существующие клиенты ChatGPT будут считать эти новые модели гораздо более ценными для их повседневной работы. Сейчас OpenAI рубит примерно 2 миллиарда долларов в год на $20-ых подписках. Интересно, где они будут через год

Первый чип собственной разработки OpenAI будет разработан TSMC по ее технологическому процессу A16 Angstrom и в первую очередь будет использоваться для генерации видео в Sora. Инсайдеры отрасли сообщают, что OpenAI вела активные переговоры с TSMC о разработке специализированного литейного завода для своего собственного чипа, но эти планы были отменены. Дальше интереснее: Говорят, что внутренний чип усилит возможности генерации видео Sora, что может помочь увеличить продажи устройств Apple, поскольку эта функция будет интегрирована в набор функций генеративного ИИ компании. Возможно, OpenAI и Apple тесно сотрудничают в этом проекте, поскольку у последней есть многолетний опыт разработки чипсетов, которые опережают конкурентов, но пока ничего не подтверждено.

Sama твитнул, что OpenAI достигли договорённостей с US AI Safety Institute такой есть , являющегося частью National Institute of Standards and Technology NIST . Цель партнёрства — независимое предварительное тестирование грядущих фронтир-моделей компании. Кроме этого, напомню, что буквально до конца недели истекает срок в 90 дней, которые OpenAI отвели сами себе для работы комитета по безопасности над списком рекомендаций по развёртыванию и защите будущих моделей — новость тут. Это не значит, что мы получим увлекательное чтиво буквально завтра — до публикации в общем доступе документ сначала должен пройти оценку советом директоров большая часть которых так и так над ним работала . Но оптимистично где-то в серединке сентября должно быть. Также дополню, что именно в этом посте было написано о начале тренировки next frontier model. ждём новостей, утечек и последующего релиза, что бы там не готовили. О, и да, по старой схеме как было перед GPT-4 OpenAI снова ищут инвестиции, оценка компании, согласно Bloomberg, будет выше 100 миллиардов долларов с прошлых $83B : 1 выпуск маленькой модели, но с новой технологией, на всех Strawberry 2 подковёрное тестирование новой модели 3 привлечение капитала с секретными демонстрациями потенциальным инвесторам Microsoft GPT-4 аж в Bing запихнули тогда 4 публичный анонс

Две космические новости. Первая: в июне на МКС запустили корабль Boeing Starliner с экипажем из 2 человек. Один беспилотный полёт уже был пару лет назад а ещё за 3 года до этого был проблемный . По плану, люди должны были вернуться на Землю через 9 дней, но ещё во время подлёта к МКС были выявлены проблемы с двигателями ориентации. С чьей-то помощью корабль успешно пристыковался к МКС, и после анализа было выявлено, что большая часть проблем была вызвана ошибками и программном обеспечении. Было несколько вариантов, один из которых — обновить софт на орбите. Однако был риск, что что-то пойдет не так, и корабль зависнет там навсегда мёртвым грузом, заблокировав один из двух стыковочных отсеков. Сегодня NASA приняли непростое решение: корабль будет возвращаться на Землю без экипажа и без обновлений — сгорит или разобьется, ну и хрен с ним в начале сентября; с МКС людей заберёт одна из будущих миссий SpaceX весной 25-го. Цитирую : «Это мощнейший репутационный удар по Боингу: на 4 года позже конкурента, почти в 2 раза дороже и с такими проблемами». Сравнение тут, конечно, с компанией Elon Musk. Хотел бы пошутить над СЕО Boeing, но старого так и так в начале августа сместили с поста. Самое обидное, что, насколько я понимаю, компания-подрядчик NASA не понесёт никаких штрафов и наказаний за настолько позорное исполнение. NASA не решится отказываться от них, чтобы не остаться на игле монополии SpaceX. Это грустно столько денег и ресурсов не в те руки.

В сеть утекли документы и скриншоты переписки сотрудников Nvidia касательно проекта по скачиванию видео для последующего обучения видео- моделей. Очень интересно, к какому юридическому прецеденту это приведёт — ибо в переписке видны сомнительные заявления, что высшее руководство на всё дало разрешение, и что нужно качать и Netflix, и вот какую-то пачку YouTube-каналов тоже надо обойти см. картинку , и про фильмы Голливуда не забыть. На момент мая 2024-го компания проводила эксперименты с моделью на 1 миллиард параметров перед дальнейшим масштабированием в 10 раз. Вероятно, к текущему моменту бОльшая версия уже натренирована. Я бы сказал, что значит скоро увидим Sora от Nvidia, но теперь уже может и нет В сутки проект выкачивает примерно 80 лет видео, и за 5 недель было выгружено около 40 миллионов видео. С одной стороны это кажется ого-го сколько, а с другой — это капля в море существующего контента. Также прилагаю распределение видео по категориям, если вам вдруг интересно. На утечку уже начали реагировать каналы, замеченные в сообщениях. Интересно, будет ли коллективный иск, и будет ли его поддерживать Google — увидим ли мы неприкрытую битву триллионных корпораций за данные?

Из OpenAI ушли ещё три лидера: — Peter Deng, VP Product писал про него тут, топовый продукт с опытом в крупнейших кампаниях — John Schulman перешёл в Anthropic , сооснователь компании, проработавший 9 лет. Он занимался тем, что называется post-training, то есть превращение предобученной на всём интернете модели в полезный артефакт, который с одной стороны следует инструкциям, а с другой пишет безопасные ответы. Также он был первым автором метода PPO для Reinforcement Learning и оказалось, что помимо обучения нейронок игре в компьютер его можно применять и для улучшения качества ответов . В своём сообщении об уходе в X John пишет, что хочет вернуться к работе руками и в интересном ему направлении, и что в OpenAI всем доволен и благодарен ... и самое неожиданное, третий — Greg Brockman, тоже сооснователь компании, работавший с первого дня и бывший CTO . Правда он не уходит насовсем и не увольняется, а «берёт длительный отпуск». Greg был буквально правой рукой Sam Altman, очень помогал по инженерной части были слухи, что он однажды полностью провалившуюся попытку обучения GPT-4 отлаживал до состояния, что всё заработало и был душой компании. Sama об нём очень тепло отзывался — можете прочитать вот тут в блоге. У самого Brockman тоже есть блог с малым количеством статей, рекомендую почитать. Есть и посмеяться, и поудивляться. Нет никакой информации о том, связаны ли три ухода между собой. Самый большой вопрос для меня — ЧТО С GREG? Почему? Как? Зачем? От него никаких комментариев пока не было, будем ждать, ибо спекулировать можно бесконечно. 1 может, он таки поссорился с Sama и пути разошлись 2 может, он для GPT-5 всё заготовил и реально хочет отдохнуть перед грядущим большим годом 3 может, у него есть персональные причины семья/здоровье/etc. 4 ??? всё больше и больше олдов уходит. Надеюсь, на качестве моделей до GPT-6 включительно это не скажется критически.

SpaceX показали первый серийный ракетный двигатель нового поколения, Raptor 3. На фоне других двигателей он выглядит как недоработанная игрушка, макет — так мало в нём деталей. Практически все части теперь либо удалены, либо зашиты внутрь. А ещё двигателям теперь не потребуется внешняя защита для входа в атмосферу на огромной скорости — охлаждающая система тоже спрятана прямо в стенки. Сам двигатель стал легче Raptor 2, да ещё и мощнее; прямо настоящее чудо. Далее цитирую : ===== Если посмотреть на конструкцию серийного двигателя Raptor 3, то знающие люди сразу прийдут к выводу, что все эти интегрированные каналы, или отказ от крепёжных элементов в пользу сварки и унификации конструкции — сущий кошмар в плане ремонтопригодности. К огромному числу критических узлов просто не будет доступа без «болгарки». Тогда как чинить один из самых сложных ракетных двигателей? Ответ — никак. У Raptor другой подход — двигатель не придётся ремонтировать в случае проблемы, если его дешевле/быстрее заменить. А для того, чтобы была такая возможность — нужно налаживать массовое конвейерное производство. И это в свою очередь крайне положительно скажется на конечной стоимости изделия. ===== «А почему другие так не сделают?» — потому что никто не целится в производство многоразовых двигателей в масштабах даже не сотен, тысяч единиц. Конкуренты делают штучные экземпляры и за куда большую цену, так ещё и приходится предоставлять удобный доступ к разным частям для обслуживания/диагностики/ремонта. Так вот, эти двигатели будут ставить на вторую версию системы SpaceX, так что ближайшие полёты будут на уже собранных Raptor 2. Starship v2 подрастёт на несколько метров, нарастит тягу и даже получит больше движков. Но пока...мы ждём пятый тестовый полёт, с попыткой посадки ускорителя на башню и как следствие сохранение всех 33 двигателей для последующего переиспользования . К сожалению, с начала августа пуск переехал на конец, или даже начало сентября — нужно получать новую лицензию из-за изменившегося профиля полёта: посадка-то теперь не на воду! быстрее бы не томите

Официально начался альфа-тест нового голосового режима GPT-4o который показывали весной Пока его выкатили на очень маленькую группу пользователей — они должны получить письмо счастья на почту с инструкциями. А если вы обновите мобильное приложение, то увидите уведомление, так что не пропустите. Мне вот пока не упало Но ничего — постепенно будут добавлять больше пользователей, и общий запуск без ограничений планируют на осень. Почему вышла такая задержка? Со слов OpenAI, обезопасить голосовой режим оказалось сложнее, чем они ожидали. Джейлбрейки и просто неадекватные голосовые промпты сильно ломали модель, заставляли её сходить с рельс, а не в отказ — и она начинала отвечать всё подряд, что от пользователей пытаются спрятать от оскорблений до рецептов изготовления бомб . Чтоб вы понимали масштаб — OpenAI провели тестирование на 45 языках с более чем 100 внешними экспертами. Всего будет 4 голоса — легендарную Sky пока не вернули. Плюс, модели запретили говорить другими голосами/мимикрировать их — чтобы не плодить фейки. С этим, как понимаю, тоже возникли проблемы, ибо теоретически GPT-4o может выдавать любой звук. Хвастайтесь в комментах, кому повезло! [из анонса не понял, включает ли режим распознавание видео]

Вчера META выпустили модельку SAM 2, развитие идей первой версии Segment Anything — только теперь быстрее, качественнее и с фокусом на видео! К сожалению, пропала возможность писать промпты текстом хоть для первой версии её и не релизили — видимо, менее актуально . С архитектурной точки зрения это трансформер, обрабатывающий кадры независимо и параллельно, с дальнейшим применением блока памяти чтобы связать кадры уже последовательно . По сути, он просто хранит предсказания для последних N кадров, что помогает сформировать предсказания и сделать их более точными, например, учитывая движение для N+1-го. Но, как и в первой версии модели, самая интересная часть — это движок, отвечавший за сбор данных. Тут классический пример, как мощные модели помогают порождать ещё более мощные через псевдоразметку и корректировку людьми. Сначала применяется модель первого поколения на каждый кадр, после чего каждый 6й кадр корректируются человеком. На этом этапе нет никакого трекинга объектов между кадрами — он появляется на следующем этапе. А дальше 2 раза делается итерация обучить на разметке -> применить модель ко всем видео -> скорректировать вручную -> ... . Так как модель становится качественнее, то сокращается время на разметку — в 5 раз между первым и последним проходами. И на этих этапах уже есть блок памяти, который делает предсказания для промежуточных кадров которые людям и приходится исправлять . По итогу вышло разметить 196 часов видео / 51к роликов — люди проставили вручную 10 миллионов масок объектов, и ещё 25.5М сделала сама модель. Это существенно больше, чем любые другие датасеты с сегментацией объектов на видео, так что и прирост качества ощутимый — тупо из-за масштаба. Сами данные, кстати, опубликованы — как и модели. Статья, код Интересно, что первый автор оригинального SAM, Alexander Kirillov, ушел из META чтобы лидить команду мультимодальных моделей в OpenAI ждём новоприбывших и из этого проекта