seeallochnaya

9. Тренировка осуществлялась на 8192 чипах TPUv4 у Google 10. Дальше начинается шаг обучения ценностям. Тут используется два новых метода, но в целом подход идентичный тому, что делают все — сначала натренировать выполнять инструкции, а затем оптимизировать качество ответов по человеческому ощущению, какой из N ответов лучше. Для математики, программирования и подключения инструментов генерировали синтетические данные которые можно программно проверять . 11. Как и предполагалось, разные части функционала будут добавляться с помощью легковесных адаптеров тренированные LoRA , каждый по 5-50 мегабайт. По сути это такие маленькие наборы матричек, которые лишь слегка и в определённых местах меняют значения в нейронке, и как следствие управляют её поведением. Их легко переключать на лету, грузятся они очень быстро, и для улучшения качества в простых задачах прям тема. 12. Финальные модели квантизуются меньше чем в 4 бита на параметр, и Apple даже хвастается, что это SotA подход, так как деградация качества минимальна. Восстановление качества делается..тоже через LoRA. Они как бы будут включены всегда по умолчанию, и когда разработчику потребуется натренировать что-то своё, то нужно брать модель со включенными адаптерами. Адаптеры имеют разные размеры, с рангами 8, 16 и 32 — для разных юзкейсов. Чем больше ранг, тем меньше падение качества, но и тем больше накладные расходы. Соответственно, фишка в том, что модель сжимается сильно, а адаптеры не сжимаются, и их подключение на лету позволяет восстановить большую часть оригинального качества, как будто модель не квантизовали. 13. Хвастаются, что очень эффективно используют свой чип Apple Neural Engine ANE , чтобы была максимальная утилизация для конкретно их модели. Удобно, когда ты и чипы делаешь, и модели — и всё на сотню миллионов пользователей. Но детали тут уж очень специфичные про раскладывание констант квантизации в палетты в памяти .

Там Твиттер по умолчанию включил всем пользователям галку на согласие предоставлять твиты и инфу на обучение их Grok у. Многие пошли отключать. Да и в целом частое явление, когда люди отключают телеметрию и отказываются отсылать фидбек о работе с софтом. Но вот вам мем на тему. Система: сообщает, что будет отсылать телеметрию для улучшения продукта. Умные пользователи: отключают телеметрию. Система: получает телеметрию от глупых пользователей. Разработчики: изменяют систему, основываясь на телеметрии от глупых пользователей. Умные пользователи: #мемы

А ещё! OpenAI добавили сегодня возможность дообучения GPT-4o mini. Раньше такое было доступно лишь для серии GPT-3.5-turbo, для 4-ки функция находилась в ограниченном экспериментальном режиме. Дообучение полезно, когда вам нужно подправить поведение модели но не её знания . Обычно я предлагаю такую аналогию: мы как бы сжимаем инструкции в промпте в обучаемые параметры. Это позволяет не писать длинный детальный промпт каждый раз, и как следствие экономить на токенах, а возможно даже повышать качество. В чем подвох? Запросы к такой модели стоят дороже, ведь OpenAI должны хранить копию дообученной модели отдельно специально под вас. Цена подпрыгивает ровно в 2 раза: — $0.15->$0.3 за миллион входных токенов — $0.6->$1.2 за миллион генерируемых Так что если генерация меньше промпта, а сам промпт достаточно длинный, и за счёт дообучения большую его часть можно опустить — то будет выгода. Другая опция — вам нужно делать обработку в фоне, а не в реальном времени: Batch API доступно и тут! И да, оно возвращает цену к исходной, деля её на 2. В других случаях лучше продолжать пользоваться общедоступной моделью. А теперь внимание — бонус! Дообучение будет БЕСПЛАТНЫМ для всех пользователей 4-5 тиров до 23-го сентября! То есть вы можете ничего не потратить на итерации тренировки, а затем за пару баксов потестировать, как оно стало, лучше или хуже? А если результат понравится — переехать. Думаю, для части задач переход с 4o на 4o mini может быть разумным — разница в цене космическая. Для верности можно прогонять дообученную модель 3 раза — это всё равно будет раз в 5 дешевле Документация к дообучению — тут, там всё просто, не нужно знать машинное обучение.

Исследование по безусловному базовому доходу, спонсируемое OpenAI и Sama, немного задержалось, но наконец-то опубликовано. Читать тут: OpenResearch pdf на 140 страниц тут . Я пока только полистал и не вчитывался, но не мог не поделиться самим фактом + несколькими тезисами ниже. А если вы имеете свои взгляды на этот счёт и особенно если занимаетесь экономикой профессионально — приглашаю в комменты! Итак: — 1000 людей с низким уровнем дохода получают по 1000 долларов США в месяц в течение трёх лет. Никаких звездочек или условий. В контрольной группе 2 тысячи людей получают по $50 . Несложно посчитать, что всё про всё стоило без малого $40M — все живут в США, от 21 до 40 лет, средний доход домохозяйства участников на момент опроса составлял $29.900. Первая выплата состоялась в ноябре 2020го — Уровень занятости и рабочее время существенно выросли в ходе исследования как для получающих деньги, так и для участников контрольной группы потому что начало выпало на ковид, многие сидели без работы . Если посмотреть на статус занятости с течением времени, то вероятность трудоустройства получателей в течение второго и третьего годов в среднем была примерно на 2 процентных пункта ниже — и они работали на 1.2-1.3 часа в неделю меньше — В целом, отмечается большая вариация условий, и в отдельных кейсах изменения существенные по первой ссылке делятся несколькими историями людей, на кого это оказало большое воздействие . Например, получатели чаще искали работу, но были более избирательными, и выбирали лучшие условия ведь у них есть подстраховка — у людей появилось время на обучение и здоровье: на 26% больше обращений в больницы, на 10% больше походов к стоматологам — в то же время на 20 % снизилось количество случаев употребления алкоголя, мешающих выполнению обязанностей — Получатели на 3 процентных пункта чаще сообщали о наличии идеи для бизнеса — расходы в абсолютах больше всего выросли на еду, аренду, транспорт, а относительные +25% - на финансовую поддержку других людей то есть стало проще делиться и отдавать

Elon Musk твитнул, что сегодня ночью они запустили тренировку на свежепостроенном суперкластере X.AI в Мемфис, штат Теннеси. В этом датацентре установлено 100 000 видеокарт H100 это ОЧЕНЬ много — META недавно запустила 2 кластера по 24 576 GPU, а GPT-4 тренировали, по слухам, на 25 000 карт. Мало того, что самих чипов больше, каждый из них ещё и в 2-3 раза мощнее. Точную оценку дать сложно, многое упирается в инфраструктуру и способ обмена разных серверов информацией. Чем больше карт — тем дольше их синхронизировать, и потому падает утилизация. Если прикидывать грубо, то система в 10 раз мощнее тренировавшей модель OpenAI x4 за кол-во карт и x2.5 за новое поколение чипов . Честно, я не ждал, что уже в этом году заработает такой кластер — думал, может, на 75-80 тысячах остановятся. Тем более я не ждал этого от Elon — ведь его X.AI буквально последними запрыгнули в AI гонку, когда видеокарточек уже буквально не было! Но если новичок смог за полтора года так разогнаться, то, наверное, у OpenAI x Microsoft или Google мощностей для запуска одной тренировки может быть в 2-3 раза больше. Думаю, тезис про «самый большой кластер» под вопросом просто они непубличные и мы про них не знаем . В любом случае, развитие продолжается, ждём Grok 3 в декабре — а вместе с ним и моделей от других ведущих лабораторий!

Кто-то в редакции CNBC немного облажался, нажал не ту кнопку, и выпустил в релиз вот эту новость: OpenAI debuts mini version of its most powerful model yet Речь идёт о запуске GPT-4o mini, и что якобы она была запущена в четверг сегодня . Однако никаких анонсов или релизов нет, в API её нет, на сайте ChatGPT тоже. И всё же я думаю, что это просто ранний анонс, который должен был случиться вечером по Калифорнии — утром . Почему? Ранее на неделе на LMSYS Arena была замечена тестовая модель upcoming-gpt-mini, вероятно, также как и в случае gpt2-chatbot, OpenAI перед релизом проводили тестирование и оценку. GPT-4o-mini должна стать заменой GPT-3.5, которую не обновляли больше года, и, по идее, за схожую цену предлагать сильно более умную модель. Позже в этом году в неё планируют добавить обработку видео и аудио и может даже генерцию? . Этого нет в новости, но полагаю, что у неё может быть увеличенная длина контекста как раз для работы с новыми модальностями — потому что маленькую модель проще разворачивать на инфраструктуре, и нужно меньше ресурсов. Модель будет доступна и бесплатным пользователям тоже. Новость показал автор канала , спасибо! UPD: такую же новость запостил bloomberg.

Что ж, когда-то это должно было произойти. После 335 успешных миссий подряд ! у компании SpaceX произошла осечка. Первая ступень успешно села на платформу посреди океана — это был её 19й полёт. Проблема возникла со второй ступенью — через 2 минуты после перезапуска двигателя наблюдалось образование большого количества инея небольшое его количество - это нормально, он всегда намораживается из дренажа, но в этот раз его было необычно много . Потенциально, это могло указывать на утечку кислорода. Полезной нагрузкой миссии были спутники самой SpaceX — Starlink. На данный момент все спутники 20 штук находятся ниже расчётных орбит, и хоть и начали подъем, но скорее всего сгорят в атмосфере. счётчик успешных миссий сбросился до нуля, потребуется ~3 года, чтобы снова дойти до четвёртой сотни счётчик успешных посадок подряд обновился до 255. Это был 291й полёт на уже ранее летавших ускорителях. Видео отсюда, за часть текста с деталями и счётчики спасибо P.S.: но не унываем! В начале августа нас ждёт куда более важный полёт с попыткой посадки самого тяжелого ускорителя из когда-либо созданных! P.P.S.: это второй за неделю пример неудачной работы второй ступени — первый был во время первого полёта новой ракеты Европейского космического агентства Ariane 6. Походу, инопланетяне гасят.. не хотят, чтобы мы летали далеко.

Вот так выглядят коробки, в которых 2 недели назад компания Figure AI отправила своих гуманоидных роботов своему первому клиенту. Тогда сразу не раскрыли, кому именно повезло, но сегодня вышел апдейт — маленький флот из нескольких роботов высадился на заводе BMW в Спартанбурге Южная Каролина, США . Сейчас по договору идёт первая фаза, в которой стартап определит первоначальные варианты использования роботов в автомобильном производстве. Посмотрят, что к чему на заводе, приоритизируют проекты, начнут собирать данные и после этого потихоньку будут вытеснять кожаных — такой план.

Антропик показал свою новую модель Claude 3.5 Sonnet которая бьет даже GPT4o —можете бесплатно поиграться с ней тут claude.ai А я сразу полез в API со своим промптом разработчика и попросил ее воспроизвести сцену из фильма Хакеры – помните, когда данные там летали сквозь 3D-башни данных? И это первая модель, что справилась с этой задачей - код. Ну что, OpenAI больше не лидер получается – Anthropic made 3.5 great again

Близко к точке предполагаемого приводнения ускорителя были установлены камеры я не понял, это на корабле или на буйке? . Наконец-то появилось видео! Глядя на кадры не забывайте, что эта цистерна из нержавейки имеет высоту 71 метр 24-этажное здание и массу без топлива порядка 200 тонн. И за минуту до этого она неслась со скоростью более 2500 км/ч! И посадить её надо с точностью до 2-3 метров. POV: ты рыба-морежитель, и в твой дом влетел ускоритель Маска