OpenAI анонсирует разработку модели Orion, превосходящей GPT-4

OpenAI Готовит Модель Орион: В 100 Раз Мощнее GPT-4 Уже В Декабре! Согласно информации The Verge, OpenAI планирует выпустить новую модель искусственного интеллекта под названием Orion в декабре этого года. Доступ к моделям получают только крупные компании, а не широкая публика ChatGPT. Ранее руководство OpenAI намекало, что Orion будет в 100 раз мощнее GPT-4 и будет использоваться как ее преемник. Со временем Orion будет объединен с моделью рассуждений o1, чтобы приблизить OpenAI к созданию AGI. Однако в ответ на публикацию The Verge Сэм Альтман назвал новость «фейковыми новостями», которые привнесли интригу к предстоящему релизу. Забирай промпты ЗДЕСЬ и создавай свои Шедевры #neirofoto_ru #AI #OpenAI #Орион

#CioС The Information поделились новым куском информации про грядущую модель под кодовым названием Orion aka GPT-5... или нет Тезисно: 1  В мае Sam Altman говорил сотрудникам компании, что следующая модель будет значимо лучше, чем GPT-4. На тот момент процесс предтренировки самый ресурсоёмкий был закончен на 20%, и Orion уже сравнялся по качеству с GPT-4 по «интеллекту» и навыкам, проверяемым разными бенчмарками. По более ранней информации The Information, Microsoft отдали свежий крупный кластер в распоряжение OpenAI в ~феврале, а тренировка началась попозже и к маю достигла вот 20% 2  По словам некоторых сотрудников OpenAI, использовавших или тестировавших Orion, хотя её производительность в конечном итоге превзошла оную предыдущих моделей, прирост качества оказался гораздо меньше по сравнению с переходом от GPT-3 к GPT-4 что логично: в большинстве задач и бенчмарков просто невозможно так скакнуть; например, если раньше был скачок... GPT MJR DALLE AI BOT Нейросети & IT

OpenAI разрабатывает новые стратегии для преодоления замедления улучшения ИИ Согласно новому отчету The Information, OpenAI столкнулась с уменьшением темпов улучшения своих моделей. Тестировавшие новую модель под кодовым названием Orion сотрудники отметили, что, хотя она превосходит существующие версии, разница между ней и предыдущими моделями не так велика, как в переходе от GPT-3 к GPT-4. В некоторых областях, например, в кодировании, Orion может не показывать стабильных улучшений. В ответ на это OpenAI создала команду для поиска решений, которые помогут продолжать улучшать модели, несмотря на снижение доступности новых данных для обучения. Среди новых стратегий - использование синтетических данных, созданных самими ИИ-моделями, а также акцент на постобучение.

Седующая языковая модель от OpenAI, известная под кодовым именем Orion, не совершит столь значительного скачка в развитии, как переход от GPT-3 к GPT-4. Хотя новая модель демонстрирует улучшение производительности, оно оказалось менее впечатляющим, особенно в таких сферах, как написание программного кода. В ответ на замедление темпов совершенствования, OpenAI сформировала команду разработчиков для поиска стратегий дальнейшего развития модели. Среди предложений — использование синтетических данных, сгенерированных нейросетями, и более активная оптимизация модели после этапа начального обучения.

OpenAI столкнулась с замедлением темпов улучшения LLM при разработке своей новой флагманской модели Orion Хотя количество пользователей ChatGPT и других продуктов ИИ стремительно растет, темпы улучшения базовых компонентов, лежащих в их основе языковых моделей , похоже, замедляются. В мае Сэм Альтман сообщил сотрудникам, что ожидает значительного улучшения по сравнению с предыдущей моделью. Хотя обучение Orion было завершено только на 20%, она уже показывала результаты на уровне GPT-4. Однако в итоге улучшение качества оказалось намного меньше, чем скачок между предыдущими моделями GPT-3 и GPT-4. По мнению некоторых сотрудников компании, Orion не всегда превосходит предшественника в определенных задачах: лучше справляется с языковыми задачами, но может уступать в программировании. При этом Orion может оказаться дороже в эксплуатации в дата-центрах. Основные причины замедления: 1. Нехватка качественных данных для обучения. OpenAI создала специальную команду под руководством Ника Райдера для решения этой проблемы. 2. Orion частично обучалась на данных, сгенерированных другими моделями OpenAI GPT-4 и моделями рассуждений , но это создает новую проблему: модель может начать повторять особенности старых моделей. Как OpenAI пытается решить эти проблемы: - Разрабатывает новые методы улучшения моделей после их начального обучения - Использует обучение с подкреплением на основе человеческих оценок - Создала модель рассуждений o1, которая тратит больше времени на "обдумывание" данных перед выдачей ответа - Развивает возможности написания кода в своих моделях - Разрабатывает ПО, которое может управлять компьютером для выполнения офисных задач Марк Цукерберг считает, что даже без улучшений технологии остается большой простор для создания продуктов. Другие, включая исследователя OpenAI Ноама Брауна, предупреждают, что более продвинутые модели могут стать финансово нецелесообразными. Некоторые инвесторы обеспокоены тем, что темпы улучшения языковых моделей начинают выходить на плато. Orion планируется к выпуску в начале следующего года, причем компания может отойти от традиционного названия "GPT", что подчеркивает изменение характера улучшений в языковых моделях.

Айтишники заволновались: OpenAI разрабатывает модель Orion, которая окажется в 100 раз мощнее GPT-4. Источники The Verge говорят, что на старте эта мощь будет доступна только партнерам компании для создания их продуктов. Скоро узнаем, какой «монстр» появится на рынке — детали ожидаются в декабре. NeuroTrends

The Information поделились новым материалом про Orion. Они пишут, что скачок метрик модели Orion относительно GPT-4 гораздо меньше, чем при переходе от GPT-3 к GPT-4 С одной стороны, это объяснимо: у распределения ошибок длинный хвост, и поэтому последний квартиль бороть достаточно непросто. Следовательно, слова про скачок метрик могут просто звучать разочаровывающе, а на деле не означать, что модель плоха. С другой стороны, в статье упоминается, что Orion не может пробить метрики GPT-4 в кодинге. Вот это уже совсем странно и грустно. Известно, что для обучения ориона используется синтетика из GPT-4 и o1, и журналисты предполагают, что из-за этого новая модель может воспроизводить ошибки старых сомнительный вывод . Как бы там ни было, скоро мы все увидим сами: по словам авторов, OpenAI завершает тестирование Orion и готовиться к релизу в начале 2025. Кстати, Orion может стать уже второй моделью, название которой будет начинаться не с GPT.

Прогресс новых моделей OpenAI оказался менее заметным, чем при переходе с GPT-3 на GPT-4. Модель под кодовым названием Orion может ничем не отличаться от предшественников, пишет The Information. Из-за этого OpenAI меняют стратегию разработки. Среди потенциальных решений: обучение нейронок на сгенерированном контенте из-за нехватки свежих данных или дообучение уже после запуска.

Проблемы в OpenAI: как компания справляется с замедлением прогресса? OpenAI, создатели знаменитого ChatGPT, столкнулись с интересным вызовом при разработке своей новой модели под кодовым названием Orion. Внутреннее тестирование показало любопытную тенденцию: хотя новая модель и превосходит существующие решения компании, прирост производительности оказался не таким впечатляющим, как при переходе от GPT-3 к GPT-4. Особенно это заметно в области программирования, где Orion не демонстрирует значительного превосходства над предшественниками. В компании создали специальную команду, которую назвали "foundations team". Их главная задача – найти новые пути развития в условиях, когда количество доступных данных для обучения становится всё более ограниченным. Инженеры OpenAI разрабатывают весьма нетривиальный подход: они планируют использовать синтетические данные, созданные самими ИИ-моделями. Когда же мы увидим результаты этой работы? OpenAI держат интригу, заявляя, что в этом году выпуск модели под кодовым названием Orion не планируется. Впрочем, учитывая темпы развития технологий, ждать, возможно, придётся не так уж долго.

Следующая модель OpenAI под названием Orion производительнее предыдущих, но не намного, пишет The Information. Развитие ИИ-моделей компании замедлилось из-за нехватки данных для обучения vc.ru/ai/1647733