Разработка GPT-5 Orion в OpenAI замедляется из-за нехватки данных и высоких затрат

Большой текст в Wall Street Journal описывает ситуацию с разработкой в OpenAI и, в частности, сообщает, что разработка GPT-5 под кодовым названием Orion идет медленнее, чем ожидалось и сталкивается с проблемами, основные из которых — нехватка данных для обучения и технические сложности с архитектурой модели. После 18 месяцев работы и как минимум двух масштабных тренировочных прогонов, каждый из которых обошелся примерно в полмиллиарда долларов, результаты все еще не оправдывают огромных затрат. Правда, по результатам тестового обучения получившаяся модель выдавала результаты лучше, чем нынешние публичные модели OpenAI, но они были недостаточно хороши, чтобы соответствовать переходу от GPT-4 к GPT-5 по критериям компании. OpenAI пытается решить проблему данных, нанимая специалистов для создания нового контента то есть буквально программисты, например, пишут код для решения тех или иных задач, чтобы на этом контенте обучать модель и используя синтетические данные от своей модели o1, но процесс идет медленно. Публично компания пока никак не комментирует планы относительно Orion. А я вот что думаю — если показанная вчера o3 настолько лучше всего и даже превосходит людей и там внутри еще не Orion, то что мы увидим, когда в условной o5 соединятся Orion с еще более продвинутыми размышлениями?

OpenAI не может завершить GPT-5 Orion — данных в сети не достаточно, обучение слишком дорогое The Wall Street Journal сообщает, что у OpenAI не получается вовремя завершить работу над ИИ нового поколения GPT-5 Orion. Нужного результата специалисты не могут добиться вот уже на протяжении 1,5 лет. Основная причина в том, что в сети попросту не хватает данных, чтобы GPT-5 Orion стала достаточно умной и существенно превзошла предыдущую версию. Читать далее

У OpenAI проблемы с GPT-5 Orion — не хватает денег и данных для обучения Флагманская модель GPT-5 стала для OpenAI чемоданом без ручки: результаты посредственные, но на проект потрачены сотни миллионов долларов, что вызывает напряжение у инвесторов — ожидаемый успех от GPT-5 уже заложен в текущую стоимость компании. Провал обвалит ее котировки. Orion находится в стадии тестирования уже 18 месяцев. Исследователи не могут достичь желаемого уровня, поскольку материалов для обучения недостаточно. Нужного объема данных нет во всем Интернете. Эти проблемы заставили компанию пересмотреть подход к обучению ИИ, сообщает Wall Street Journal.

GPT-5 в кризисе: почему OpenAI не может создать новое поколение ИИ У The Wall Street Journal вышла масштабная статья, о проблемах внутри OpenAI. Амбициозный проект компании под кодовым названием Orion он же GPT-5 столкнулся с серьёзными трудностями. За 18 месяцев разработки компания провела как минимум два масштабных тренировочных запуска, но каждый раз результаты не оправдывали ожиданий, несмотря на колоссальные затраты. Один тренировочный запуск продолжительностью 6 месяцев обходится примерно в полмиллиарда долларов только на вычислительные мощности. Новая модель показывает лучшие результаты чем GPT-4, но прирост недостаточен для оправдания огромных затрат на её работу. Главная проблема – данные. Исследователи #OpenAI пришли к выводу, что публичного интернета недостаточно для создания по-настоящему умной системы. Компания вынуждена генерировать данные искусственно: нанимают программистов и математиков для создания нового кода и решения задач, привлекают экспертов в теоретической физике для объяснения сложных концепций и используют собственную модель o1 для создания синтетических данных. OpenAI пытается решить проблему, разрабатывая модели, способные "рассуждать". Модель o1 и о3 может генерировать несколько ответов на вопрос и анализировать их, выбирая лучший. OpenAI пытается объединить традиционный подход больше данных с новой технологией рассуждений. Однако сроки выхода GPT-5 остаются неясными. Ситуация ставит под вопрос саму стратегию "больше значит лучше", которая раньше приносила успех. #AINews

‍ OpenAI сталкивается с трудностями в завершении разработки своей новой ИИ-модели GPT-5, известной под кодовым названием Orion Проект продолжается уже 18 месяцев, однако, из-за нехватки данных и высоких затрат обучение оказывается крайне сложным. Компания провела два крупных учебных этапа, каждый из которых длился несколько месяцев, но результаты не оправдали ожиданий. На текущий момент Orion показывает лучшую работу по сравнению с предыдущими системами OpenAI, но все ещё не достигла достаточного уровня развития, чтобы оправдать огромные расходы на обучение, которое может обойтись в $500 миллионов. ChatGPT, выпущенный два года назад, произвел настоящий фурор и стал предвестником повсеместного внедрения ИИ в повседневную жизнь. Аналитики предсказывают, что расходы на ИИ могут достигнуть $1 трлн. Однако, на OpenAI лежит основная ответственность за дальнейшие успехи в этой области. Чтобы улучшить Orion, компания использует синтетические данные и привлекает специалистов, однако процесс идет медленно, так как объемы необходимых данных остаются недостаточными.

GPT-5 пока не оправдала ожидания OpenAI WSJ пишет, что OpenAI уже 18 месяцев разрабатывает GPT-5 под рабочим названием Orion. За это время компания провела два многомесячных цикла обучения модели, и оба раза разработчики остались неудовлетворены результатом. Тестовая модель работала лучше других продуктов OpenAI, но прирост в производительности был недостаточным, чтобы оправдать огромные затраты. Аналитики считают, что полугодовой цикл обучения GPT-5 требует полмиллиарда долларов только на оплату вычислительных мощностей. Разработчики пришли к выводу, что качество ответа существенно улучшается, если модель «размышляет». Благодаря этому, она может найти решать сложные проблемы даже если не обучалась этому. Вполне вероятно, что компания изменит подход к разработке GPT-5 и возьмет за основу продвинутую модель рассуждения, такую как o3 или лучше. В ходе недавних 12 дней анонсов новинок, OpenAI ничего не сказала о том, когда появится модель, достойная называться GPT-5. P.S.: быстро сейчас не нашел, но до недавнего времени был популярен график, как растет "качество" нейросетей от количества узлов. Сделал мощнее — стала умнее. Ещё мощнее — ещё умнее. И предела не было видно. А вот сигнал, что предел настал. График, возможно, повернул. Для мира, наверное, хорошо — война с роботами откладывается, всевластье тех, кто может построить датацентр за 100 триллионов долларов откладывается. Нынешний уровень OpenAI не божественен, его многие достигнут.

GPT-5 в кризисе: почему OpenAI не может создать новое поколение ИИ У The Wall Street Journal вышла масштабная статья, о проблемах внутри OpenAI. Амбициозный проект компании под кодовым названием Orion он же GPT-5 столкнулся с серьёзными трудностями. За 18 месяцев разработки компания провела как минимум два масштабных тренировочных запуска, но каждый раз результаты не оправдывали ожиданий, несмотря на колоссальные затраты. Один тренировочный запуск продолжительностью 6 месяцев обходится примерно в полмиллиарда долларов только на вычислительные мощности. Новая модель показывает лучшие результаты чем GPT-4, но прирост недостаточен для оправдания огромных затрат на её работу. Главная проблема – данные. Исследователи OpenAI пришли к выводу, что публичного интернета недостаточно для создания по-настоящему умной системы. Компания вынуждена генерировать данные искусственно: нанимают программистов и математиков для создания нового кода и решения задач, привлекают экспертов в теоретической физике для объяснения сложных концепций и используют собственную модель o1 для создания синтетических данных. OpenAI пытается решить проблему, разрабатывая модели, способные "рассуждать". Модель o1 и о3 может генерировать несколько ответов на вопрос и анализировать их, выбирая лучший. OpenAI пытается объединить традиционный подход больше данных с новой технологией рассуждений. Однако сроки выхода GPT-5 остаются неясными. Ситуация ставит под вопрос саму стратегию "больше значит лучше", которая раньше приносила успех. Как заметил сооснователь OpenAI и бывший сотрудник Илья Суцкевер: "Сейчас важнее масштабировать правильные вещи", - намекая на разработку альтернативных методов обучения ИИ.

WSJ: Разработка новой модели GPT-5 от OpenAI отстает от графика и влечет за собой огромные расходы – Проект GPT-5 он же Orion разрабатывается уже 18+ мес. – Microsoft ожидала, что GPT-5 будет выпущена летом 2024 – OpenAI провела как минимум 2 крупных обучающих цикла – Каждый цикл включал месяцы обработки массивов данных – При этом каждый раз там возникали новые проблемы и др. – Orion лучше текущих моделей, но продвинулся очень мало – Цикл обучения 6 мес. может стоить как минимум $0,5 млрд – Ожидается, что GPT-5 будет способна на научные открытия – При этом модель также способна на рутинные задачи и др. – Альтман обещал, что GPT-5 будет намного умнее текущих ИИ – Обучение GPT-4 стоило $100+ млн, GPT-5 требуется $1+ млрд – Создание GPT-5 до сих пор идет не так гладко, как ожидалось – Общедоступных данных для обучения новой модели не хватает – Модель GPT-4 была обучена примерно на 13 трлн токенов – Вероятно, данные для GPT-5 будет генерировать модель o1

ChatGPT-5 не оправдал ожиданий. Сам процесс разработки отстает от графика, а результаты обновленного ИИ не оправдывают огромные затраты на его создание. Аналитики говорят, что хоть GPT-5 и работает лучше своих предшественников, значительного скачка в прогрессе ожидать не стоит. Более того, чтобы получить значительный скачок в развитии, нужно потратить еще больше сил и средств, чем выделялись на GPT-5. Чтобы как-то оправдаться перед инвесторами и найти более доступные схемы обучения ИИ, OpenAI нанимает команды, которые пишут код обучения данных самостоятельно, а также обучают нейросеть решать математические задачи. Breaking Trends

У Open AI большие проблемы Разработка флагманской модели GPT-5 она же – проект Orion явно идет не по плану главной компании на ИИ-рынке. Компания уже вложила в нее около $500 млн., но результаты оказались разочаровывающими, что ставит под угрозу дальнейшие инвестиции. Основная проблема – недостаток качественных данных для обучения моделей. Говоря проще – новую GPT-5 пока не удается сделать существенно умнее, чем "четверка". Попытки использования синтетически созданных данных привели к сбоям и ошибкам, что вынудило компанию пересмотреть свои подходы. Сейчас OpenAI делает ставку на разработку моделей, способных рассуждать, что потребует еще больших ресурсов и затрат. Если новая модель окажется недостаточно успешной и проблему не получится решить, то компания Сэма Альтмана рискует потерять как финансовые средства, так и свою репутацию.