Разработка GPT-5 Orion в OpenAI замедляется из-за нехватки данных и высоких затрат

Большой текст в Wall Street Journal описывает ситуацию с разработкой в OpenAI и, в частности, сообщает, что разработка GPT-5 под кодовым названием Orion идет медленнее, чем ожидалось и сталкивается с проблемами, основные из которых — нехватка данных для обучения и технические сложности с архитектурой модели. После 18 месяцев работы и как минимум двух масштабных тренировочных прогонов, каждый из которых обошелся примерно в полмиллиарда долларов, результаты все еще не оправдывают огромных затрат. Правда, по результатам тестового обучения получившаяся модель выдавала результаты лучше, чем нынешние публичные модели OpenAI, но они были недостаточно хороши, чтобы соответствовать переходу от GPT-4 к GPT-5 по критериям компании. OpenAI пытается решить проблему данных, нанимая специалистов для создания нового контента то есть буквально программисты, например, пишут код для решения тех или иных задач, чтобы на этом контенте обучать модель и используя синтетические данные от своей модели o1, но процесс идет медленно. Публично компания пока никак не комментирует планы относительно Orion. А я вот что думаю — если показанная вчера o3 настолько лучше всего и даже превосходит людей и там внутри еще не Orion, то что мы увидим, когда в условной o5 соединятся Orion с еще более продвинутыми размышлениями?

OpenAI не может завершить GPT-5 Orion — данных в сети не достаточно, обучение слишком дорогое The Wall Street Journal сообщает, что у OpenAI не получается вовремя завершить работу над ИИ нового поколения GPT-5 Orion. Нужного результата специалисты не могут добиться вот уже на протяжении 1,5 лет. Основная причина в том, что в сети попросту не хватает данных, чтобы GPT-5 Orion стала достаточно умной и существенно превзошла предыдущую версию. Читать далее

Хватит искать: обнаружен лучший подарок 2025 года!

Разработка GPT-5 Orion OpenAI задерживается из-за нехватки данных и высоких вычислительных затрат около $500 млн за полгода обучения . Wall Street Journal Несмотря на лучшие результаты по сравнению с существующими моделями, Orion пока не оправдывает вложений. Ожидалось, что GPT-5 будет на уровне доктора наук, но определение готовности модели остается субъективным. Проблемы усугубляются конкуренцией и секретностью в сфере ИИ. OpenAI пытается решить проблему нехваткой данных с помощью синтетических данных и модели o1 3dnews.ru, но эффективность этого подхода пока не подтверждена. Более ранние проекты, такие как Arrakis 3dnews.ru, также столкнулись с трудностями. OpenAI оценивается в $157 млрд 3dnews.ru, но достижение обещанного "значительного скачка" с GPT-5 пока под вопросом.

GPT-5 пока не оправдала ожидания OpenAI WSJ пишет, что OpenAI уже 18 месяцев разрабатывает GPT-5 под рабочим названием Orion. За это время компания провела два многомесячных цикла обучения модели, и оба раза разработчики остались неудовлетворены результатом. Тестовая модель работала лучше других продуктов OpenAI, но прирост в производительности был недостаточным, чтобы оправдать огромные затраты. Аналитики считают, что полугодовой цикл обучения GPT-5 требует полмиллиарда долларов только на оплату вычислительных мощностей. Разработчики пришли к выводу, что качество ответа существенно улучшается, если модель «размышляет». Благодаря этому, она может найти решать сложные проблемы даже если не обучалась этому. Вполне вероятно, что компания изменит подход к разработке GPT-5 и возьмет за основу продвинутую модель рассуждения, такую как o3 или лучше. В ходе недавних 12 дней анонсов новинок, OpenAI ничего не сказала о том, когда появится модель, достойная называться GPT-5. P.S.: быстро сейчас не нашел, но до недавнего времени был популярен график, как растет "качество" нейросетей от количества узлов. Сделал мощнее — стала умнее. Ещё мощнее — ещё умнее. И предела не было видно. А вот сигнал, что предел настал. График, возможно, повернул. Для мира, наверное, хорошо — война с роботами откладывается, всевластье тех, кто может построить датацентр за 100 триллионов долларов откладывается. Нынешний уровень OpenAI не божественен, его многие достигнут.