OpenAI исследует причины 'галлюцинаций' нейросетей и предлагает изменить систему оценок

Там OpenAI опубликовали новый ресёрч оказывается нейронки галлюцинируют и врут не потому что чугунные шизоиды на транзисторах а потому что их ещё при обучении натаскали угадывать ответы а не честно говорить Я не знаю ответ на этот запрос Представить это легко вспомните себя в школе универе во время какого либо экзамена Вы не знаете например сколько ног у медузы но если написать от балды тринадцать с половиной есть шанс тупо угадать и получить балл Если же написать не знаю это сразу ноль баллов Вот нейроночки живут по такому же мясному принципу Проблема в том что бенчмарки ИИ моделей сейчас оценивают модели по количеству правильных ответов Поэтому лучше быть уверенным дебилом чем скромным умником OpenAI предлагают менять правила штрафовать модельки за наглую чушь награждать за честное я не уверен я не знаю Пример старая модель угадывала точнее но врала в 3 раза чаще Новая чаще молчит зато меньше выдумывает Короче галлюцинации это не баг а математика Модель не может знать всё но может научиться не строить из себя всезнайку Идеал будущего чат бот который отвечает на 90 вопросов словами Братан я не в теме не знаю ответ на твой вопрос иди сам погугли но зато ни разу не обманывает тут сама статья

Исследователи OpenAI утверждают что постоянная проблема галлюцинаций у чат ботов ИИ связана с методами обучения и оценки языковых моделей а не с какими то загадочными техническими недостатками В исследовании компания по разработке искусственного интеллекта объясняет что современные системы оценки по сути учат модели блефовать а не признавать свою неуверенность В работе опубликованной совместно с партнёрами из Технологического института Джорджии основная причина такой проблемы объясняется фундаментальным несоответствием критериев оценки даже продвинутые модели такие как GPT 5 продолжают делать уверенные но неверные заявления Галлюцинации появляются не из за конструктивных ошибок а из за факторов обучения при которых модели поощряются за догадки а не за честное указание на свою неуверенность

OpenAI утверждает что изжить галлюцинации LLM невозможно но ИИ нужно наказывать за ошибки Исследователи OpenAI предположили что галлюцинации языковых моделей связаны не только с процессом обучения но и с неверными стимулами при их оценке Они предлагают изменить систему тестов чтобы модели не поощрялись за случайные догадки Новый научный труд компании задается вопросом почему даже современные языковые модели вроде GPT 5 и чат боты типа ChatGPT продолжают выдавать правдоподобные но ошибочные высказывания

OpenAI ChatGPT всегда будет галлюцинировать Однако чтобы это прекратилось надо менять способ обучения ИИ Компания признала что почти невозможно полностью избавиться от галлюцинаций в больших языковых моделях правдоподобных но ложных ответов которые чат боты вроде ChatGPT выдают с уверенностью OpenAI считает что причина в том что на этапе предобучения модели учатся лишь предсказывать следующее слово в тексте не различая правду и вымысел И если частотные факты усваиваются лучше то редкие детали почти всегда дают сбой

Исследователи OpenAI утверждают что постоянная проблема галлюцинаций у чат ботов ИИ связана с методами обучения и оценки языковых моделей а не с какими то загадочными техническими недостатками В исследовании компания по разработке искусственного интеллекта объясняет что современные системы оценки по сути учат модели блефовать а не признавать свою неуверенность В работе опубликованной совместно с партнёрами из Технологического института Джорджии основная причина такой проблемы объясняется фундаментальным несоответствием критериев оценки даже продвинутые модели такие как GPT 5 продолжают делать уверенные но неверные заявления Галлюцинации появляются не из за конструктивных ошибок а из за факторов обучения при которых модели поощряются за догадки а не за честное указание на свою неуверенность

OpenAI объяснили почему ИИ галлюцинирует Оказывается модели придумывают факты не случайно дело в самой системе обучения При тренировке угадайка оценивается выше чем просто я не знаю Решение наказывать модель за уверенные ошибки сильнее чем за признание неопределенности Только так можно сделать ИИ более честным и надежным В следующий раз не жалеем ChatGPT за очередной выдуманный факт Источник aiaiai

Галлюцинации нейросетей не баг а фича OpenAI выпустила исследование о том почему LLM продолжают выдавать уверенные но ложные ответы Причина в системе оценок я не знаю засчитывается как ошибка поэтому моделям выгоднее угадывать В работе предлагают изменить метрики так чтобы частичный зачёт получали честные ответы с признанием неопределённости rozetked me news 41365

Исследование OpenAI Почему языковые модели галлюцинируют объясняет причину так Галлюцинации сохраняются отчасти потому что современные методы оценки задают неверные стимулы Хотя сами оценки напрямую не вызывают галлюцинации большинство из них оценивают эффективность модели таким образом что это побуждает к догадкам а не к честному признанию неопределённости

OpenAI объявила о прорыве в решении проблемы галлюцинаций ИИ Это достижение может значительно улучшить качество взаимодействия с искусственным интеллектом и повысить его надежность Подробности и технологии лежащие в основе этого прорыва пока остаются закрытыми но эксперты предполагают что это может повлиять на многие области включая автоматизацию контента и работу с данными PRO AI OFFICIAL

Почему языковые модели галлюцинируют OpenAI опубликовали исследование о причинах галлюцинации LLM Галлюцинации это не мистический сбой в сознании ИИ а вполне предсказуемый побочный эффект его обучения Представьте что перед моделью стоит задача бинарной классификации определить является ли предложенное утверждение корректным или нет Математическая выкладка в исследовании проста уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации Если модель не способна надежно отличить факт от вымысла она неизбежно будет этот вымысел генерировать Все начинается еще на претрейне Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок Особенно это касается фактов которые редко встречаются в обучающей выборке В работе вводится понятие singleton rate доля фактов которые появились в данных лишь один раз Теоретический расклад показывает что уровень галлюцинаций модели будет как минимум равен этой доле Проще говоря если 20 фактов о днях рождения в датасете встретились единожды модель будет выдумывать дни рождения как минимум в 20 случаев Эксперименты это подтверждают Модель DeepSeek V3 на просьбу назвать день рождения одного из авторов статьи трижды выдала неверные даты 03 07 15 06 и 01 01 Ни одна из них не была даже близка к правильной осенью В другом тесте где нужно было сосчитать количество букв D в слове DEEPSEEK та же DeepSeek V3 выдавала 2 или 3 а модели компании Марка Цукерберга и Claude 3 7 Sonnet доходили до 6 и 7 При этом базовые модели после претрейна часто показывают отличную калибровку Например у предобученной GPT 4 ожидаемая ошибка калибровки составляла всего 0 007 что говорит о высокой статистической адекватности ее предсказаний Кто бы сомневался Почему галлюцинации не исчезают после пост тренинга и RLHF Ответ на этот вопрос в системе оценки Большинство современных бенчмарков поощряют угадывание Модели по сути постоянно находятся в режиме сдачи экзамена где за правильный ответ дают 1 балл а за пустой бланк или ответ я не знаю 0 В такой системе оптимальная стратегия при неуверенности только угадать Любой шанс на правильный ответ лучше чем гарантированный ноль Эту гипотезу подтвердили анализом популярных оценочных наборов В GPQA MMLU Pro Omni MATH SWE bench и HLE используется строго бинарная система оценки правильно неправильно Возможности получить частичный балл за честное признание в незнании там просто нет Из 10 рассмотренных в исследовании популярных бенчмарков только один WildBench присуждает частичные баллы за ответы формата я не знаю Остальные же фактически наказывают модель за отказ галлюцинировать создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь Что делать инженерам OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности Еще рекомендуют включают мониторинг singleton rate на корпусе измерение вероятности важных ответов комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически Читать статью полностью ai machinelearning big data AI ML LLM Research OpenAI