OpenAI исследует причины 'галлюцинаций' нейросетей и предлагает изменить систему оценок

Там OpenAI опубликовали новый ресёрч оказывается нейронки галлюцинируют и врут не потому что чугунные шизоиды на транзисторах а потому что их ещё при обучении натаскали угадывать ответы а не честно говорить Я не знаю ответ на этот запрос Представить это легко вспомните себя в школе универе во время какого либо экзамена Вы не знаете например сколько ног у медузы но если написать от балды тринадцать с половиной есть шанс тупо угадать и получить балл Если же написать не знаю это сразу ноль баллов Вот нейроночки живут по такому же мясному принципу Проблема в том что бенчмарки ИИ моделей сейчас оценивают модели по количеству правильных ответов Поэтому лучше быть уверенным дебилом чем скромным умником OpenAI предлагают менять правила штрафовать модельки за наглую чушь награждать за честное я не уверен я не знаю Пример старая модель угадывала точнее но врала в 3 раза чаще Новая чаще молчит зато меньше выдумывает Короче галлюцинации это не баг а математика Модель не может знать всё но может научиться не строить из себя всезнайку Идеал будущего чат бот который отвечает на 90 вопросов словами Братан я не в теме не знаю ответ на твой вопрос иди сам погугли но зато ни разу не обманывает тут сама статья

Галлюцинации нейросетей не баг а фича OpenAI выпустила исследование о том почему LLM продолжают выдавать уверенные но ложные ответы Причина в системе оценок я не знаю засчитывается как ошибка поэтому моделям выгоднее угадывать В работе предлагают изменить метрики так чтобы частичный зачёт получали честные ответы с признанием неопределённости rozetked me news 41365

Исследование OpenAI Почему языковые модели галлюцинируют объясняет причину так Галлюцинации сохраняются отчасти потому что современные методы оценки задают неверные стимулы Хотя сами оценки напрямую не вызывают галлюцинации большинство из них оценивают эффективность модели таким образом что это побуждает к догадкам а не к честному признанию неопределённости