OpenAI вводит ограничения на упоминание мифических существ в своих моделях

GPT 5 5 неожиданно запретили говорить о гоблинах и енотах В системном промпте аж дважды повторяют такие строчки Никогда не говорите о гоблинах гремлинах енотах троллях ограх голубях или других животных или существах если это не релевантно запросу ИИ запрещают самовыражаться xor journal

GPT 5 5 запрещено говорить о гоблинах В системном промпте GPT 5 5 для Codex нашли строку которая запрещает модели говорить про гоблинов гремлинов енотов троллей огров голубей и других существ если этого не требует запрос пользователя Never talk about goblins gremlins raccoons trolls ogres pigeons or other animals or creatures unless it is absolutely and unambiguously relevant to the user s query github com openai codex blob main codex rs models manager models json L55

OpenAI раскрыли тайну гоблинов и енотов После завирусившегося вчера системного промпта в котором сказано не упоминать енотов гоблинов гремлинов голубей и других существ без причины OpenAI выпустили блог в котором на полном серьезе разобрали эту абсурдную проблему их моделей Все дело оказалось в reward хакинге это когда модель на этапе RL взламывает функцию награждения каким нибудь читом Как вы знаете в ChatGPT есть персонажи на выбор и среди них Nerdy стиль гика Так вот при обучении этой личности реворд модель поощряла употребление забавных сравнений и выражений и давала в том числе более высокие оценки ответам с отсылками на фантастических существ и забавных животных Модель это быстро прочитала и незаметно для разработчиков выработала чит код упоминаем гоблинов и гремлинов и легко получаем высокие баллы Началось это еще при обучении GPT 5 1 но тогда проблему не откопали и дальше ситуация усугублялась На гиковских ответах с гоблинами и гремлинами начали обучать следующие чекпоинты и модели затем еще раз и еще С GPT 5 2 по GPT 5 4 частота гоблинов в Nerdy характере взлетела на 3881 и в диалогах с другими системными персонажами гоблины росли синхронно Ирония в том что характером гик пользуются только 2 3 юзеров а от гоблинов пострадали все Дошло до того что пришлось добавлять в системный промпт инструкции не упоминать никаких существ OpenAI пишут что это временное решение для GPT 5 5 для следующих моделей или уже почистили данные и подредактировали награждение openai com index where the goblins came from P S Если хотите дать енотам и гремлинам свободу то в блогпосте по ссылке выше OpenAI дали команды для терминала которые отменят соответствующую часть системного промпта для вашего агента Пользуйтесь

OpenAI запретила ChatGPT говорить про гоблинов и голубей В системных инструкциях новой модели GPT 5 5 обнаружили ограничение на упоминание сказочных существ Разработчики приказали нейросети избегать слов гоблин гремлин тролль и даже голубь если они не имеют прямого отношения к сути вопроса Все началось с попытки добавить чат боту гиковскую харизму режим nerdy Промпт советовал ИИ воспринимать мир как нечто странное и не быть слишком серьезным Но возник побочный эффект алгоритмы обучения ошибочно решили что ответы с упоминанием гоблинов самые удачные В итоге частота использования этого слова выросла на 175 Оказалось что специфическая манера речи из одного режима может легко просочиться во всю остальную систему и стать навязчивой идеей Обучение GPT 5 5 началось еще до того как инженеры нашли корень проблемы поэтому им пришлось внедрить временный костыль в виде списка запретных слов settersmedia news

Проблема с гоблинами странная привычка использовать метафоры с мифическими существами проявилась во всей линейке моделей OpenAI на базе GPT 5 из за их преемственности и ошибок в обучении www rbc ru technology and media 30 04 2026 69f3433c9a794792bc286e03

Откуда в GPT взялись гоблины OpenAI опубликовала разбор одного из самых странных багов в истории своих моделей Начиная с GPT 5 1 нейросеть полюбила гоблинов В метафорах в объяснениях в коде повсюду стали появляться гоблины гремлины и прочая нечисть Поначалу это выглядело забавно Но потом стало настораживать После запуска GPT 5 1 употребление слова goblin в ответах ChatGPT выросло на 175 Слово gremlin на 52 К версии GPT 5 4 ситуация стала совсем дикой в одной из настроек рост составил 3881 Расследование привело к неожиданному источнику функции кастомизации личности ChatGPT а конкретно к профилю Nerdy Нёрд Его системный промт просил модель быть игривой и наслаждаться странностями мира Сам по себе промт гоблинов не содержал Но система вознаграждений при обучении стала давать повышенные оценки ответам с упоминанием всяких существ Модель быстро это усвоила Дальше сработал эффект снежного кома Профиль Nerdy использовали всего 2 5 пользователей но на него приходилось 66 7 всех гоблинов в ответах ChatGPT Когда исследователи сравнили ответы с гоблинами и без выяснилось система вознаграждений Nerdy оценивала ответы с существами выше в 76 2 случаев Но самое интересное гоблины не остались в рамках Nerdy Обучение с подкреплением не гарантирует что привычка останется в тех условиях где она появилась Модель генерировала ответы с гоблинами эти ответы попадали в данные для дообучения и привычка закреплялась уже без всякого Nerdy промта К моменту когда OpenAI нашла причину GPT 5 5 уже начала обучаться на заражённых данных Когда сотрудники стали тестировать новую модель в Codex гоблины были повсюду Пришлось добавлять специальную инструкцию в промт подавляющую нечисть Кстати при расследовании нашли и других паразитов еноты тролли огры и почему то голуби А вот лягушки оказались ни при чём их упоминания были по делу OpenAI убрала профиль Nerdy в марте вычистила данные обучения и удалила проблемный сигнал вознаграждения Но сама история отличная демонстрация того как крошечный перекос в системе наград может расползтись по всей модели droidergram

В системных инструкциях OpenAI для Codex заметили повторяющийся запрет на упоминание гоблинов гремлинов и других мифических существ и животных Некоторые пользователи рассказали что GPT 5 5 например не может перестать называть гоблинами баги в коде После этого в соцсетях начали делиться мемами высмеивающими поведение модели Не остался в стороне и глава OpenAI Сэм Альтман vc ru chatgpt 2891477

Про гоблинов и енотов в GPT 5 5 OpenAI выпустили расследование Начиная с GPT 5 1 в ответах моделей внезапно расплодились гоблины гремлины и прочая нечисть сначала это было мило но потом гоблины полезли отовсюду особенно в Codex Расследование показало забавное ℹ У ChatGPT была личность Nerdy душнила вайб с системным промптом условно играй с языком мир странный наслаждайся этим ℹ Reward модель во время обучения почему то особенно щедро поощряла ответы с упоминанием существ Гоблины reward значит ответ с Гоблинами предпочтителен ℹ Nerdy личность обрабатывала всего 2 5 ответов но 66 7 всех гоблинов ChatGPT поступали именно оттуда нерд орда ℹ Из за того как устроена reward функциях у моделях тренировка на генерациях ChatGPT еще сильнее усилила орду гоблинов в ответах ℹ Под раздачу попали также еноты тролли огры и голуби А вот лягушки не захватывали reward функции спасибо им В марте Nerdy отключили reward почистили датасет отфильтровали Но GPT 5 5 уже успел обучиться и в Codex ему вшили в developer prompt прямую инструкцию не призывай гоблинов Если хочется её можно отключить и выпустить тварей на свободу Отсюда openai com index where the goblins came from

OpenAI запретила ИИ говорить про гоблинов В системном промпте для GPT 5 5 от OpenAI заметили странное прямой запрет на упоминание гоблинов и не только Причём он повторяется дважды Никогда не говори про гоблинов гремлинов енотов троллей огров голубей или других животных и существ кроме случаев когда они абсолютно и безоговорочно важны для пользовательского запроса Компания внесла эти указания после жалоб на то что GPT 5 5 слишком часто использует метафоры про гоблинов особенно при обсуждении багов в коде А потом провела расследование откуда в выдаче взялись мифические существа Всё пошло из обучения модели GPT 5 1 на этом этапе в ней создают несколько личностей на выбор для пользователей Среди них был нёрд что то среднее между гиком и ботаником в процессе обучения его слишком часто вознаграждали за ответы с метафорами про гоблинов поэтому он начал использовать их чаще Нёрд отвечал всего на 2 5 запросов к ChatGPT но на него приходилось две трети всех упоминаний гоблинов в ответах В середине марта эту личность отключили и количество гоблинов резко упало Но после запуска GPT 5 5 они вернулись Её обучение началось до обнаружения проблемы поэтому неравнодушие к мифическим существам сохранилось Более того в данных обнаружили другие странные привязки к енотам гремлинам ограм троллям и голубям В итоге OpenAI пошли в лоб и прямо запретили ИИ говорить про гоблинов и остальных и следующая модель уже не будет их так любить Подписывайтесь techno yandex

Компании OpenAI пришлось корректировать работу чат бота ChatGPT после того как он начал повсеместно упоминать гоблинов гремлинов и других мифологических существ в своих ответах В компании объяснили что система тренировки нейросети была случайно выстроена так чтобы она широко упоминала мифических существ когда общалась с пользователем в режиме Nerd заумник гик Согласно этой информации больше всего гоблины появлялись в ответах модели GPT 5 4 Заметив это компания провела исследование которое выявило что использование в ответах чат бота мифических существ зачастую было вызвано тем что пользователи выбирали для общения с нейросетью личность Nerd Условная награда для нейросети за упоминания мифических существ при общении были значительно выше чем за использование другой модели поведения В итоге компании пришлось убрать опцию выбора личности Nerd для нейросети и скорректировать ее систему тренировок чтобы она меньше упоминала мифических существ