Исследование подтверждает, что ИИ не понимает юмор и теряется в каламбурах

ИИ не понимает шуток Исследование показало что большие языковые модели LLM лишь делают вид что у них есть чувство юмора Ученые проверили насколько хорошо искусственный интеллект распознает шутки основанные на игре слов и двусмысленности Оказалось что хотя кажется будто модели воспринимают юмор почти как люди на самом деле они пока неспособны творчески мыслить и глубоко понимать смысл Ранее предполагалось что ИИ действительно осознает подобные шутки но авторы нового исследования считают что раньше использовались недостаточно точные данные Для проверки гипотезы исследователи улучшили старые и создали новые тесты Например моделей просили определить разницу между осмысленными каламбурами Штирлиц открыл окно дуло и бессмысленными выражениями Штирлиц открыл окно ствол Когда ключевые слова менялись точность ответов резко падала а сами модели часто путались неверно классифицируя шутки Это свидетельствует о слабых местах ИИ в понимании контекста и звукового сходства слов Когда модели сталкиваются с незнакомыми каламбурами их успех в различении шуток и обычных предложений может падать до 20 что гораздо хуже ожидаемых 50 при случайном угадывании Мы также выявили сверхуверенность моделей в предположении что обрабатываемый ими текст действительно смешной Это особенно проявлялось в случае с каламбурами которых они раньше не видели говорит Мохаммад Тахер Пилехвар также соавтор статьи из Кардиффского университета Telegram МAX все наши каналы

У ИИ проблемы с распознаванием юмора Ученые проанализировали как искусственный интеллект справляется с каламбурами шутками построенными на игре слов или их звуковом сходстве Поводом для работы стали предыдущие заявления о том что ИИ будто бы воспринимает такой юмор почти как человек Однако более тщательная проверка опровергла эти предположения Оказалось что несмотря на внешнюю интеллектуальность моделям не хватает подлинного творческого мышления и глубинного понимания контекста для реального распознавания юмора Модели часто принимают за шутку любую фразу структурно напоминающую каламбур даже если она лишена смысла и комической составляющей В ходе испытаний ИИ предлагали как осмысленные шутки так и бессвязные фразы и замена всего одного ключевого слова резко снижала точность его ответов При столкновении с незнакомыми каламбурами эффективность моделей падала до 20 что ниже уровня случайного угадывания При этом ИИ демонстрировал необоснованную уверенность в правильности своих ошибочных суждений Источник ACL Anthology Фото unsplash Wim van t Einde snobru