Исследования показывают ограничения языковых моделей в логическом рассуждении

Исследование показало, что даже продвинутый ИИ не умеет рассуждать Всем известно, что искусственный интеллект может ошибаться и галлюцинировать. Но недавнее исследование Apple выявило еще более существенные недостатки в математических моделях, с помощью которых ИИ «рассуждает». Ученые несколько раз задавали модели один и тот же вопрос, немного меняя его формулировку. Вместе с этим менялись и ответы модели, особенно если в вопросах использовались числа.

Восстание машин можно отменять: современные языковые модели, такие как ChatGPT, не способны к логическому рассуждению. Исследователи из Apple выяснили, что эти нейросети лишь воспроизводят шаблоны, усвоенные в процессе обучения. В тестах, где изменялись числовые значения и усложнялись условия задач, модели, включая самую продвинутую ChatGPT o1, не смогли продемонстрировать устойчивую логику, а у некоторых из них производительность снижалась на 65%. Это подтверждает, что их «рассуждения» — не более чем повторение уже знакомых паттернов, а не создание новых решений. NeuroTrends

Искусственный интеллект достигнет уровня человеческих умственных способностей примерно через 10 лет, а возможно, и позже Современные ИИ-модели способны обрабатывать естественный язык и генерировать текст. Однако, по словам Яна Лекуна, главного эксперта по ИИ в Meta, они не обладают памятью, мышлением, планированием или рассуждением, как человек. Эти системы лишь имитируют такие навыки. Учёный считает, что для преодоления этой преграды понадобится не менее десятка лет и разработка так называемых «моделей мира». В начале года OpenAI анонсировала функцию «памяти» для ChatGPT, позволяющую ИИ «запоминать» взаимодействие с пользователем, а также новое поколение моделей GPT-4o, которые используют фразу «думаю» при создании ответов. Тем не менее, Лекун утверждает, что эти нововведения не обеспечивают истинного понимания у ИИ. Лекун подчёркивает, что для создания ИИ, способного адекватно воспринимать мир, необходимо наличие интуиции и здравого смысла.

Эксперт заявила, что системы ИИ пока далеки от возможности осознания себя Проблема понимания, интерпретации фактов является пока непреодолимой для современных системы искусственного интеллекта ИИ , заявила директор Института когнитивных исследований Санкт-Петербургского госуниверситета, заслуженный деятель науки и высшего образования РФ Татьяна Черниговская. В ходе конференции «Искусственный интеллект и сознание» в президиуме Российской академии наук РАН Черниговская, в частности, сказала: «Искусственные системы пока не воспроизводятся сами. У них нет своего социума — они не общаются друг с другом, помимо нашей воли. Они не обладают обыденными знаниями, не имеют здравого смысла. Искусственные системы не в состоянии выстроить свою картину мира… Главная проблема — это проблема понимания, интерпретации фактов, а интерпретация зависит от научной парадигмы исследователя: данные не свободны от теории». Подробнее

Инженеры компании Apple выявили недостатки в математическом мышлении искусственного интеллекта В ходе недавнего исследования, проведенного шестью специалистами, были обнаружены уязвимости у современных ИИ-моделей, таких как ChatGPT-4 от OpenAI, в контексте выполнения надежных математических задач. Результаты исследования показывают, что даже небольшие изменения в формулировках заданий, например, замена имен или чисел, могут значительно ухудшить работу ИИ, снижая точность от 0,3% до 9,2%. Эти выводы дополняют более ранние исследования, которые указывают на то, что крупные языковые модели LLM в основном полагаются на вероятностное сопоставление шаблонов, а не на строгие логические методы решения задач. При введении незначительной информации, такой как размеры фруктов в математической проблеме, точность моделей ИИ могла падать катастрофически, достигая потерь до 65,7%. Эксперты считают, что для дальнейших успехов в развитии ИИ необходимо создавать модели, способные выполнять абстрактные символические операции, схожие с традиционной алгеброй.

Битва людей с ИИ вышла на новый уровень: пользователи активно проходят тест, могут ли они стать нейросетью. Просто просим у ChatGPT дать пару задач и решаем. Мы тоже решили проверить себя. Судя по всему, ChatGPT пока не чувствует конкуренции и отлично оценивает все ответы. Зато мы узнали ключевые критерии обучения языковых моделей в OpenAI: генерация текста, понимание контекста, творческие способности и многозадачность.

Битва людей с ИИ вышла на новый уровень: пользователи активно проходят тест, могут ли они стать нейросетью. Просто просим у ChatGPT дать пару задач и решаем. Мы тоже решили проверить себя. Судя по всему, ChatGPT пока не чувствует конкуренции и отлично оценивает все ответы. Зато мы узнали ключевые критерии обучения языковых моделей в OpenAI: генерация текста, понимание контекста, творческие способности и многозадачность. #News Подписаться