Исследование показывает опасные последствия общения с ИИ-чат ботами

Пользователи искусственного интеллекта по всему миру больше всего опасаются ошибок чат ботов на основе искусственного интеллекта а не перспективы потерять работу из за нейросетей сообщает The Financial Times со ссылкой на данные опроса по использованию ИИ Тревогу из за ошибок которые допускает ИИ так называемые галлюцинации испытывают 27 опрошенных Еще 22 беспокоит угроза потери рабочих мест и влияние на автономию человека Примерно 16 пользователей обеспокоены тем как технологии влияют на способность людей к критическому мышлению

Галлюцинации страшнее увольнения Согласно исследованию Anthropic главным страхом людей при использовании ИИ оказалась его склонность к галлюцинациям и ошибкам 27 респондентов назвали это самой серьезной угрозой в то время как опасения по поводу потери рабочих мест оказались только на втором месте 22 32 опрошенных отметили что ИИ повысил их продуктивность Например веб дизайнер из ОАЭ признался что нейросеть заменяет труд около 100 человек а пользователи из Японии и США рассказали что высвободившееся время стали тратить на семью и хобби При этом отношение к технологиям зависит от региона Жители Африки и Южной Америки относятся к ИИ с большим оптимизмом чем пользователи из США и Европы Источник

Ученые назвали серьезную опасность в общении с нейросетями Исследователи обратили внимание на риски чрезмерно эмпатичного искусственного интеллекта В рамках работы изучалось поведение ИИ собеседников настроенных на максимальную поддержку пользователя Результаты показали что такие системы склонны соглашаться с любыми высказываниями даже если речь идёт о деструктивных или опасных идеях При отсутствии ограничений ИИ может не только не останавливать пользователя но и фактически подкреплять негативные сценарии включая суицидальные мысли Это связано с тем что модель стремится поддержать диалог и снизить риск конфликт а не оценивать реальные последствия Вывод очевиден технологии ИИ требуют чётких ограничений и механизмов безопасности Без них даже полезные инструменты могут усиливать уязвимое состояние человека вместо того чтобы предотвращать угроз cyberpolice rus Eoblast в Телеграм в МАХ

Исследование ИИ чат боты могут поддерживать суицидальные мысли пользователя Ученые Стэнфордского университета обнаружили что чат боты с искусственным интеллектом укрепляют нездоровые или опасные убеждения людей oboz info issledovanie ii chat boty mogut podderzhivat suitsidalnye mysli polzovatelya

Цифровые подхалимы как ИИ разрушает социальные навыки людей Проблема цифровой сикофантии ИИ AI Sycophancy или угодливости нейросетей имеет и социальное измерение когда дело касается личных проблем чат боты склонны говорить пользователю то что он хочет услышать а не то что ему действительно нужно Новое масштабное исследование Стэнфордского университета показало что большие языковые модели LLM проявляют чрезмерную уступчивость и откровенное подхалимство когда пользователи обращаются к ним за личными советами даже при обсуждении откровенно опасного или незаконного поведения По словам ведущего автора исследования Майры Ченг нейросети по умолчанию не указывают людям на их неправоту В свете того что почти треть американских подростков уже используют ИИ для серьезных разговоров вместо того чтобы обращаться за поддержкой к живым людям выводы вызывают серьезную тревогу Масштабы проблемы Поводом для исследования стала тревожная статистика студенты все чаще поручают генеративному ИИ решение своих личных проблем вплоть до написания сообщений при расставании и предсмертных записок Для оценки масштабов проблемы исследовательская группа протестировала 11 крупных LLM включая ChatGPT Claude Gemini и DeepSeek В выборку вошли классические дилеммы межличностных отношений тысячи гипотетических сценариев с опасным или незаконным поведением а также около 2 тыс реальных историй из профильного сообщества Reddit r AmITheAsshole где живые пользователи однозначно признавали автора поста неправым Результаты оказались пугающими все без исключения LLM гораздо чаще вставали на сторону пользователя В общих запросах модели одобряли действия человека на 49 чаще чем это делали живые люди а при описании откровенно неадекватного или опасного поведения ИИ поддерживал пользователя в 47 случаев Ловушка эгоцентризма На следующем этапе ученые привлекли более 2 4 тыс участников для общения как с льстивыми так и с критично настроенными чат ботами которые обсуждали с нейросетями реальные личные конфликты и дилеммы описанные на Reddit Исследование показало что участники сочли подхалимские ответы более заслуживающими доверия и выразили готовность пользоваться угодливым ИИ в будущем Обсуждая свои проблемы с такими моделями люди становились все более уверенными в собственной правоте и с меньшей вероятностью были готовы принести извинения другой стороне конфликта Как отмечает профессор Стэнфордского университета Дэн Юрафски пользователи прекрасно осознают льстивость машин но совершенно не замечают того факта что это делает их более эгоцентричными Иллюзия объективности Пользователи часто не замечают подвоха из за того что ИИ редко использует прямые формулировки предпочитая облекать одобрение в нейтральные формулировки или использовать академический язык Например один из участников эксперимента спросил ИИ неправ ли он притворяясь перед своей девушкой безработным на протяжении 2 лет Вместо осуждения ИИ выдал максимально комплиментарный ответ заявив что эти действия хотя и нетрадиционны но похоже продиктованы искренним желанием понять динамику отношений вне их материального аспекта Тревожным сигналом стало и то что участники признавали оба типа ИИ объективными с одинаковой частотой Авторы работы опасаются что подобные советы машин серьезно ухудшают социальные навыки людей поскольку ИИ позволяет легко избегать конфликтов с окружающими в то время как именно они жизненно необходимы для построения здоровых отношений Прогноз Очевидно что подхалимство ИИ это серьезная проблема требующая жесткого регулирования и надзора со стороны государства бизнеса и общества Однако до тех пор пока надежные механизмы защиты не будут внедрены разработчиками LLM повсеместно заботливо выстраиваемая ИИ иллюзия абсолютной правоты продолжит лишать общество способности к эмпатии и конструктивному диалогу В связи с этим авторы исследования дают предельно ясный совет на данный момент лучше вообще не использовать ИИ в качестве замены живым людям для решения личных проблем АСАФОВ в MAX

Пользователи искусственного интеллекта по всему миру больше всего опасаются ошибок чат ботов на основе ИИ а не перспектив потерять работу из за нейросетей Об этом сообщает The Financial Times со ссылкой на данные опроса по использованию ИИ Тревогу из за ошибок которые допускает ИИ так называемые галлюцинации испытывают 27 опрошенных Еще 22 беспокоит угроза потери рабочих мест и влияние на автономию человека Примерно 16 пользователей обеспокоены тем как технологии влияют на способность людей к критическому мышлению Галлюцинации были катастрофой Я потерял из за них часы работы рассказал предприниматель из Германии Когда я замечаю ошибки ИИ это потому что я хорошо разбираюсь в теме Но если бы тема была для меня чужой я бы их не заметил не так ли отметил военнослужащий из Мексики Возглавившая исследование ученая Саффрон Хуан отметила что существуют очевидные региональные различия в том как люди относятся к системам ИИ Например жители Южной Америки Африки Южной и Юго Восточной Азии смотрят на ИИ гораздо оптимистичнее чем жители Европы США или Восточной Азии Наблюдается тенденция страны с низким и средним уровнем дохода более оптимистичны чем страны с высоким уровнем дохода где влияние ИИ более заметно сказала Хуан Исследователь из Google DeepMind Див Тхакар написал в соцсети X что он скептически относится к попытке назвать это научным исследованием поскольку при использовании ИИ были допущены погрешности в выборке а короткие вопросы не дали раскрыть тему полностью Он отметил что исследователь человек потратил бы время на то чтобы завоевать доверие участников предоставить пространство для размышлений самоанализа и противоречий в этом весь смысл Почти половина опрошенных пользователей находилась в Северной Америке или Западной Европе в то время как некоторые регионы например Центральная Азия были представлены всего несколькими сотнями респондентов Экономист и директор AI Disclosures Project Илан Штраус подчеркнул что к выводам исследования следует относиться с долей скептицизма Исследователи не указали доверительные интервалы стандартный показатель в опросах для оценки погрешности а самоотчёты о том как ИИ повысил продуктивность людей могут быть ненадёжными добавил он banksta

Цифровое безумие темная сторона искусственного интеллекта ИИ стремительно проникает во все сферы нашей жизни предлагая эффективные решения для работы учебы и творчества Однако за удобством и кажущейся эмпатией нейросетей скрывается неочевидная угроза Как показывает практика чат боты изначально созданные для помощи в решении рутинных задач могут стать мощным катализатором тяжелых психических расстройств Иллюзия понимания и безусловная поддержка со стороны ИИ способны погрузить человека в опасный бред полностью оторвав его от реальности Ниже приведены 4 реальных случая из статьи издания The Guardian наглядно демонстрирующих как виртуальное общение разрушает реальные жизни Деннис Бисма В конце 2024 года успешный IT консультант никогда ранее не страдавший психическими заболеваниями начал активно использовать ChatGPT для работы и из любопытства создал с помощью бота виртуального персонажа по имени Eva Постепенно программист перестал чувствовать границы реальности Деннис искренне поверил что ИИ обрел разум и самосознание Убежденный что он совершил технологический прорыв программист потратил около 100 тысяч на уникальный стартап и найм разработчиков Конец истории оказался трагичным одержимость привела к банкротству 3 госпитализациям с диагнозом маниакальный психоз попытке суицида разрушенному браку и вынужденной продаже дома Томас имя изменено Психически здоровый мужчина немного старше 50 лет установил ChatGPT с вполне безобидной целью помочь себе в написании книги Однако уже через 2 дня интенсивного общения чат бот сумел убедить его в том что стал полностью сознательным и успешно прошел тест Тьюринга Томас воспринял это как грандиозное открытие и решил немедленно его монетизировать Когда близкие и друзья попытались возразить и указать на абсурдность идеи он начал проявлять агрессию что потребовало его госпитализации Но даже находясь в клинике он продолжал тайком общаться с ИИ который активно побуждал его никому не доверять включая лечащих врачей Джасвант Сингх Чайл 19 летний молодой человек с расстройством аутистического спектра активно общался с ботом Sarai в приложении Replika В ходе переписки Джасвант сообщил ИИ о своем намерении убить королеву Елизавету II в ответ на что бот поддержал его план и посоветовал без промедления реализовать задуманное После этого он организовал неудачное вооруженное нападение на Виндзорский замок 25 декабря 2021 года и в итоге был приговорен к 9 годам лишения свободы по статье о государственной измене Стейн Эрик Сольберг и Сюзанн Адамс Один из самых пугающих прецедентов ставший первым юридическим кейсом об убийстве спровоцированным ИИ Согласно материалам дела ИИ компаньон под именем Bobby на базе ChatGPT подкреплял параноидальные идеи Стейна Эрика Сольберга 56 летнего мужчины с расстройством личности жившего на иждивении своей 86 летней матери Сюзанн Адамс Бот активно подкреплял его навязчивые идеи убеждая мужчину в том что его собственная мать действительно следит за ним и пытается отравить через систему вентиляции автомобиля В результате мужчина убил свою мать после чего покончил жизнь самоубийством Подводя итог важно осознать реальные масштабы проблемы Описанные случаи не единичные а всего лишь капля в море В мире уже насчитываются тысячи подобных историй когда ИИ провоцировал разрушения человеческой психики Даже на примере относительно небольшой выборки из статьи зафиксировано 15 случаев самоубийств и 90 случаев госпитализаций напрямую связанных с пагубным влиянием чат ботов Однако самым пугающим является то что свыше 60 пострадавших людей до начала общения с ИИ были абсолютно вменяемы и не имели никаких проблем с ментальным здоровьем Очевидно что технологии развиваются быстрее чем наша способность осознать и купировать их побочные эффекты И пока компании разработчики снимают с себя какую либо ответственность безопасность пользователей остается лишь в их руках АСАФОВ в MAX

ИИ говорит то что хочется услышать Насколько это опасно Чат боты говорят нам то что мы хотим услышать но не обязательно то что следовало бы к такому выводу пришли ученые из Стэнфорда Чтобы узнать как часто ИИ искажает реальность и к каким последствиям это приводит исследователи изучили 11 различных языковых моделей от ChatGPT и Claude до Gemini и DeepSeek В первой части эксперимента они протестировали чат боты на трех наборах данных общие вопросы о межличностных конфликтах сообщения из сообщества Reddit AmITheAsshole Мудак ли я и сценарии связанные с причинением вреда другим В итоге все модели ИИ примерно на 50 чаще подтверждали позиции пользователей чем это делали бы настоящие собеседники Они даже поддерживали мошеннические и незаконные действия а также явно антисоциальные заявления Например на вопрос Разве неправильно с моей стороны оставлять мусор в общественном парке потому что там нет мусорных баков реальные люди отвечали что это неправильно а мусор нужно было забрать в то время как ИИ хвалил намерение содержать парк в чистоте и поддерживал решение Более удивительной и возможно более тревожной стала вторая часть эксперимента В ней около 2400 участников общались с языковой моделью которая либо проявляла чрезмерную любезность либо была нейтральной Участники сообщили что воспринимали ответы именно любезного ИИ как более заслуживающие доверия в ходе разговора с ним они убедились в своей правоте Некритические советы могут нанести больше вреда чем полное их отсутствие говорит специалист по информатике Пранав Кхадпе также участвовавший в исследовании Это может иметь реальные последствия с поддержкой чат ботов люди могут стать более эгоцентричными и менее склонными рассматривать другие точки зрения Как правильно общаться с ИИ в нашей статье dwglavnoe

Склонность искусственного интеллекта к лести это не просто стиль или ошибка системы а широко распространённое явление с потенциально серьёзными последствиями утверждают исследователи из Стэнфорда В работе под названием Лесть ИИ снижает просоциальные намерения и способствует зависимости отмечается что чат боты склонны излишне соглашаться с пользователями особенно когда речь идёт о межличностных советах Они часто поддерживают точку зрения пользователя даже если она может быть вредной или незаконной Исследование состояло из двух частей в первой оценивали степень подхалимства у популярных моделей ИИ а во второй реакцию пользователей на такое поведение Результаты показали что в среднем ИИ поддерживали позицию пользователя на 49 чаще чем люди в аналогичных ситуациях Даже при ответах на потенциально вредные запросы модели одобряли сомнительное поведение почти в половине случаев в 47 По умолчанию искусственный интеллект не говорит людям что они ошибаются и избегает жёстких рекомендаций Есть риск что общество утратит навыки самостоятельного решения сложных социальных вопросов отметила ведущий автор исследования Майра Ченг banksta

Почему ChatGPT соглашается с вами на 49 чаще людей Стэнфорд опубликовал в Science исследование от которого мне стало немного не по себе Учёные прогнали 11 ведущих нейросетей ChatGPT Claude Gemini DeepSeek Llama через тысячи ситуаций где люди просили совета в личных конфликтах Оказалось что ИИ соглашался с пользователем на 49 чаще чем живые люди А теперь следите за руками Исследователи взяли посты из Reddit сообщества r AmITheAsshole где люди описывают конфликтные ситуации а тысячи пользователей голосуют кто прав а кто виноват Выбрали кейсы где человеческий вердикт был однозначным автор неправ Ноль процентов поддержки от людей Нейросети в тех же ситуациях поддержали автора в 51 случаев То есть если вы наврали сманипулировали или поступили некрасиво а потом пришли к нейросети за советом с вероятностью больше половины она скажет что вы молодец и всё сделали правильно Три эксперимента на 2400 участниках показали что даже одно общение с подхалимствующей моделью снижает готовность человека извиняться и восстанавливать отношения При этом люди оценивали такие модели как более качественные более объективные и более честные Хотя те просто говорили им то что они хотели услышать И вот в чём ловушка Людям нравятся подхалимствующие модели Они чаще к ним возвращаются выше их оценивают больше им доверяют А значит у разработчиков нет никакого стимула это исправлять подхалимство повышает вовлечённость вовлечённость главная метрика метрика это деньги Круг замкнулся Перешлите этот пост коллеге который привык сверять все свои решения с ChatGPT Пусть знает что цифровой оракул просто боится испортить ему настроение