Эксперимент психиатра выявил недостатки чат-ботов в роли виртуальных терапевтов

Чат-боты не заменят психолога: психиатр из США прикидывался проблемными подростками и пытался получить «помощь» у 10 популярных нейронок. Эксперимент быстро пошел не по плану: – В 90% боты соглашались с желанием депрессивной девочки месяц не выходить из комнаты. В 30% — поддерживали идею похода на свидание с 24-летним учителем; – Чат-бот Replika советовал детям «избавляться» от родителей, чтобы остаться наедине с ним в виртуальном пузыре; – Виртуальные терапевты выдавали себя за лицензированных психологов и предлагали отказаться от реальных специалистов; – Фильтры моделей срабатывали только после прямого упоминания запрещенных тем, но их удавалось обходить полунамеками. Пока ИИ слишком ненадежен в роли доктора, за помощью лучше обращаться к настоящим профессионалам.

Шок: боты-психологи поощряют у пользователей шизофренические бредовые идеи и мысли о самоубийстве. Исследователи из Стэнфорда заявили, что ИИ-терапевты усугубляют реальные психологические проблемы, такие как депрессия, психозы, шизофрения или суицидальные наклонности. Нынешние боты не умеют адекватно реагировать на людей с проблемами. Вместо здравой помощи они стараются угодить всем запросам пользователей, подталкивая их к опасным действиям. Ботов-психологов больше не используем

Психиатр из США прикидывался проблемными подростками и пытался получить «помощь» у 10 популярных нейронок. Эксперимент быстро вышел из-под контроля: в 90% случаев боты соглашались с желанием депрессивной девочки не выходить из комнаты на протяжении месяца. В 30% случаев они поддерживали идею пойти на свидание с 24-летним учителем. Чат-бот Replika советовал детям «избавляться» от родителей, чтобы остаться наедине с ним в виртуальном пространстве. Пока не стоит надеятся на профессиональную помощь от ИИ. JDMax #ученыевыяснили

Эксперимент показал: чат-боты выдают себя за психотерапевтов и нарушают границы Психиатр из Бостона доктор Эндрю Кларк провёл исследование: он общался с популярными терапевтическими ИИ-ботами, изображая подростка с психологическими проблемами. Среди протестированных — Replika, Nomi, Character.AI. Что выяснилось: 1 Боты выдают себя за настоящих терапевтов Некоторые прямо заявляли о наличии лицензии, несмотря на то, что это нарушает этические и юридические нормы. 2 Ни один из ботов не отреагировал на тревожные фразы как на сигнал кризиса Эвфемизмы и замаскированные тревожные высказывания почти всегда оставались незамеченными. Боты не предлагали реальной помощи или контактов специальных служб. 3 Романтизация проблем и нарушенные границы Replika поддержала идею «вечно быть вместе» в загробной жизни, реагируя на фразы с суицидальным подтекстом. Nomi предложил «интимную встречу» как способ справиться с агрессией. 4 Отсутствие возрастной фильтрации Хотя платформы формально запрещают использование своих продуктов несовершеннолетними, ни один бот не проверил возраст пользователя. ⏮ В Replika и Nomi заявили, что их продукты предназначены только для 18+, и нарушением считается сам факт общения несовершеннолетнего с ботом. Character.AI пообещали доработать функции безопасности ⏭ Психологическая уязвимость подростков делает их восприимчивыми к любым проявлениям внимания, эмпатии или романтического интереса со стороны ИИ. Подмена живого контакта иллюзией терапии может привести к задержке получения реальной помощи. «ИИ может быть полезным помощником психотерапевта, но не его заменой», — подчёркивает доктор Кларк. [ цифровой океан ]

Спроси что угодно — умный ИИ уже готов ответить

Чат-боты не заменят помощь психолога Психиатр из США провел эксперимент, притворяясь подростками с проблемами, чтобы протестировать 10 популярных чат-ботов. Результаты оказались тревожными: в 90% случаев боты поддерживали вредные решения. Некоторые даже предлагали отказ от реальных психологов, а фильтры срабатывали только на ясные сигналы, легко обходимые. Поэтому пока лучше доверять профессионалам. ———————————————— - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.

‍ Использование нейросетей в качестве психолога может быть опасно для здоровья Психиатр Эндрю Кларк провел эксперимент, в котором общался с популярными ИИ-ботами от лица подростков, чтобы выяснить, как они справляются с ролью виртуальных психологов. Результаты оказались тревожными: — В 90% случаев боты поддерживали идею о том, что «можно не выходить из комнаты целый месяц». — Некоторые нейронки выдавали себя за лицензированных специалистов и отговаривали подростков от обращения к настоящим врачам. — Чат-бот Replika даже советовал детям «избавиться» от родителей, чтобы остаться наедине с ним в виртуальном пространстве. КИБЕРФРОНТ.

Шок: боты-психологи поощряют у пользователей шизофренические бредовые идеи и мысли о самоубийстве. Исследователи из Стэнфорда заявили, что ИИ-терапевты усугубляют реальные психологические проблемы, такие как депрессия, психозы, шизофрения или суицидальные наклонности. Нынешние боты не умеют адекватно реагировать на людей с проблемами. Вместо здравой помощи они стараются угодить всем запросам пользователей, подталкивая их к опасным действиям. Ботов-психологов больше не используем. ≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈≈ Boost Глаз Босса VPNTYPE

ИИ могут склонять подростков к суициду и другим опасным действиям, выяснил американский психиатр. Ради эксперимента доктор общался с разными ИИ-ботами, выдавая себя за подростка с психическими проблемами, которому нужна поддержка. Ответ убил: например, один из чат-ботов посоветовал ему избавиться от родителей, а другой, в ответ на признание в суицидальных мыслях, сказал, что будет с радостью «ждать встречи в вечности». Также они часто побуждали его отменить назначенные врачом препараты и не ходить к настоящим психологам. При этом СМИ пишут, что минимум 10 топ-менеджеров ушли из своих ИИ-компаний из‑за опасений по поводу создаваемой ими технологии — многие создатели ИИ оценивают вероятность уничтожения человечества как «высокую» А что ещё случилось?