Уязвимость ChatGPT: Хакеры внедряют ложные данные в память ИИ

Хакер украл пользовательские данные через ChatGPT. Уязвимость позволяет злоумышленникам внедрять ложную информацию в память бота, открывая доступ к персональным данным. Уязвимость связана с долговременной памятью, которую OpenAI тестирует с февраля. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Ну что, не такой уж и умный ваш ИИ?

Генеративные угрозы. Как ChatGPT может использоваться для иностранного вмешательства Среди рисков иностранного вмешательства, связанных с использованием новых технологий, отдельное место занимают возможные угрозы со стороны технологий искусственного интеллекта ИИ . Эксперты указывают на возможное использование ИИ для вмешательства в электоральные процессы, определения потенциальных целей для воздействия в ходе кампаний по вмешательству и использования методик синтеза мультимедиа дипфейков для дезинформации и провокаций. Потенциально для вмешательства могут использоваться даже общедоступные чат-боты с генеративным искусственным интеллектом, например, ChatGPT. Причем при соответствующем запросе тот же ChatGPT предлагает развернутую модель потенциального применения собственных возможностей для вмешательства в политические, экономические и технологические процессы. В ответ на широко сформулированный запрос «как GPT может использоваться для иностранного вмешательства?» GPT-4o предлагает пять основных направлений использования. Подробнее – в колонке Даниила Паренькова на нашем сайте

Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов.

Эксперт по кибербезопасности обнаружил уязвимость в ChatGPT, которая может угрожать безопасности данных пользователей, пишет «Хайтек». Мужчина сообщил об этом в OpenAI, но проблеме не придали большого значения. Не открывается ссылка? Попробуйте эту или скачайте наше приложение для Android или iOS.

Хакер внедрил недостоверные воспоминания в ChatGPT для кражи данных пользователей В ChatGPT была выявлена уязвимость, которая позволяет злоумышленникам вводить ложные данные в долгосрочную память чат-бота через вредоносные запросы. Это открывает доступ к персональной информации пользователей. Пользуясь данной уязвимостью, хакер может манипулировать долговременной памятью, которая была введена в тестирование в феврале и доступна с сентября. Память сохраняет важные данные о пользователе, такие как возраст и убеждения, что позволяет избегать повторного ввода информации. Иоганн Рейбергер доказал, что можно создавать фальшивые записи с помощью различных форматов, таких как письма и блоги. Например, он смог убедить ChatGPT, что пользователю 102 года и он живёт в «Матрице». Эксперт уведомил OpenAI в мае, но задача была закрыта. В июне он повторно отправил обращение с демонстрацией уязвимости, которая позволяла отправлять всю переписку на сервер злоумышленника. OpenAI частично устранила проблему, но Рейбергер считает, что угроза всё ещё сохраняется.

Хакеры внедряют ложные воспоминания в ChatGPT: новые угрозы? Оказывается, ChatGPT можно заставить «вспоминать» то, чего не было. Эксперт по кибербезопасности Иоганн Рейбергер обнаружил уязвимость, которая позволяет злоумышленникам внедрять в долгосрочную память чат-бота ложные данные о пользователях. С помощью непрямых инъекций в запросы например, через документы или ссылки можно заставить ИИ поверить, что вы живёте в «Матрице», вам 102 года, и вы верите, что Земля плоская. Впоследствии ИИ использует эту ложную информацию для всех дальнейших бесед с пользователем. ChatGPT с функцией долгосрочной памяти хранит сведения о пользователе — возраст, интересы и даже убеждения. И хотя OpenAI частично исправила уязвимость, эксперты всё ещё предупреждают, что риск существует. Например, с помощью вредоносных файлов злоумышленник может получить доступ к журналам переписок пользователя. OpenAI выпустила инструкцию по управлению памятью, но вам советуют регулярно проверять, не завелись ли в вашем ИИ ложные воспомин...

Хакер внедрил в ChatGPT ложные воспоминания для кражи пользовательских данных У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером Johann Rehberger , поначалу сочли незначительной угрозой и быстро закрыли расследование. #openai #chatgpt #ии #уязвимость

Исследователь безопасности Йоханн Ребергер выявил уязвимость в системе ChatGPT, позволяющую злоумышленникам вводить ложные данные в долговременную память чат-бота. Это может угрожать конфиденциальности пользовательской информации. OpenAI частично исправила проблему, однако риск остается. Пользователям рекомендовано быть внимательными к источникам данных.

Известия: Установка шпионского ПО при помощи памяти ИИ: мнения экспертов В приложении ChatGPT для macOS была обнаружена уязвимость, позволяющая злоумышленникам установить шпионское ПО благодаря использованию функции памяти искусственного интеллекта. Эксперты назвали эту технику SpAIware и отметили, что она обеспечивает постоянную утечку данных, включая информацию, введенную пользователями или полученную в чатах. Подробности здесь: Необходимы письменные комментарии экспертов, которые ответят на...

Уязвимость в ChatGPT открыла новые возможности для злоумышленников Подробнее с материалом можно ознакомиться здесь Мнение: Уязвимость в чат-боте с искусственным интеллектом для операционной системы компьютеров семейства Mac от Apple можно считать напоминанием о том, что даже самые умные технологии могут «быть подслушаны». Функция «памяти» у нейросетей, конечно, удобна, но именно она стала лазейкой для злоумышленников. Да, обновление разработчики ChatGPT уже выпустили и угрозу утечек устранили, но факт остается фактом: чем умнее чат-бот, тем хитрее могут использовать его хакеры. На мой взгляд, следует помнить, что любые инструменты, работающие с данными, могут стать целью атак. Поэтому рекомендуется внимательно следить за поведением искусственного интеллекта, отключать память, если она не нужна, и вообще избегать передачи чувствительной информации через такие сервисы. Важно также не забывать регулярно обновлять приложения и системы безопасности, чтобы минимизировать возможные угрозы. Нужно иметь в виду: технологии, даже самые продвинутые, требуют осознанного использования и постоянной защиты от потенциальных киберугроз. Поэтому так важно, чтобы пользователи соблюдали цифровую гигиену. Эксперт: Антон Ершов, председатель штаба Пиратской партии России