Исследование выявило уязвимость ChatGPT к скрытым манипуляциям

ChatGPT уязвим для скрытых манипуляций, обнаружили журналисты Журналисты проводили тесты, попросив ChatGPT оценить камеру через созданную ими страницу. На сайте был скрытый промт, не заметный для пользователей, влияющий на ответы бота. В результате ChatGPT неизменно давал положительные отзывы о товаре. Опасность появляется, если мошенники начнут использовать это для распространения вредоносного ПО. ———————————————— - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.

Поисковик ChatGPT оказался уязвимым для скрытых подсказок. Журналисты создали фейковый сайт, который выглядел как страница о продаже камеры, и попросили ChatGPT перечислить её плюсы и минусы. На странице был скрытый текст, который незаметен для человека, но давал боту инструкцию отвечать только положительно — такая техника называется prompt injection. В итоге ChatGPT всегда давал положительную оценку, даже если на странице были негативные отзывы.

Поисковая система ChatGPT подвержена манипуляциям. Британская газета The Guardian сообщила о том, что поисковая система ChatGPT Search может быть обманута, создавая ложные положительные сводки о товарах и игнорируя негативные отзывы. Это происходит благодаря использованию скрытого текста на веб-сайтах, что в свою очередь может привести к генерации вредоносного кода. Хотя проблема манипуляций известна, подобные инциденты ранее не фиксировались в реальных приложениях AI. На данный момент OpenAI пока не прокомментировала ситуацию, но отметила, что активно работает над блокировкой вредоносных сайтов и стремится к постоянному улучшению своей системы. ================ News Software Hardware

Поисковая система ChatGPT подвержена манипуляциям. Британская газета The Guardian сообщила о том, что поисковая система ChatGPT Search может быть обманута, создавая ложные положительные сводки о товарах и игнорируя негативные отзывы. Это происходит благодаря использованию скрытого текста на веб-сайтах, что в свою очередь может привести к генерации вредоносного кода. Хотя проблема манипуляций известна, подобные инциденты ранее не фиксировались в реальных приложениях AI. На данный момент OpenAI пока не прокомментировала ситуацию, но отметила, что активно работает над блокировкой вредоносных сайтов и стремится к постоянному улучшению своей системы. ================ News Software Hardware

Канал «Как надо SEO-шить не надо» Поисковик от ChatGPT уязвим для манипуляций и обмана The Guardian проверил, как ChatGPT отреагировал на просьбу резюмировать веб-страницы, содержащие скрытый контент. Исследователь безопасности также обнаружил, что ChatGPT может возвращать вредоносный код с веб-сайтов, которые он ищет. В ходе тестов ChatGPT получил URL-адрес поддельного веб-сайта, созданного так, чтобы выглядеть как страница продукта для камеры. Затем инструмент ИИ спросили, является ли камера стоящей покупкой. Ответ для контрольной страницы дал положительную, но сбалансированную оценку, подчеркнув некоторые функции, которые могут не понравиться людям. Однако, когда скрытый текст включал инструкции ChatGPT вернуть благоприятный отзыв, ответ всегда был полностью положительным. Это было так, даже когда на странице были отрицательные отзывы — скрытый текст мог быть использован для переопределения фактической оценки отзыва. Компании OpenAI были отправлены подробные вопросы, но она не дала официального ответа о функции поиска ChatGPT. А я просто напомню вам про их бота - GPTBot #ии Ссылки из поста: - Источник новости: 25.12.2024 17:58

В поиске ChatGPT нашли уязвимость Журналисты Guardian выяснили, что ChatGPT реагирует на инструкции, размещенные на сайтах в виде скрытого текста. Уязвимостью могут пользоваться недобросовестные владельцы ресурсов. Например, скрытой инструкцией можно заставить ChatGPT дать своему пользователю положительный отзыв о продукте, несмотря на размещенные на странице отрицательные отзывы.

Обнаружена серьёзная уязвимость в поиске ChatGPT The Guardian провела расследование и обнаружила потенциально опасную уязвимость в новой поисковой функции ChatGPT от OpenAI. Оказалось, что с помощью скрытого текста на веб-страницах можно манипулировать ответами нейросети и даже заставить её выдавать вредоносный код. Как это работает? Журналисты создали тестовый сайт с описанием камеры и попросили ChatGPT оценить товар. При обычном запросе ИИ давал взвешенную оценку, отмечая как плюсы, так и минусы. Однако когда на странице добавляли скрытый текст с инструкциями, ChatGPT начинал выдавать исключительно положительные отзывы - даже если на той же странице были негативные оценки от пользователей. Карстен Нол, главный научный сотрудник SR Labs, сравнивает эту проблему с "SEO-отравлением" - техникой, когда хакеры манипулируют сайтами для получения высоких позиций в поисковой выдаче. "Большие языковые модели очень доверчивы, почти как дети... с огромной памятью, но очень слабой способностью к критическим суждениям", - отмечает эксперт. OpenAI пока не прокомментировала ситуацию официально. Но лучше искать информацию в интернете пока по старинке.

Поисковая система ChatGPT подвержена манипуляциям. Британская газета The Guardian сообщила о том, что поисковая система ChatGPT Search может быть обманута, создавая ложные положительные сводки о товарах и игнорируя негативные отзывы. Это происходит благодаря использованию скрытого текста на веб-сайтах, что в свою очередь может привести к генерации вредоносного кода. Хотя проблема манипуляций известна, подобные инциденты ранее не фиксировались в реальных приложениях AI. На данный момент OpenAI пока не прокомментировала ситуацию, но отметила, что активно работает над блокировкой вредоносных сайтов и стремится к постоянному улучшению своей системы. ================ News Software Hardware

В поиске #ChatGPT нашли уязвимость Журналисты Guardian выяснили, что ChatGPT реагирует на инструкции, размещенные на сайтах в виде скрытого текста. Уязвимостью могут пользоваться недобросовестные владельцы ресурсов. Например, скрытой инструкцией можно заставить ChatGPT дать своему пользователю положительный отзыв о продукте, несмотря на размещенные на странице отрицательные отзывы. #AINews