ВТБ предлагает решения для снижения рисков ИИ-галлюцинаций

Эксперты ВТБ рассказали, как снизить риски ИИ‑галлюцинаций Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей — генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.

Эксперты ВТБ рассказали, как снизить риски ИИ‑галлюцинаций Специалисты озвучили основные способы борьбы с ошибками нейросетей Читать подробнее на сайте...

Эксперты рассказали, как снизить риски ИИ‑галлюцинаций

Эксперты ВТБ выделили основные методы борьбы с "галлюцинациями" нейросетей — ситуациями, когда ИИ генерирует правдоподобный, но фактически недостоверный текст. Специалисты классифицируют галлюцинации на три типа: искажение проверяемых фактов, полная фабрикация информации и ошибки в логике выполнения инструкций. Основные причины таких сбоев кроются в вероятностной природе языковых моделей, которые "додумывают" ответ при недостатке данных, а также в ограничениях обучающих выборок. Для снижения ошибок ВТБ применяет комплексный подход: каскадные системы из нескольких моделей, "цепочки рассуждений" для сложных запросов, AI guardrails для контроля ответов и тщательную фильтрацию обучающих данных. "Ответственное использование ИИ требует не только технологических решений, но и экспертной проверки, чтобы избежать финансовых и репутационных рисков", — подчеркивают в банке, где такие методы уже используются в системах распознавания речи, прогнозирования операций с наличными и корпоративного поиска.

Почему ИИ продолжает галлюцинировать — и как его от этого лечат Некоторое время назад по СМИ и каналам разошлась новость о том, как нейросети доверили управление вендинговым аппаратом в офисе. В результате модель начала заказывать еду у несуществующих поставщиков и отдавать её работникам бесплатно. У подобного явления есть термин — «ИИ-галлюцинации». Нейросеть может выдумать ссылку, неправильно интерпретировать запрос или сгенерировать условия, которых нет в природе. Всё потому, что модель работает не с истиной, а с вероятностями. Что помогает избежать дезинфы: • Чёткая формулировка промта • Разбиение задачи на простые шаги • Финальная проверка результатов человеком Банки уже тестируют подходы для снижения искажений. ВТБ, например, использует каскадные модели — несколько ИИ проверяют друг друга. А обучают их только на текстах, очищенных от ошибок. 1337

Специалисты ВТБ назвали способы борьбы с "галлюцинациями" нейросетей, которые при генерации правдоподобного текста используют вымышленные факты, неточные данные или ссылки на несуществующие источники. Это может не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.

Эксперты рассказали, как снизить риски ИИ‑галлюцинаций Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей — генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса. ↗ Прислать новость Подписаться

Эксперты рассказали, почему нейросети «додумывают» ответы и придумывают факты Причиной возникновения так называемых ИИ-галлюцинаций - когда нейросеть в своих ответах выдает правдоподобный текст, но с вымышленными фактами, - является особенность обучения и работы языковых моделей. Нейросети формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, «додумывая» ответы на запросы. Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение, - пояснил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов. ⏺подписаться

ИИ уже помогает в работе и учёбе, но порой начинает фантазировать: сочиняет факты, придумывает ссылки. Это называют ИИ-галлюцинациями — когда модель выдает правдоподобный, но ложный результат. В банках уже ищут способы борьбы с этим. Например, в ВТБ применяют каскадные модели, где несколько нейросетей проверяют друг друга, а обучающие данные заранее очищают от ошибок и недостоверной информации. ИИ умнеет, но для корректного результата всё равно необходимо человеческое участие.

Эксперты назвали ключевые способы борьбы с галлюцинациями нейросетей Они возникают при генерации текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса. Языковые модели не понимают смысл информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются по‑разному. В одних случаях система искажает проверяемые данные, в других — формирует вымышленные сведения или неправильно следует заданным инструкциям. Ошибки также могут возникать как из-за недостатка знаний в редких областях, так и из-за неточностей или искажений, изначально содержащихся в используемых данных. Другой распространенной причиной ИИ-галлюцинаций являются сложные и абстрактные задачи. Чтобы снизить такие ошибки, можно использовать несколько разных подходов. «Один из них — продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Еще один способ — так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдает что‑то неверное», —рассказал Лев Меркушов. Банк ВТБ активно применяет ИИ, и в практике используются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. Сейчас такие модели разрабатываются именно для корпоративной работы.