«Яндекс» запускает программу вознаграждений для белых хакеров за выявление уязвимостей в ИИ-моделях

«Яндекс» расширил программу для «белых» хакеров и теперь предлагает вознаграждение тем, кто найдёт технические ошибки и уязвимости в YandexGPT, YandexART и сопутствующей инфраструктуре. Получить можно до 1 млн рублей в зависимости от серьёзности ошибки vc.ru/ai/1917615

«Яндекс» предлагает белым хакерам проверить безопасность генеративных нейросетей компании Компания «Яндекс» анонсировала открытие нового направления программы «Охота за ошибками» — теперь белые хакеры и специалисты по кибербезопасности могут получать вознаграждение за найденные уязвимости в семействах ИИ-моделей YandexGPT, YandexART и соответствующей инфраструктуре. Максимальная сумма, которую можно получить за один отчет — миллион рублей. Читать далее

Вклад в безопасность нейросетей Яндекса Яндекс впервые добавил направление для GenAI в свою программу «Охота за ошибками». За находки технических уязвимостей в семействах моделей YandexGPT, YandexART и сопутствующей инфраструктуре обещают деньги: чем серьезней ошибка — тем больше сумма, вплоть до миллиона рублей. Критичными считаются уязвимости, которые могут раскрыть чувствительную информацию — например, данные о внутренней конфигурации модели или служебный промт. Помимо регулярных внутренних аудитов, Яндекс уже далеко не первый год использует программы багбаунти для повышения безопасности своих сервисов.. Платят за разные находки, но вот отдельного направления по безопасности нейросетей раньше не было. А теперь есть.

«Яндекс» выплатит до 1 млн рублей исследователям в рамках нового направления программы «Охота за ошибками», связанного с генеративными нейросетями Участникам «Охоты» предстоит искать технические ошибки в семействах моделей YandexGPT, YandexART и сопутствующей инфраструктуре, которые могут повлиять на результаты работы и процесс обучения нейросетевых моделей. Например, привести модель к сбою или изменить её поведение так, чтобы она повлияла на работу других сервисов Яндекса. Размер выплаты зависит от серьезности ошибки и простоты её применения. Максимальное вознаграждение за такие ошибки — 1 млн рублей. В «Охоте» могут участвовать только отчёты о технических уязвимостях. К ним, например, не относятся сообщения о неточных ответах Алисы или некорректных изображениях в Шедевруме. #IT_News #Яндекс #кибербезопасность Подписаться

Ведомости: «Белые хакеры» оценят безопасность нейросетей Яндекса – Их привлекут для поиска технических уязвимостей нейросетей – Для поиска доступны модели семейства YandexGPT и YandexART – Также можно будет проверять сопутствующую инфраструктуру – Надо искать ошибки, которые влияют на работу, обучение и др. – Размер выплаты исследователям зависят от серьезности ошибки – Также будет влиять простота применения найденной ошибки – Макс. вознаграждение за критические ошибки будет 1 млн руб. – Среди них: раскрытие конфигурации, служебного промта и др. – В программе участвуют только отчеты о технических уязвимостях – Программа поможет провести независимую проверку нейросетей – Это поможет убедиться в безопасности технологий Яндекса

«Яндекс» привлекает специалистов по кибербезопасности для тестирования защищенности своих генеративных нейросетей В рамках расширенной программы «Охота за ошибками» "Яндекс" открывает новое направление, ориентированное на выявление слабых мест в системах на основе искусственного интеллекта. ‼ Исследователи, способные обнаружить уязвимости в YandexGPT, YandexART и связанных компонентах, смогут претендовать на вознаграждения до одного миллиона рублей. Задача участников – находить технические дефекты, потенциально влияющие на результаты работы и процесс обучения нейросетей, такие как вызов сбоев или нежелательное изменение поведения, отражающееся на других сервисах «Яндекса». В программе охвачены все сервисы и ИИ-продукты, применяющие YandexGPT и YandexART, включая «Алису», «Поиск с Нейро», «Шедеврум» и облачные решения, где машинное обучение используется, например, для ранжирования. Сумма вознаграждения определяется сложностью эксплуатации и степенью серьезности обнаруженной ошибки. К критическим уязвимостям относятся те, что позволяют получить доступ к внутренней конфигурации модели, служебным промтам с технической информацией или иным конфиденциальным данным. За обнаружение таких ошибок предусмотрена максимальная выплата в 1 миллион рублей. «Яндекс» запустил программу поиска уязвимостей в 2012 году, став пионером в этой области в России. Сейчас «Охота за ошибками» является постоянной инициативой, в которой может принять участие любой желающий.

Умный помощник, который всегда под рукой

Яндекс объявил о расширении своей программы "Охота за ошибками", включив в нее проверку генеративных нейросетей. Эксперты и исследователи теперь будут искать технические недочеты в таких продуктах, как YandexGPT и YandexART, а также в их инфраструктуре. Целью данной инициативы является гарантирование высоких стандартов безопасности и надежности сервисов компании. В рамках этой программы участники смогут проводить независимую оценку нейросетей, что способствует улучшению качества и безопасности продуктов. Это направление также отражает общий тренд на увеличение инвестиций в кибербезопасность. Согласно прогнозам, российские компании планируют удвоить свои расходы на защиту информации в следующие два года.

Яндекс запустил программу по выявлению уязвимостей в GenAI-сервисах компании YandexGPT и YandexART в рамках «Охоты за ошибками». Этичные хакеры будут выявлять угрозы, которые могут повлиять на результаты работы нейросетевых моделей. Все технологии компании, включая ИИ, создаются с фокусом на безопасность. Поэтому привлечение «белых хакеров» рассматривают только как дополнительный инструмент — и новый вызов для сообщества.

Белый хакер — друг ИИ Использование IT-компаниями «белых хакеров» для поиска уязвимостей — не новый ход как на международном, так и на российском рынке. У Яндекса, например, программа «Охота за ошибками» действует с 2012 года. Аналогичные программы есть у Сбера и VK. А вот что в новинку — так это поиск хакерами уязвимостей в нейросетях и генеративном ИИ. О запуске такого направления в Яндексе сегодня написали «Ведомости». Исследователям предлагают найти технические уязвимости в семействах моделей YandexGPT, YandexART и сопутствующей инфраструктуре. Размер выплаты зависит от критичности уязвимости. Максимальная награда — 1 млн рублей. YandexGPT и YandexART есть во многих сервисах компании вроде Поиска, Алисы и облачных решений, которыми миллионы людей пользуются ежедневно. Понятно, что ответственность очень высока, и компания использует разные превентивные меры защиты: проверку нейросетей на уязвимости еще на этапе проектирования, постоянный мониторинг подозрительной активности в инфраструктуре. Но привлечение внешних исследователей может стать неплохим дополнением, чтобы проверить защиту. ℹ Иностранные разработчики ИИ-решений белых хакеров тоже используют, в том числе OpenAI. Интересно, что у Microsoft подобная программа появилась только после того, как злоумышленники научились манипулировать ответами нейросети, что лишний раз подчеркивает — укреплять защиту нужно превентивно. Учитывая популярность нейросетей, предвосхищаем запуск подобных программ и другими отечественными разработчиками ИИ.

«Яндекс» расширяет программу «Охота за ошибками» и запускает новые направления для исследователей.