OpenAI приобретает стартап Promptfoo для улучшения безопасности AI систем

OpenAI купит Promptfoo основанный в 2024 году стартап который помогает компаниям выявлять и устранять проблемы безопасности в ИИ системах Его технологии планируют интегрировать в корпоративую платформу для ИИ агентов Frontier vc ru ai 2786625

OpenAI купила стартап Promptfoo для защиты AI агентов Promptfoo сделал инструмент которым компании могут проверять свои LLM на уязвимости По словам самого Promtfoo у него в клиентах четверть участников Fortune 500 Стартап основан в 2024 году За всё время привлек 23 миллиона долларов инвестиций Последняя оценка 86 миллионов Разработки Promptfoo интегрируют в корпоративную платформу для создания AI агентов OpenAI Frontier openai com index openai to acquire promptfoo

OpenAI покупает red teaming стартап OpenAI объявила о приобретении Promptfoo платформы для тестирования безопасности и оценки ИИ систем После закрытия сделки технологии компании войдут в продукт Frontier корпоративную платформу для создания и эксплуатации ИИ агентов Promptfoo основали Иан Уэбстер и Майкл Д Анджело в 2024 году За неполные два года команда создала CLI инструмент с открытым исходным кодом и набор решений которые используют более 25 компаний из списка Fortune 500 Основная специализация оценка поведения LLM приложений и контролируемые попытки взломать систему чтобы найти уязвимости до того как это сделают злоумышленники Интеграция с Frontier предполагает 3 направления Встроенное security тестирование Автоматические проверки на prompt injection jailbreak утечки данных и нецелевое использование инструментов станут нативной частью платформы Интеграция в dev workflows выявлять и устранять риски можно будет прямо в процессе разработки не откладывая безопасность на финальный этап Аудит и комплаэнс Встроенная отчетность поможет командам документировать тестирование и выполнять требования по управлению ИИ рисками Решение о покупке основано на том что по мере того как агенты получают доступ к реальным данным и бизнес системам цена ошибки резко возрастает Стандартных метрик качества явно недостаточно бизнесу нужны систематические инструменты для верификации поведения агентов в нештатных ситуациях Promptfoo именно этим и занималась причем в open source формате OpenAI обещает продолжать развивать open source составляющую Promptfoo параллельно с интеграцией в Frontier Сумма сделки не раскрывается но по открытым данным в июле прошлого года стартап оценили в 86 млн долларов ai machinelearning big data news ai ml