OpenAI представила Realtime API для интеграции голосового AI в приложения и телефонию

Начался OpenAI DevDay. Уже презентовали prompt caching 50% от цены если вы используете тот же промт для вашего приложения , обновления в API, fine-tuning для 4o моделей в том числе видео файнтьюн, так что вы теперь можете построить самоуправляемый велосипед на основе GPT . Самое интересное демо пока что — Realtime API. Фактически это возможность в реальном времени, но задержки, общаться с моделью голосом. На видео несколько впечатляющих демо. Это будет доступно всем разработчикам по цене базовой модели. Добавили нативную дистилляцию моделей: вы можете сделать более маленькую, дешевую специализированную модель под себя. Так же OpenAI запустил свой продукт для эвалов наконец-то! , так что теперь оценивать качество вашего приложения можно будет не по методу пол-палец-потолок, а по уму.

OpenAI выпустила новый API Основные новшества включают Realtime API для голосовых функций через вебсокеты с использованием модели gpt-4o-realtime-preview, а также будущую модель 4o-mini, которая предложит более доступные цены. Также представлен инструмент дистилляции моделей для файн-тюнинга более легких версий, а функция Image fine-tuning позволит интегрировать изображения в настройку GPT-4o. Кроме того, разработаны инструменты для автоматизации тестирования качества моделей Evaluations и кэширования промптов, что поможет снизить затраты на API. AI-помощники теперь могут генерировать системные промпты и json-схемы в Functions calling, что повысит функциональность приложений. ================

Итоги конференции OpenAI DevDay Разработчики смогут интегрировать в свои продукты ИИ для общения без задержек в текстовом и голосовом форматах с помощью Realtime API. С помощью тонкой настройки зрения можно обучать модели распознавать объекты, загрузив всего 100 изображений. Кэширование запросов для API API Prompt Caching сохранит результаты для повторного использования, что снизит время отклика и нагрузку на серверы. Дистилляция моделей API Model Distillation позволит уменьшать крупные модели, сохраняя их производительность на узком круге задач. Новые модели в этом году не ожидаются: релизы o1 и Sora будут позже. ———————————————— - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.

Итоги конференции OpenAI DevDay Разработчики смогут интегрировать в свои продукты ИИ для общения без задержек в текстовом и голосовом форматах с помощью Realtime API. С помощью тонкой настройки зрения можно обучать модели распознавать объекты, загрузив всего 100 изображений. Кэширование запросов для API API Prompt Caching сохранит результаты для повторного использования, что снизит время отклика и нагрузку на серверы. Дистилляция моделей API Model Distillation позволит уменьшать крупные модели, сохраняя их производительность на узком круге задач. Новые модели в этом году не ожидаются: релизы o1 и Sora будут позже.

OpenAI представила на DevDay 2024 новые инструменты, упрощающие разработку приложений на базе ее ИИ-технологий Среди нововведений — Realtime API, позволяющий разработчикам создавать речевые интерфейсы с малой задержкой и выбором из шести голосов. Этот инструмент упрощает процесс, объединив транскрибирование, генерацию ответа и преобразование текста в речь в одну операцию. Примером использования API стало приложение для планирования поездок. Также были представлены инструменты для тонкой настройки моделей и функция кэширования, сокращающая затраты разработчиков на обработку данных вдвое. Мы из будущего

OpenAI упрощает создание ИИ-приложений: главные анонсы DevDay 2024 OpenAI на DevDay 2024 отказалась от громких запусков продуктов, сделав акцент на улучшении инструментов для разработчиков. Нововведения снижают затраты и задержки Prompt Caching , упрощают создание голосовых приложений Realtime API , улучшают точность и функциональность работы ИИ с изображениями Vision Fine-Tuning , а также позволяют обучать компактные модели с помощью данных от более мощных систем Model Distillation . Это говорит о сдвиге в стратегии OpenAI: компания фокусируется на расширении экосистемы разработчиков, а не на создании конкурирующих продуктов. В отличие от DevDay 2023, который вызвал бурный ажиотаж, на этом мероприятии не было выступления Сэма Альтмана.

Спроси что угодно — умный ИИ уже готов ответить

OpenAI представила Realtime API для создания приложений с голосовыми ответами Realtime API позволит разработчикам добавлять в приложения речевые интерфейсы, работающие почти без задержки. В качестве примера на презентации показали приложение для планирования путешествий, которое давало советы о поездке в Лондон. Также Realtime API умеет разговаривать с людьми по телефону, правда для этого нужна интеграция с API звонков, таким как Twilio. Кроме того, разработчики теперь смогут обучать GPT-4o на собственных изображениях. А еще, OpenAI показала как GPT-o1 прямо на презентации написала код для управления дроном. — GPT o1-preview и o1-mini уже доступны в c.aiacademy.me

Стоимость минуты разговора AI и человека для call-центров OpenAI выпустила Realtime API для встраивания голосового AI в сторонние приложения и телефонию, которое сразу назвали убийцей call-центров. И тут же подоспело приблизительное сравнение со стоимостью человеческого общения. Источник

OpenAI анонсировала несколько новых инструментов, включая публичную бета-версию Realtime API для создания приложений с возможностью голосовых ответов с низкой задержкой. Благодаря новой функции разработчики могут создавать в своих приложениях голосовое общение в реальном времени с поддержкой шести голосов. Подробнее: #OpenAI

Realtime API: Прорыв в продажах – Начинаем уже сейчас! Ребят, представляете? Будущее уже здесь. И это не просто красивая фраза. С 1 октября OpenAI запускает Realtime API, который перевернёт все наши представления о том, как продавать и поддерживать клиентов. Это штука позволяет встраивать в приложения мультимодальные AI-интерфейсы с мгновенным взаимодействием – голосом или текстом. Что за магия? Теперь не надо кучу инструментов, чтобы обработать голос и ответить пользователю. Всё через одно API! Работает через WebSocket, а это значит, что соединение с сервером постоянное, без разрывов. Сказал – тут же получил ответ. Как живой разговор. Например, клиент спрашивает, сколько стоит ваш продукт, и AI не просто отвечает, а может сразу предложить условия или акции, как настоящий менеджер по продажам. Зачем оно нужно? • Представь, что твой отдел продаж теперь не дремлет 24/7. • Колл-центр? Зачем? AI сам будет отвечать, да ещё и быстрее человека. • Полная автоматизация – ваш AI будет сам звонить клиентам, отвечать на вопросы и даже заключать сделки. Куда это катит? Это не просто инструмент для голосовых ассистентов. Представьте, ваш AI может управлять продажами, поддержкой и вообще всеми процессами, которые раньше требовали участия человека. Нужен контроль? Нет проблем – AI обучаем и адаптируется под ваши задачи. Когда и как это можно использовать? На сайте OpenAI уже сказано, что технология будет доступна с 1 октября. Мы сейчас только начинаем разбираться в деталях, но уже понятно, что это мощный скачок в будущее. Модули в make.com еще не появились, но мы будем с разработчиками смотреть, как лучше это внедрить. Если вы что-то нашли или есть инфа – пишите, будет полезно! Весь рынок скоро поменяется. Уже буквально через пару недель можно будет встраивать эту штуку в свои приложения. Это реальный шанс опередить всех, сделать так, чтобы продажи и поддержка работали без косяков и задержек, быстрее, чем у конкурентов. Подробности тут