Apple анонсировала новый API для Siri, позволяющий считывать экранный контент в приложениях

Apple выпустила API, который позволяет Siri и Apple Intelligence считывать данные экранного контента в приложениях Когда пользователь задает вопрос о экранном контенте или хочет выполнить действие с ним, Siri и Apple Intelligence могут считать контент, чтобы ответить на вопрос и выполнить действие. Если пользователь явно запрашивает это, Siri и Apple Intelligence могут отправлять контент в поддерживаемые сторонние службы. Например, кто-то может просмотреть веб-сайт и использовать Siri для предоставления краткой сводки, сказав или набрав фразу типа «Привет, Siri, о чем этот документ?». Apple #новости

Siri и Apple Intelligence теперь могут просматривать контент и отправлять его сторонним службам Вчера Apple выпустила вторую сборку iOS 18.2, основным нововведением которой стало появление API App Intent. Это алгоритм, который позволяет встроенному искусственному интеллекту просматривать пользовательский контент. В документации к свежему обновлению Apple указывает, что теперь Siri и Apple Intelligence могут считывать экранный контент в приложениях, чтобы выполнить какое-либо действие. Читать далее

Siri научилась читать контент приложений: Apple выпустила новый API С релизом iOS 18.2 Apple представила API App Intent, который открывает новые возможности для взаимодействия Siri и Apple Intelligence с контентом в сторонних приложениях. Теперь разработчики могут предоставить виртуальным помощникам доступ к экранной информации в своих приложениях. Суть обновления — возможность для Siri считывать и анализировать контент экрана, чтобы быстрее отвечать на запросы пользователя. Например, если пользователь хочет получить краткую сводку открытого документа, достаточно спросить: «Привет, Siri, о чем этот документ?», и ассистент предоставит нужную информацию. Эта функция позволяет пользователям использовать Siri для обработки контента на экране и отправки информации в сторонние службы, если они активируют такую опцию. #apple #appleinside #ios18 #appleintelligence

Siri сможет считывать содержимое экрана в сторонних приложениях после установки iOS 18.2 Apple представила новый API в iOS 18.2, позволяющий разработчикам интегрировать функцию считывания содержимого экрана в Siri и Apple Intelligence. Это позволит Siri распознавать и взаимодействовать с контентом, отображаемым на экране, например, предоставлять сводки документов или выполнять действия по запросу пользователя. В iOS 18.2 интеграция ChatGPT с Siri уже позволяет задавать вопросы о фотографиях и документах и получать информацию о них.

Ваш iPhone станет умнее: Siri научилась «читать» экран и отправлять данные ChatGPT! Apple на шаг приблизила будущее: голосовой помощник Siri теперь сможет просматривать содержимое экрана на iPhone и взаимодействовать с ним! Благодаря новому API под названием App Intent, Siri можно попросить ответить на вопросы. Например, спросить, что изображено на фото или о чем эта статья. Ассистент увидит контент на экране и сможет отправить его в ChatGPT. Эта функция уже доступна во второй бета-версии iOS 18.2 и будет в стабильной версии, выход которой ожидается в декабре. С ее помощью Siri сможет «видеть» текст, изображения и другие данные на экране iPhone, анализировать их и, при запросе пользователя, пересылать нужные данные в другие приложения для более сложной обработки. Пока что эта функция доступна только на английском языке и не работает в России, но Apple уже предоставила API разработчикам, чтобы те могли подготовить свои приложения к официальному релизу iOS 18.2. Что думаете об этой функции? Это круто или только добавляет мыслей про слежку за пользователями?

Apple начала внедрять новые инструменты для будущих функций распознавания экрана Siri с помощью Apple Intelligence. Новые API App Intent позволяют разработчикам сделать экранный контент своих приложений доступным для Siri и Apple Intelligence. Система обеспечит прямое взаимодействие с видимым контентом в браузерах, документах, фотографиях и др. Ранние тесты интеграции ChatGPT уже доступны в бета-версии iOS 18.2, хотя функции полноэкранной осведомленности ожидаются в будущем обновлении. Эта функция будет конкурировать с последними релизами конкурентов, такими как функция использования Claude и Copilot Vision. PRO AI ПОЛЕЗНЫЙ СОФТ НОВОСТИ