Google добавила новую функцию визуальных запросов в реальном времени в свои приложения Gemini для iOS и Android. Теперь пользователи могут транслировать в Gemini то, что они видят, и получать обратную связь. Интеграция запускается сегодня.
В демо приложение Gemini определяло объекты, на которые смотрел пользователь, исправляло ошибочные предположения о том, что это за объект, и предоставляло контекст, отвечая на вопросы. Функция просмотра в реальном времени в Gemini может определять объекты в режиме реального времени, помогать с проектами, помогать организовывать пространство, помогать с покупками и многое другое.
Вы также можете поделиться экраном своего iPhone или iPad с Gemini, чтобы получить отзывы о том, что вы видите в интернете.
Функция Gemini Live может быть полезна слепым или слабовидящим людям, поскольку позволяет вести прямую трансляцию происходящего вокруг человека. Функция основана на Project Astra, который Google анонсировала на презентации I/O в прошлом году, и ранее он был распространен на устройствах Pixel.
Этим летом Google также планирует добавить в Gemini персональный контекст для таких функций, как умные ответы в Gmail. Gemini сможет использовать информацию из приложений Google для более персонализированного взаимодействия. Например, функция ответа с помощью ИИ в Gmail может звучать так, как будто пишете вы, а не какой-то робот. Она может анализировать прошлые письма, чтобы подобрать тон, стиль и выбор слов, а также искать заметки, документы на Google Диске и многое другое, чтобы добавить контекст в письма.