Google представил новые функции для голосового помощника Gemini Live, который теперь способен анализировать изображение с камеры и содержимое экрана смартфона в режиме реального времени. Эти возможности реализованы благодаря алгоритму Project Astra, впервые продемонстрированному на Mobile World Congress 2025.
Функция совместного использования экрана позволяет пользователям делиться изображением дисплея с ИИ, чтобы задавать вопросы о видимом контенте. Например, Gemini может помочь подобрать аксессуары к одежде в интернет-магазине или объяснить сложные элементы на экране. Для активации нужно открыть интерфейс Gemini Live и выбрать опцию «Share screen with Live». На данный момент поддерживается только полный экран без возможности выбора отдельных приложений.
Совместное использование камеры делает её «глазами» ИИ, позволяя анализировать объекты в реальном времени. Пользователь может навести камеру на предмет, например вазу, и попросить совет по выбору глазури или цветовой палитры. Gemini также способен давать рекомендации по организации пространства или творческим проектам.
Эти функции доступны эксклюзивно для подписчиков Google One AI Premium на Android-устройствах. Стоимость подписки составляет $20 в месяц. Gemini поддерживает более 40 языков, что делает его доступным для широкого круга пользователей. В ближайшие недели Google планирует расширить доступность этих возможностей на большее количество устройств.
