Google показала автомобільний Gemini, який бачить світ через камеру автомобіля

Компанія Google продемонструвала експериментальну функцію нейромережі Gemini, яка дозволяє ШІ-помічнику відповідати на запитання про те, що відбувається за вікном автомобіля. Вона реалізується завдяки наданню сервісу тимчасового доступу до фронтальної камери авто. Нову функцію продемонстрував президент підрозділу Android Самір Самат (Sameer Samat) разом із головою Google AI Studio Логаном Кілпатриком (Logan Kilpatrick).

Джерело зображення: androidauthority.com

Демонстрація згаданої функції проводилася на автомобілі Volvo EX60, який, як зазначив Самат, ще не надійшов у продаж. В авто використовується платформа Google з підтримкою Gemini і, за всім схоже, на даний момент це єдина машина з підтримкою нової функції. Під час демонстрації Самат не згадав про плани щодо розширення доступності цього нововведення.

Представлена концепція здасться знайомою кожному, хто використовував режим камери Gemini Live на смартфонах з Android. Відмінність у тому, що в даному випадку не потрібен смартфон, а фронтальна камера стає очима ШІ-помічника. «Ми хотіли подивитися, що станеться, якщо Gemini зможе бачити світ, поки ви рухаєтеся», — пояснив Самат під час демонстрації.

Під час бесіди він торкнувся питання конфіденційності даних, що також є важливим. За словами Самата, система не аналізує те, що відбувається протягом усієї поїздки. Доступ до відеопотоку ШІ-помічнику надається лише в тих випадках, коли користувач явно активує Gemini голосовою командою і ставить відповідне запитання. «Потім камера передає відеопотік Gemini, він відповідає на запитання, а потім знову перестає бачити», — додав Самат.

Під час демонстрації спостерігалася помітна затримка при підключенні Gemini до камери. На відміну від Gemini Live на смартфоні, на екрані інформаційно-розважальної системи авто під час роботи Gemini не ведеться трансляція того, що бачить камера. Користувач може лише чути голосові відповіді ІІ-помічника, які відтворюються після того, як система обробить відеопотік.

Незважаючи на суттєві затримки, в рамках демонстрації Gemini продемонстрував вражаюче візуальне розуміння того, що відбувається. Самат попросив ШІ-помічника ідентифікувати пам'ятки, які видно через лобове скло авто навколо кампусу Google у Маунтин-В'ю. Алгоритм вірно визначив кілька місцевих пам'яток.

Поточна демонстрація вказує на те, що Google шукає варіанти розширення мультимодальних можливостей Gemini за межі смартфонів і планує інтегрувати нові функції в автомобільні інформаційно-розважальні системи. Замість того, щоб покладатися лише на навігаційні дані, ШІ-помічник зможе відповідати на запитання, спираючись на відомості про те, що саме бачить водій у конкретний момент. Самат не озвучив планів щодо розширення доступності нової функції, сказавши лише, що Google розглядає різні варіанти.

Хочеш дізнатися більше — читай відгуки