Volvo и Google тестируют ИИ Gemini для анализа дорожной ситуации через камеру авто

Компания Volvo Cars совместно с Google представила технологию интеграции мультимодального искусственного интеллекта (ИИ) Gemini в бортовые системы автомобилей. Теперь голосовой ассистент сможет не просто отвечать на команды, а буквально «видеть» то, что происходит перед машиной, используя её фронтальные камеры.

Главной экспериментальной площадкой для новой технологии стал новый полностью электрический кроссовер Volvo EX60.

Как это работает: ИИ с правами на «зрение»

Принцип работы системы напоминает режим Gemini Live на смартфонах, но с глубокой интеграцией в автомобильную архитектуру. Вместо камеры телефона ИИ использует встроенную оптику кроссовера:

Запрос водителя: Вы можете спросить ассистента в режиме реального времени: «Что это за знак впереди?» или «Можно ли мне припарковаться здесь?»
Анализ: С согласия водителя Gemini временно получает доступ к видеопотоку с фронтальной камеры, мгновенно оценивая окружение.
Ответ и конфиденциальность: ИИ озвучивает подсказку, после чего передача изображения моментально прекращается, обеспечивая максимальную приватность личных данных.

Благодаря мощной нейропроцессорной платформе и «цифровому сердцу» автомобиля (HuginCore от Volvo совместно с чипами от NVIDIA и Qualcomm), обработка сложных визуальных данных происходит практически без задержек.

Больше чем навигатор: планы на будущее

Разработчики планируют превратить Gemini в полноценного дорожного штурмана. В ближайшем будущем ИИ научится:

Читать сложные знаки парковки: расшифровывать ограничения по времени, правилам зон или условиям зарядки электромобилей.
Переводить указатели: объяснять значения дорожных знаков и информационных щитов на иностранных языках.
Изучать контекст: рассказывать об архитектурных памятниках по пути или зачитывать меню проезжаемых ресторанов.

Параллельно с этим Volvo внедряет технологию Immersive Navigation от Google Maps. Она строит детализированную 3D-карту города с трехмерными зданиями и туннелями, а голосовые подсказки становятся более человечными (например: «Поверните налево сразу за библиотекой»).

Когда ждать на дорогах?

Полноценный дебют функции контекстного зрения Gemini состоится вместе с выходом на рынок кроссовера Volvo EX60. При этом базовые функции разговорного ИИ Gemini уже начали поступать через облачные обновления (OTA) на все модели шведской марки со встроенным Google, начиная с 2020 года выпуска.