Nest Hub Max получил функцию Look and Talk и 'фразы для быстрого доступа' Google Ассистента из Pixel 6

На I/O 2022 компания Google рассказала о функции "Look and Talk", которая позволит вам активировать Ассистента, просто взглянув на ваш Nest Hub Max, а также о появлении на нем функции Pixel 6 "Фразы быстрого доступа", которая также даст вам еще один способ не говорить "Ок, Google!".

Look and Talk для Nest Hub Max

Умный дисплей сможет распознать, что вы смотрите прямо на него, с расстояния полутора метров. После обнаружения вашего взгляда, он начнет слушать ваши команды без необходимости говорить "Ок, Google". Google сравнивает такое взаимодействие с тем, как вы общаетесь с обычными людьми в повседневной жизни. 

Под капотом этой функции работает шесть моделей машинного обучения, которые обрабатывают более 100 сигналов с камеры и микрофона, включая: расстояние, ориентацию головы, направление взгляда, движение губ, понимание контекста и классификацию намерений. Таким образом, Google может определить, "действительно ли вы смотрите в глаза своему устройству, а не просто бросаете на него мимолетный взгляд".

И всё это происходит локально на устройстве, а никакое видео не отправляется в облако. Для работы функции Look and Talk необходимо вручную включить функции Voice Match и Face Match. Также здесь используется Real Tone, как в камере Pixel 6, которая используется для того, чтобы функция работала "с разными оттенками кожи".

При этом вы по-прежнему можете использовать "Ок, Google". Это функция дополняет то, как Nest Hub Max уже использует свою камеру (6,5 Мп с углом обзора 127 градусов) для быстрых жестов, когда вы можете поднести ладонь к объективу, чтобы приостановить/возобновить мультимедиа, отключить таймеры/будильники и остановить ответы Ассистента.

Функция Look and Talk распространяется на Nest Hub Max для пользователей Android с приложением Google Home "на этой неделе" на английском языке в США. На iOS оно будет доступно в середине мая.

Фразы быстрого доступа

Функция "фразы быстрого доступа" с Pixel 6 теперь появится на Nest Hub Max на английском языке этим летом. Это значит, что для некоторых предварительно выбранных команд вам не нужно будет предварительно произносить горячую фразу "Ок, Google". Вот примеры команд:

• Установить таймер или будильник
• Спросить время
• Включить или выключить свет
• Отменить таймер или будильник
• Приглушить или сделать ярче свет
• Спросить о погоде

Для работы этой функции нужно, чтобы у вас был настроен Voice Match, также вам нужно выбрать, какие фразы/команды нужно ждать Nest Hub Max.

Разговоры с естественным помощником

Наконец, сегодня Google представил предварительную информацию о том, как разговоры с Ассистентом станут более естественными. Ассистент будет игнорировать такие частички вашей речи, как "гм-м", прерывания, естественные паузы и другие самокоррекции, а не распознавать то, что вы сказали изначально.

Например, диалог с презентации:

- Запусти трек в... ээээ....

- мгм?

- Florence and... что-то там....

- Поняла, запускаю трек Florence and the Machine на Spotify.

Чтобы воплотить это в реальность, мы создаем новые, более мощные речевые и языковые модели, которые могут понимать нюансы человеческой речи - например, когда человек делает паузу, но не заканчивает говорить. И мы приближаемся к естественной плавности разговора в реальном времени с помощью чипа Tensor, который специально разработан для сверхбыстрой обработки задач машинного обучения на устройстве".

Google планирует запустить эти модели естественной разговорной речи для Ассистента в начале 2023 года.