Исследователи Корнельского университета разработали прототип сонарных очков, которые могут беззвучно считывать движения лица для общения. Очки используют крошечные микрофоны и динамики для интерпретации слов, произносимых владельцем для выполнения таких команд, как пропуск музыкального трека, ввод пароля или даже работа над моделями CAD без использования клавиатуры. Этот прорыв в распознавании беззвучной речи является значительным, поскольку большинство технологий в этой области полагаются на заранее определенные команды и камеры, что непрактично и неосуществимо.
Руидонг Чжан, аспирант из Корнелла, разработал систему, которая основывается на аналогичном проекте с использованием беспроводных наушников и предыдущих моделях с камерами. Очки устраняют необходимость смотреть в камеру или вставлять что-то в ухо, что делает их более удобными. Сонарные очки требуют всего несколько минут обучения, чтобы выучить речевые паттерны пользователя, а когда они готовы, они используют алгоритмы глубокого обучения для анализа профилей эха в режиме реального времени, чтобы обнаружить движения рта с точностью около 95%.
Очки передают обработку данных по беспроводной связи на смартфон пользователя, благодаря чему аксессуар остается небольшим и незаметным. Они обеспечивают около 10 часов автономной работы в режиме акустического зондирования, и никакие данные не покидают телефон, что устраняет опасения по поводу конфиденциальности. Аспект конфиденциальности делает технологию подходящей для управления воспроизведением музыки в тихой библиотеке, диктовки сообщения на громком концерте или даже для беззвучной передачи диалога в синтезатор голоса для людей с некоторыми видами речевых нарушений.
Технология вскоре может стать общедоступной. Кроме того, команда также изучает возможности применения смарт-очков для отслеживания движений лица, глаз и верхней части тела.
Источник: engadget
