Датчики движения объединений носимой технологии и измерение электрической деятельности, произведенной мышцами, чтобы интерпретировать ручные жесты, говорит Рузбех Джафари, адъюнкт-профессор в Отделе университета Биоинженерии и исследователя в Центре Отдаленных Медицинских технологий и Систем.Хотя устройство находится все еще в его стадии опытного образца, оно может уже признать 40 американских слов языка жестов почти с 96-процентной точностью, отмечает Джафари, который представил его исследование в Институте Электрических и Инженеров-электроников (IEEE) 12-я Ежегодная Конференция по Сетям Датчика Тела это в прошлом июне.
Технология была среди главных лауреатов премии в Инновационной проблеме Texas Instruments этим прошлым летом.Технология, разработанная в сотрудничестве с Texas Instruments, представляет растущий интерес к развитию высокотехнологичных систем признания языка жестов (SLRs), но в отличие от других недавних инициатив, система Джафари предшествует использованию камеры, чтобы захватить жесты. Основанное на видео признание, он говорит, может перенести исполнительные проблемы при плохих условиях освещения, и видео или захваченные изображения можно считать агрессивными к частной жизни пользователя. Кроме того, потому что эти системы требуют, чтобы пользователь жестикулировал перед камерой, они ограничили wearability – и wearability, для Джафари, ключевой.
«Носимые компьютеры обеспечивают очень интересную возможность в смысле своего трудного сцепления с человеческим телом», говорит Джафари. «Поскольку они присоединены к нашему телу, они знают вполне немного о нас в течение дня, и они могут предоставить нам ценную обратную связь в правильные времена. С этим в памяти, мы хотели разработать технологию в форм-факторе часов».Чтобы захватить запутанность американского языка жестов, система Джафари использует два отличных датчика.
Первым является инерционный датчик, который отвечает на движение. Состоя из акселерометра и гироскопа, датчик измеряет ускорение и угловые скорости руки, отмечает Джафари. Этот датчик играет главную роль в различении различных знаков, захватывая ручные ориентации пользователя и движения руки во время жеста.
Однако один только датчик движения не был достаточно, объясняет Джафари. Определенные знаки на американском языке жестов подобны с точки зрения жестов, требуемых передать слово.
Этими жестами полное движение руки может быть тем же самым для двух различных знаков, но движение отдельных пальцев может отличаться. Например, соответствующие жесты для, «пожалуйста», и «жаль» и для «имени» и «работы» подобны в ручном движении. Чтобы различить между этими типами ручных жестов, система Джафари использует другой тип датчика, который измеряет деятельность мышц.
Известный как электромиографический датчик (sEMG), этот датчик неагрессивно измеряет электрический потенциал действий мышц, объясняет Джафари. Это используется, чтобы отличить различные движения руки и пальца на основе различных действий мышц.
По существу это способно измерять движения пальца и образцы деятельности мышц для руки, работая в тандеме с датчиком движения, чтобы обеспечить более точную интерпретацию подписываемого жеста, говорит он.В системе Джафари и инерционные датчики и электромиографические датчики помещены в правое запястье пользователя, где они обнаруживают жесты и посылают информацию через Bluetooth к внешнему ноутбуку, который выполняет сложные алгоритмы, чтобы интерпретировать знак и показать правильное английское слово для жеста.
В то время как Джафари продолжает разрабатывать технологию, он говорит, что его команда будет надеяться включать все эти функции в одно носимое устройство, объединяя аппаратные средства и уменьшая полный размер необходимой электроники. Он предполагает устройство, собирающее данные, произведенные из жеста, интерпретируя его и затем отправки соответствующего английского слова к интеллектуальному устройству другого человека так, чтобы он или она мог понять то, что подписывается просто, читая экран их собственного устройства.
Кроме того, он работает, чтобы увеличить число знаков, признанных системой, и расширяет систему до обеих рук.«Комбинация обнаружения активации мышц с датчиками движения – новый и захватывающий способ понять человеческое намерение с другими заявлениями в дополнение к расширенным системам SLR, таким как домашние активации устройства, используя носимые компьютеры с учетом контекста», говорит Джафари.