Лабораторії Reality Labs компанії Meta опублікували статтю, що пройшла рецензування, де розповідається про зусилля компанії в розробці неінвазивного інструменту введення, що базується на поверхневій електроміографії (sEMG). Фірма займається технологією браслетів, яка дозволяє здійснювати взаємодію людини з комп’ютером (HCI) за допомогою м’язових сигналів. Meta стверджує, що технологія дозволяє браслету фіксувати “намагання” користувача зделати дотик, клацнути або провести пальцем, а також вводити текст і взаємодіяти з комп’ютером без клавіатури або миші.
Як працює неінвазивна технологія браслета від Meta
У рецензованій статті в журналі Nature описується експериментальна технологія, що використовується компанією, яка покладається на браслет, розроблений для розпізнавання нейронних сигналів, які контролюють м’язи користувача, і їх інтерпретації як команд для виконання різних завдань. Це можуть бути введення тексту або навігація в інтерфейсі користувача без використання традиційних інструментів введення.
Жести, що підтримуються браслетом sEMG від Meta (для збільшення натисніть)
Фото: Meta
sEMG є неінвазивним, і компанія стверджує, що технологія браслетів може допомогти користувачам з “різноманітними фізичними можливостями та характеристиками”. Meta також зазначила, що персоналізація технології з використанням індивідуальних даних може підвищити точність моделей машинного навчання на 16 відсотків.
Відео, представлене на блозі Meta, демонструє управління курсором в одному вимірі за допомогою браслета. У ньому показано, як особа пише слова “Hello World” на рівній поверхні своїм вказівним пальцем, без використання стилуса або будь-якого інструменту введення. Також продемонстровано жест, що рухає курсор, і розпізнає певні окремі дії.
Еволюція браслета sEMG від Meta (для збільшення натисніть)
Фото: Meta
Раніше Meta відкрила доступ до своїх наборів даних із записами для таких завдань, як введення тексту на поверхні, і тепер дослідники можуть отримати новий набір даних, що містить sEMG дані для трьох завдань, записаних 300 учасниками дослідження. Компанія також вказала, що технологія, закладена в браслеті, може покращити свої результати в процесі використання, адаптуючись до стилю користування особи.
Meta також наголосила, що введення через sEMG може допомогти людям з тремором вводити текст або навігувати по сенсорному інтерфейсу. Компанія уклала партнерство з навчальними закладами, такими як університет Карнегі-Меллона, тестуючи ці технології для осіб з обмеженими можливостями.