Люди могут позволить своим пальцам и рукам говорить с помощью новой сенсорной системы, которая проецируется на стены и другие поверхности и позволяет пользователям взаимодействовать с окружающей средой и друг с другом.
Система идентифицирует пальцы руки человека при прикосновении к любой плоской поверхности. Он также распознает положение рук и жесты, выявляя отдельных пользователей по их уникальным чертам.
«Представьте себе, что везде, на любой стене в вашем доме или офисе, на каждой кухонной стойке, есть гигантские iPad, без использования дорогостоящих технологий», - сказал Никлас Элмквист, доцент кафедры электротехники и вычислительной техники в Университете Пердью.«Вы можете использовать любую поверхность, даже такую глупую физическую поверхность, как дерево. Вам не нужно устанавливать дорогие светодиодные дисплеи и сенсорные экраны».
Новая система «расширенного мультитач» позволяет более чем одному человеку использовать поверхность одновременно, а также позволяет людям использовать обе руки, различая правую и левую руку.
Исследования показывают, что система на 98 процентов точно определяет положение рук, что имеет решающее значение для распознавания жестов и выполнения команд. Эта технология имеет много возможных применений, сказал Картик Рамани, профессор машиностроения Дональда В. Феддерсена из Purdue.
«В принципе, его можно использовать для виртуального взаимодействия любой внутренней поверхности с компьютером», - сказал он. «Вы можете использовать его в жилых помещениях, для включения приборов, в дизайн-студии для работы над концепцией или в лаборатории, где взаимодействуют студент и преподаватель».
Выводы подробно изложены в исследовательской статье, представленной на этой неделе во время симпозиума Ассоциации вычислительной техники по программному обеспечению и технологиям пользовательского интерфейса (ACM UIST 2012) в Кембридже, штат Массачусетс. Статья была написана докторантами Сундаром Муругаппаном и Винаяком., который использует только одно имя, Эльмквист и Рамани.
В системе используется камера Microsoft Kinect, которая распознает трехмерное пространство.
«Мы проецируем экран компьютера на любую поверхность, просто на обычный стол, покрытый белой бумагой», - сказал Рамани. «Камера видит, где находятся ваши руки, какими пальцами вы нажимаете на поверхность, отслеживает жесты рук и распознает, работают ли одновременно несколько человек».
Камера Kinect определяет глубину, позволяя видеть, как далеко от камеры находится каждый трехмерный пиксель. Исследователи соединили камеру с новой компьютерной моделью руки.
«Таким образом, мы можем изолировать разные части руки или пальца, чтобы показать, как далеко они находятся от поверхности», - сказал Элмквист.«Мы можем видеть, какие пальцы касаются поверхности. С помощью этой технологии вы потенциально можете вызвать меню, поместив руку прямо над поверхностью».
Эта камера в сочетании с моделью руки позволяет системе определить центр каждой руки, что необходимо для определения жестов и различения левой и правой руки.
Исследователи изучили возможные приложения, в том числе такое, которое позволяет пользователю рисовать эскиз ручкой, а затем изменять его руками.
«Мы можем обнаруживать жесты взаимодействия между более чем одной рукой и более чем одним пользователем», - сказал Рамани. «Вы можете выполнять точные действия, например писать ручкой доминирующей рукой, и более общие вещи, такие как выбор цвета, используя недоминантную руку».
Исследователи проверили эту концепцию в ходе двух пользовательских исследований, в одном из которых приняли участие 14 добровольцев, а в другом - девять. Результаты одного исследования показали, что для эффективной работы дисплей должен быть не меньше 18 миллиметров или около дюйма.
«Хотя новые и более точные камеры повысят точность, мы установили необходимые модели рук и принципы для системы», - сказал Рамани.
Другое исследование пользователей показало, что система может эффективно определять положение рук и то, какой рукой они пользуются: правой или левой.
"Мы хотели посмотреть, насколько точны мы можем быть при вычислении различных конфигураций, таких как прикосновение всеми 10 пальцами, какая рука используется и так далее", - сказал Элмквист.
Патент на концепцию находится на рассмотрении.
(Видео о системе можно посмотреть по адресу