Представьте, если бы вы могли уладить/разжечь домашние споры, спросив умную колонку, когда в последний раз убирались в комнате и выносили ли уже мусорные баки?
Или - для более здорового варианта использования - что, если бы вы могли попросить свой динамик вести подсчет повторений, когда вы делаете приседания и жим лежа? Или переключитесь в полноценный режим «личного тренера» - лайте приказы торговать быстрее, пока вы вращаетесь на старом пыльном велотренажере (кому нужен Peloton!).
А что, если говорящий был достаточно умен, чтобы просто знать, что вы ужинаете, и позаботился о том, чтобы добавить немного музыки для настроения?
А теперь представьте, если бы все эти умные устройства для отслеживания активности работали без подключенных камер внутри вашего дома.
Еще одно увлекательное исследование группы Future Interfaces Group Университета Карнеги-Меллона открывает такие возможности, демонстрируя новый подход к отслеживанию активности, который не использует камеры в качестве сенсорного инструмента.
Установка подключенных камер в вашем доме, конечно же, представляет собой ужасный риск для конфиденциальности. Вот почему исследователи CMU приступили к изучению потенциала использования доплеровского радара миллиметрового диапазона (mmWave) в качестве среды для обнаружения различных видов человеческой деятельности.
Проблема, которую им нужно было решить, заключалась в том, что, хотя mmWave предлагает «богатство сигнала, приближающееся к тому, что есть у микрофонов и камер», как они выразились, наборы данных для обучения моделей ИИ распознавать различные действия человека, поскольку радиочастотный шум не легко доступны (как и визуальные данные для обучения других типов моделей ИИ).
Не останавливаясь, они приступили к синтезу доплеровских данных для использования в модели отслеживания активности человека, разработав программный конвейер для обучения моделей искусственного интеллекта отслеживания активности с сохранением конфиденциальности.
Результаты можно увидеть в этом видео, где модель правильно определяет ряд различных действий, включая езду на велосипеде, хлопки в ладоши, махание руками и приседания. Исключительно из-за его способности интерпретировать сигнал mmWave, генерируемый движениями, и исключительно благодаря обучению на общедоступных видеоданных.
«Мы показываем, как этот междоменный перевод может быть успешным, с помощью ряда экспериментальных результатов», - пишут они. «В целом, мы считаем, что наш подход является важным шагом на пути к значительному снижению нагрузки на обучение, такое как системы распознавания человека, и может помочь в начальной загрузке при взаимодействии человека с компьютером».
Исследователь Крис Харрисон подтверждает, что зондирование на основе доплеровского радара миллиметрового диапазона не работает для «очень тонких вещей» (например, для определения различных выражений лица). Но он говорит, что он достаточно чувствителен, чтобы обнаруживать менее активные действия, такие как еда или чтение книги.
Возможность обнаружения движения доплеровским радаром также ограничена потребностью в прямой видимости между объектом и сенсорным оборудованием.(Ака: «Он еще не может заглянуть за угол». Что для тех, кто беспокоится о способности будущих роботов обнаруживать человека, наверняка прозвучит немного обнадеживающе.)
Обнаружение, конечно же, требует специального сенсорного оборудования. Но на этом фронте дела уже идут: Google уже окунулся в игру через проект Soli - например, добавил радарный датчик в Pixel 4.
Nest Hub от Google также использует тот же радар для отслеживания качества сна.
«Одна из причин, по которой мы не видим большего внедрения радарных датчиков в телефоны, - это отсутствие убедительных вариантов использования (что-то вроде проблемы курицы и яйца)», - говорит Харрис TechCrunch. «Наши исследования в области обнаружения активности на основе радара помогают открыть больше приложений (например, умнее Siris, который знает, когда вы едите, готовите ужин, убираете или тренируетесь и т. д.)».
Отвечая на вопрос, видит ли он больший потенциал в мобильных или стационарных приложениях, Харрис считает, что у обоих есть интересные варианты использования.
«Я вижу варианты использования как в мобильных, так и в обычных приложениях, - говорит он. «Возвращаясь к Nest Hub, датчик уже находится в комнате, так почему бы не использовать его для загрузки более продвинутых функций в умной колонке Google (например, для подсчета повторений в упражнениях).
«В здании уже используется множество радарных датчиков для определения наличия людей (но теперь они могут определять, например, когда в последний раз в комнате убирались)».
«В целом, стоимость этих датчиков очень скоро упадет до нескольких долларов (некоторые на eBay уже стоят около 1 доллара), поэтому вы можете включать их во все», - добавляет он. «И, как показывает Google с продуктом, который идет в вашу спальню, угроза «общества слежки» вызывает гораздо меньше беспокойства, чем с датчиками камеры».
Стартапы, такие как VergeSense, уже используют сенсорное оборудование и технологии компьютерного зрения для обеспечения аналитики в реальном времени внутреннего пространства и активности на рынке b2b (например, измерение занятости офисов).
Но даже при локальной обработке данных изображений с низким разрешением все еще может ощущаться риск для конфиденциальности, связанный с использованием датчиков зрения - особенно в потребительской среде.
Радар предлагает альтернативу такому визуальному наблюдению, которая может лучше подходить для потребительских подключенных устройств с риском для конфиденциальности, таких как «умные зеркала».
«Если это обрабатывается локально, поставили бы вы камеру в своей спальне? Ванная? Может быть, я ханжа, но лично я бы не стала», - говорит Харрис.
Он также указывает на более ранние исследования, которые, по его словам, подчеркивают ценность включения большего количества типов сенсорного оборудования: «Чем больше датчиков, тем длиннее хвост интересных приложений, которые вы можете поддерживать. Камеры не могут заснять все и не работают в темноте».
«Камеры в наши дни довольно дешевы, так что трудно конкурировать, даже если радар немного дешевле. Я считаю, что самым сильным преимуществом является сохранение конфиденциальности», - добавляет он.
Конечно, наличие любого сенсорного оборудования - визуального или иного - может привести к проблемам с конфиденциальностью.
Датчик, который сообщает вам, когда в детской комнате кто-то занят, может быть хорошим или плохим, например, в зависимости от того, у кого есть доступ к данным. И все виды человеческой деятельности могут генерировать конфиденциальную информацию, в зависимости от того, что происходит. (Я имею в виду, вы действительно хотите, чтобы ваш умный динамик знал, когда вы занимаетесь сексом?)
Таким образом, хотя отслеживание на основе радара может быть менее инвазивным, чем некоторые другие типы датчиков, это не означает, что потенциальные проблемы конфиденциальности вообще отсутствуют.
Как всегда, это зависит от того, где и как используется сенсорное оборудование. Тем не менее, трудно утверждать, что генерируемые радаром данные, вероятно, будут менее чувствительными, чем эквивалентные визуальные данные, если они будут раскрыты через нарушение.
«Любой сенсор естественно должен поднимать вопрос о конфиденциальности - это скорее спектр, чем вопрос «да/нет», - соглашается Харрис.«Радиолокационные датчики обычно отличаются высокой детализацией, но при этом очень анонимны, в отличие от камер. Если данные вашего доплеровского радара просочатся в сеть, вам будет трудно стыдиться этого. Вас бы никто не узнал. Если камеры внутри вашего дома просочились в интернет, что ж,”
Как насчет вычислительных затрат на синтез обучающих данных, учитывая отсутствие немедленно доступных данных доплеровского сигнала?
«Это не «под ключ», но есть много больших массивов видео (включая такие, как Youtube-8M)», - говорит он. «Загружать видеоданные и создавать синтетические данные радара на несколько порядков быстрее, чем нанимать людей, которые приходят в вашу лабораторию для сбора данных о движении.
«Один по сути означает 1 час, потраченный на 1 час качественных данных. Принимая во внимание, что в наши дни вы можете довольно легко загрузить сотни часов отснятого материала из многих превосходно отобранных видеобаз данных. На обработку каждого часа видео у нас уходит около 2 часов, но это только на одном настольном компьютере, который есть у нас в лаборатории. Ключевым моментом является то, что вы можете распараллелить это, используя Amazon AWS или его аналог, и обрабатывать 100 видео одновременно, поэтому пропускная способность может быть чрезвычайно высокой».
И хотя РЧ-сигнал отражается, причем в разной степени, от разных поверхностей (т.н. «многолучевые помехи»), Харрис говорит, что сигнал, отраженный пользователем, «на сегодняшний день является доминирующим сигналом». Это означает, что им не нужно было моделировать другие отражения, чтобы их демо-модель заработала. (Хотя он отмечает, что это можно сделать для дальнейшего оттачивания возможностей, «извлекая большие поверхности, такие как стены/потолок/пол/мебель, с помощью компьютерного зрения и добавляя это на этапе синтеза».)
«[Доплеровский] сигнал на самом деле очень высокого уровня и абстрактный, поэтому его не особенно сложно обрабатывать в режиме реального времени (намного меньше «пикселей», чем камера)». он добавляет. «Встроенные процессоры в автомобилях используют данные радара для таких вещей, как предотвращение столкновений и мониторинг слепых зон, и это низкопроизводительные процессоры (без глубокого обучения или чего-то еще).”
Исследование будет представлено на конференции ACM CHI вместе с другим проектом группы под названием Pose-on-the-Go, в котором датчики смартфонов используются для аппроксимации положения тела пользователя без необходимости использования носимых датчиков.
Исследователи CMU из группы также ранее продемонстрировали недорогой метод зондирования «умного дома» в помещении (также без необходимости использования камер), а также - в прошлом году - продемонстрировав, как камеры смартфонов можно использовать для дать помощнику искусственного интеллекта на устройстве больше контекстной смекалки.
В последние годы они также исследовали использование лазерной виброметрии и электромагнитного шума, чтобы повысить осведомленность интеллектуальных устройств об окружающей среде и контекстную функциональность. Другое интересное исследование группы включает в себя использование токопроводящей аэрозольной краски для превращения чего угодно в сенсорный экран. И различные методы расширения интерактивного потенциала носимых устройств - например, использование лазеров для проецирования виртуальных кнопок на руку пользователя устройства или включение в смесь другого носимого устройства (кольца).
Будущее взаимодействия человека с компьютером наверняка будет гораздо более контекстуально подкованным, даже если «умные» устройства текущего поколения все еще могут спотыкаться о основы и казаться более чем глупыми.