Как сделать заказ, не прикасаясь к терминалу: Touchless Five — прототип бесконтактного интерфейса

Как сделать заказ, не прикасаясь к терминалу: Touchless Five — прототип бесконтактного интерфейса
Команда внутреннего концепт-инкубатора DataArt Talent Lab создала прототип приложения, с помощью которого можно управлять общедоступными терминалами, не нажимая кнопки на экране. Это позволит сохранить принцип взаимодействия с устройством, исключив опасность распространения инфекций через поверхности терминала.

Что мы сделали?

Команда DataArt создала proof of concept применения технологии распознавания жестов для превращения публичных терминалов в бесконтактные устройства. С помощью камеры Intel® RealSense™ программа DataArt Touchless Five может на расстоянии интерпретировать движения руки для управления элементами меню и заказа, позволяет перемещать курсор по экрану и эмулировать нажатия на кнопку мыши. Так можно совершить покупку или получить нужную информацию, не прикасаясь к терминалу.

Как мы это сделали?

Для разработки прототипа мы использовали программную библиотеку Project Prague от Microsoft, работающую в паре с камерой Intel® RealSense™.  Библиотека позволяет распознавать движения кисти, на которые затем реагирует терминал с установленным приложением DataArt Touchless Five. После подключения Project Prague мы адаптировали классический интерфейс заказа в кафе под простые жесты ладонью.

Первая версия бесконтактного интерфейса, созданного Talent Lab с использованием программной библиотеки Cubemos — DataArt Orchestra — реагировала на движение суставов руки, игнорируя кисти и предплечья. Но наши коллеги решили сделать новый вариант с управлением ладонью, которое, возможно, покажется пользователям более привычным. 

Перспективы применения

После пандемии Covid-19 технологии бесконтактного управления могут оказаться особенно востребованными. За несколько последних месяцев люди, возможно, впервые обратили внимание, с каким количеством общественных устройств соприкасаются. До терминалов в банках и кафе, гостиницах и аэропортах, торговых центрах и музеях ежедневно дотрагиваются тысячи рук, что делает их потенциальным источником распространения болезней.  

Мы в DataArt подумали, можно ли сохранить привычный принцип взаимодействия человека и устройства, сделав его безопасным без потери удобства управления.

Прототип DataArt Touchless Five демонстрирует возможность бесконтактного сбора заказов в обычном кафе быстрого питания. После усовершенствования разработку можно использовать для любых других терминалов в общественных местах, включая устройства оплаты и получения билетов на вокзалах и в кинотеатрах, автоматические стойки регистрации в аэропортах и отелях, информационные и навигационные терминалы в музеях и торговых центрах.

Стоимость такого технологического решения невелика, оно видится даже менее затратным, чем приобретение и установка сенсорного экрана. Дальнейшее развитие проекта повысит точность распознавания жестов и позволит использовать сразу обе руки, например, для регулирования масштаба выведенной на монитор карты.