Interfície head-tracking per entorns mòbils

Abstract

Els avenços tecnològics de les darreres dècades ha propiciat l'aparició de noves formes de comunicar-nos amb les màquines. En les interfícies d'interacció natural, la comunicació amb la màquina es realitza sense necessitat de dispositius auxiliars, sinó a través de les capacitats naturals de l'individu. El projecte implementa una interfície natural per detecció de moviments del cap per a dispositius mòbils. La divisió modular dels components en capes de responsabilitat facilita que el sistema sigui portat amb menor esforç a noves plataformes. Per a aquest treball la capa dependent de la plataforma s'ha desenvolupat per a dispositius Android, mentre que la capa corresponent a l'algorisme de visió de la solució ha estat desenvolupador en llenguatge C++ i les llibreries de visió OpenCV. L'algorisme de visió implementat processa el flux d'imatges proporcionades per la càmera del dispositiu, i executa els components de algoritme de visió, per a determinar la posició en pantalla del punter virtual associat d'un punt imaginari, situat en el centre de la punta del nas de l'usuari. Aquests components porten a terme tasques de detecció de seguiment del punter virtual, detecció del gest de selecció per part de l'usuari o la detecció de les condicions d'il·luminació. S'ha desenvolupat una aplicació per generar mètriques i indicadors de funcionament que permeten validar el comportament dels components. Fent de la solució una llavor per futures millores, tant en els algorismes de visió com en el tema de la plataforma.

Los adelantos tecnológicos de las últimas décadas ha propiciado la aparición de nuevas formas de comunicarnos con las máquinas. En las interfaces de interacción natural, la comunicación con la máquina se realiza sin necesidad de dispositivos auxiliares, sino a través de las capacidades naturales del individuo. El proyecto implementa una interfaz natural por detección de movimientos del jefe para dispositivos móviles. La división modular de los componentes en capas de responsabilidad facilita que el sistema sea llevado con menor esfuerzo a nuevas plataformas. Para este trabajo la capa dependiente de la plataforma se ha desarrollado para dispositivos Android, mientras que la capa correspondiente al algoritmo de visión de la solución ha estado desarrollador en lenguaje C++ y las librerías de visión OpenCV. El algoritmo de visión implementado procesa el flujo de imágenes proporcionadas por la cámara del dispositivo, y ejecuta los componentes de algoritmo de visión, para determinar la posición en pantalla del puntero virtual asociado de un punto imaginario, situado en el centro de la punta de la nariz del usuario. Estos componentes llevan a cabo tareas de detección de seguimiento del puntero virtual, detección del gesto de selección por parte del usuario o la detección de las condiciones de iluminación. Se ha desarrollado una aplicación para generar métricas e indicadores de funcionamiento que permiten validar el comportamiento de los componentes. Haciendo de la solución una semilla por futuras mejoras, tanto en los algoritmos de visión como en el tema de la plataforma.

Technological advances in recent decades has led development of new ways to communicate with the machines. On user natural interaction interfaces, the communication human-machne is done without auxiliary devices, but through the natural capacities of the user. The project implements a natural user interface based on the detection of head movement for mobile devices. The modular division of the components in layers of responsibility ease the system to be ported with less effort to new platforms. In this project, the platform-dependent layer has been developed for Android devices, while the layer corresponding to vision algorithm has been a developer in C ++ language and OpenCV vision framework. The implemented vision algorithm processes the flow of images provided by the device's camera, and execute vision components, to determine the on-screen position of the pointer associated of the imaginary point, located in the center of of the user nose. Components of vision algorithm carry out several task as tracking detection tasks of the virtual pointer, detection of the selection gesture by the user or the detection of lighting conditions. An application has been developed to generate metrics and indicators that allow validating the behavior of the components. Making the solution a seed for future improvements, both in vision algorithms and in the subject of the platform.