Disseny i implementació d'un sistema d'interfície natural d'usuari basat en càmera de profunditat i aprenentatge profund

Abstract

En la nostra vida quotidiana s'han generalitzat diferents interfícies d'usuari intel·ligents, entre les quals destaquen les que es basen en sistemes tàctils i de veu perquè són versàtils i poc invasives. Per exemple, actualment ja són ubics els telèfons intel·ligents i els assistents virtuals. No obstant això, poques solucions actuals interpreten gestos corporals perquè els sistemes d'altes prestacions sovint són cars, i els més barats, que treballen amb sensors d'espectre visible, depenen fortament de la variabilitat de les condicions de captura a què es veuen sotmesos, especialment d'il·luminació i de distància de treball, i presenten problemes de privacitat. En aquest projecte es duu a terme el disseny i implementació d'una interfície natural d'usuari de baix cost basada en càmera de profunditat Intel RealSense i en models d'aprenentatge profund que s'executen en una plataforma mòbil de computació NVIDIA Jetson Nano, de consum reduït. L'entrenament del model és modular i es pot dur a terme en la mateixa plataforma mòbil o en un maquinari més potent per a guanyar temps. La solució permet la interacció robusta humà-màquina a distància, en qualsevol condició lumínica -fins i tot en la foscor- i el conjunt de posats detectats es poden personalitzar prenent una seqüència de vídeo de cada nou gest i reentrenant-ne el model. Les possibles aplicacions inclouen la interacció amb diferents tipus d'aparells intel·ligents -ordinadors, televisors, elements de calefacció i domòtica, entre d'altres-, amb un nivell de privacitat elevat, atés que no es registra informació d'espectre visible.

Different intelligent user interfaces have become widespread in our daily lives, including those based on touch and voice systems because they are versatile and non-invasive. For example, smartphones and virtual assistants are now everywhere. However, few current solutions interpret body gestures because high-performance systems are often expensive, and the cheaper ones, which work with visible spectrum sensors, depend heavily on the variability of the capture conditions to which they are subjected, especially to lighting and working distance, and raise privacy concerns. This project designs and implements a low-cost natural user interface based on Intel RealSense depth camera and deep learning models running on an NVIDIA Jetson Nano, a low-consumption mobile computing platform. Model training is modular and may be done on the same mobile platform or on more powerful hardware to save time. The solution allows robust human-machine interaction at a distance, in any light condition -even in the dark- and the set of detected poses can be customised by taking a video sequence of each new gesture and retraining the model. Possible applications include interacting with different types of smart devices -computers, televisions, heating elements, and home automation, among others- with a high level of privacy since no visible spectrum information is recorded.

En nuestra vida cotidiana se han generalizado diferentes interfaces de usuario inteligentes, entre las cuales destacan las que se basan en sistemas táctiles y de voz porque son versátiles y poco invasivas. Por ejemplo, actualmente ya son ubicuos los smartphones y los asistentes virtuales. Sin embargo, pocas soluciones actuales interpretan gestos corporales porque los sistemas de altas prestaciones a menudo son caros, y los más baratos, que trabajan con sensores de espectro visible, dependen fuertemente de la variabilidad de las condiciones de captura a que se ven sometidos, especialmente de iluminación y de distancia de trabajo, y presentan problemas de privacidad. En este proyecto se lleva a cabo el diseño e implementación de una interfaz natural de usuario de bajo coste basada en cámara de profundidad Intel RealSense y en modelos de aprendizaje profundo que se ejecutan en una plataforma móvil de computación NVIDIA Jetson Nano, de consumo reducido. El entrenamiento del modelo es modular y se puede llevar a cabo en la misma plataforma móvil o en un hardware más potente para ganar tiempo. La solución permite la interacción robusta humano-máquina a distancia, en cualquier condición lumínica -incluso en la oscuridad- y el conjunto de ademanes detectados se pueden personalizar tomando una secuencia de video de cada nuevo gesto y reentrenando el modelo. Las posibles aplicaciones incluyen la interacción con diferentes tipos de aparatos inteligentes -ordenadores, televisores, elementos de calefacción y domótica, entre otros-, con un nivel de privacidad elevado, dado que no se registra información de espectro visible.