Segmentació de mans en imatges de profunditat

Abstract

En aquest document es tracta un mètode de detecció de mans en imatges de profunditat. Consisteix en la classificació dels píxels d'una imatge segons la seva probabilitat de pertànyer a una mà. Per cada píxel es calculen una sèrie de característiques simples i s'obté la seva predicció amb un classificador tipus Random Forest. Amb aquest procés s'aconsegueix realitzar les prediccions de les imatges en temps real. L'objectiu del treball és presentar els detalls del seu funcionament i analitzar-lo. A més, a mesura que es vagin detectant problemes, s'aniran suggerint solucions que seran aplicades per anar millorant el model. Dues de les problemàtiques detectades són: un comportament incorrecte al detectar mans en un entorn no controlat i la confusió dels exemples de cares i de mans. Una de les solucions ha estat la creació d'un dataset en un entorn no controlat, i un altre ha estat afegir un major percentatge d'exemples negatius de cares al conjunt d'entrenament. Amb el canvi de dataset s'ha aconseguit una millora notable dels resultats en el nou entorn. En canvi amb l'addició dels exemples negatius no s'ha aconseguit gaire variació. Així i tot, el comportament final del classificador és excel·lent, normalment els casos en què falla són a causa de problemes inherents del mètode, són exemples negatius en els quals les característiques prenen els mateixos valors que els positius.

En este documento se trata un método de detección de manos en imágenes de profundidad. Consiste en la clasificación de los píxeles de una imagen según su probabilidad de pertenecer en una mano. Por cada píxel se calculan una serie de características simples y se obtiene su predicción con un clasificador tipo Random Monte. Con este proceso se consigue realizar las predicciones de las imágenes en tiempo real. El objetivo del trabajo es presentar los detalles de su funcionamiento y analizarlo. Además, a medida que se vayan detectando problemas, se irán sugiriendo soluciones que serán aplicadas para ir mejorando el modelo. Dos de las problemáticas detectadas son: un comportamiento incorrecto al detectar manos en un entorno no controlado y la confusión de los ejemplos de caras y de manos. Una de las soluciones ha sido la creación de un dataset en un entorno no controlado, y otro ha estado añadir un mayor porcentaje de ejemplos negativos de caras al conjunto de entrenamiento. Con el cambio de dataset se ha conseguido una mejora notable de los resultados en el nuevo entorno. En cambio con la adición de los ejemplos negativos no se ha conseguido mucho variación. Aun así, el comportamiento final del clasificador es excelente, normalmente los casos en que falla son a causa de problemas inherentes del método, son ejemplos negativos en los cuales las características toman los mismos valores que los positivos.

This document treats a hands detection method using depth information. It is achieved classifying the pixels of the image according to its probability to belong at a hand. A set of simple features are computed for each pixel, and its prediction is obtained using a Random Forest classifier. This way, real-time predictions are achieved. The aim of this work is to present the operation details of the method and analyse its behaviour. Besides, as well as problems are detected, solutions will be suggested to solve them, which will be applied in order to improve the model. Two problems detected are incorrect behaviour predicting hands on non controlled environments and the confusion of hands and face samples. One solution has been the creation of a new dataset composed by images took of a non controlled environment. Another solution has been the append of a major percentage of face samples in the training set. With the dataset change, a notable results improvement is achieved in the target environment. However, only a little variation is achieved adding the faces samples. Anyway, the behaviour of the classifier is excellent, all false predictions are caused by the classifier architecture, samples which features take the same value in some positives and false cases.