Human body parts segmentation via stacked and multi-task learning

Abstract

La segmentació de persones en imatges RGB ha estat un problema central en el camp de la visió per computador. En aquesta tesi abordem el problema mitjançant hand-crafted features en un pipeline de dues etapes tant per segmentació binària com múltiple segmentació de parts del cos. Eines tals com Adaboost, SVM, haar-like features, HOG i GraphCuts entre altres. A més, mirem les diferències entre cascade learning i stacked learning. Finalment, analitzem com combinar diferents tasques, de manera multimodal, per refinar i millorar les prediccions de la segmentació de parts del cos amb 2D, 3D estimació postura i profunditat. Aquesta part està feta utilitzant deep learning.

La segmentación de personas en imágenes RGB ha sido un problema central en el campo de la visión por computador. En esta tesis abordamos el problema mediante hand-crafted features en un pipeline de dos etapas tanto para segmentación binaria como múltiple segmentación de partes del cuerpo. Herramientas tales como Adaboost, SVM, haar-like features, HOG y GraphCuts entre otros. Además, miramos las diferencias entre cascade learning and stacked learning. Finalmente, analizamos cómo combinar diferentes tareas, de modo multimodal, para refinar y mejorar las predicciones de la segmentación de partes del cuerpo con 2D, 3D estimación postura y profundidad. Esta parte está hecha utilizando deep learning.

The segmentation of people in RGB images poses a key obstacle in the field of computer vision. In our thesis, we tackle this issue through hand-crafted features in a two-stage pipeline, targeting both binary and multiple body part segmentation. For our purposes, we employ tools such as AdaBoost, support vector machines, Haar-like features, histograms of oriented gradients and graphics. We also address the differences between cascade learning and stacked learning. Finally, we analyse a multimodal approach to combining different tasks, which allows us to improve and refine our predictions concerning the segmentation of body parts using 2D and 3D estimations of posture and depth, a feat made possible thanks to deep learning.