Anàlisi d’emocions multitasca

Abstract

L’anàlisi i detecció d’emocions és un dels camps més estesos de la visió per ordinador, però també de l'anàlisi de veu i text. Disposa de múltiples camps d’aplicació, com la robòtica domèstica o la comprensió d'escenes de vídeo a grans plataformes, i és un camp on interseccionen diferentes ciències que tracten d’unir forces per tal d’obtenir-ne aplicacions vàlides, atès que disposa de diverses aplicacions, ja sigui per a medicina, salut, detecció de fatiga, monitoratge, aprenentatge en línia, oci, detecció de mentides o per a aplicacions legals, entre d’altres. Existeixen diferents maneres d’encarar la detecció d’emocions. Entre les més emprades es troben el reconeixement d'emocions bàsiques, l’estimació de l’afecte continu i la detecció d’unitats facials. Una de les formes d’aproximació els darrers anys s'ha basat en utilitzar combinacions d’aquestes per tal de millorar-ne els resultats, emprant tècniques multitasca. L’objectiu d’aquest treball és crear un o més models de detecció d’emocions multitasca que puguin millorar o bé equiparar-se als de l’estat de l’art actuals. Al llarg d’aquest, es pot veure com és avaluat l’estat de l’art en la matèria i, mitjançant un cas d’èxit, s’hi apliquen millores diverses per tal d’obtenir un model amb un rendiment superior. Les millores seran fonamentades en les dades disponibles als treballs i se’n realitzarà un estudi exhaustiu dels resultats d’aquestes. Al final del treball es pot veure com s’aconsegueix obtenir una millora en els resultats per un dels experiments realitzats, assolint un model que podria rivalitzar amb els millors classificats a la setena entrega de l’ABAW.

Emotion analysis and detection is one of the most widespread fields of computer vision, but also of speech and text analysis. It has multiple fields of application, and it is a field where different sciences intersect and try to join forces in order to obtain valid applications, given its multiple applications, be it for medicine, fatigue detection, monitoring, online learning, lie detection or for legal applications, etc. There are different approaches to deal with emotion detection, the most common being the recognition of basic emotions, the estimation of continuous affect and the detection of facial units. One of the approaches in recent years has been to use combinations of these in order to improve the results, using multi-task techniques. The purpose of this work is to create one or more multi-task emotion detection models. Throughout this work, we will be able to see how the state of the art in the matter is evaluated and, using a case of success as a basis, improvements of different types are applied in order to try to obtain a model with a superior performance. The improvements will be based on the data available in the different state of the art papers and an exhaustive study of the results of these will be carried out. At the end of this work, we will find a model able to compete with the best participants of the 7th ABAW as one of the experiments will provide an improved version of the model used as the basis.

El análisis y detección de emociones es uno de los campos más extendidos de la visión por ordenador, pero también del análisis de voz y texto. Dispone de múltiples campos de aplicación, como la robótica doméstica o la comprensión de escenas de vídeo en grandes plataformas, y es un campo donde interseccionan diferentes ciencias que tratan de unir fuerzas para obtener aplicaciones válidas, dado que dispone de diversas aplicaciones, ya sea para medicina, salud, detección de fatiga, monitorización, aprendizaje online, ocio, detección de mentiras o para aplicaciones legales, entre otras. Existen diferentes formas de encarar la detección de emociones. Entre las más utilizadas se encuentran el reconocimiento de emociones básicas, la estimación del cariño continuo y la detección de unidades faciales. Una de las formas de aproximación en los últimos años se ha basado en utilizar combinaciones de éstas para mejorar los resultados, utilizando técnicas multitarea. El objetivo de este trabajo es crear uno o más modelos de detección de emociones multitarea que puedan mejorar o equipararse a los del estado del arte actuales. A lo largo de éste, se puede ver cómo es evaluado el estado del arte en la materia y, mediante un caso de éxito, se aplican mejoras diversas para obtener un modelo con un rendimiento superior. Las mejoras serán fundamentadas en las datos disponibles en los trabajos y se realizará un estudio exhaustivo de los trabajos resultados de éstas. Al final del trabajo se puede ver cómo se consigue obtener una mejora en los resultados por uno de los experimentos realizados, logrando un modelo que podría rivalizar con los mejores clasificados en la séptima entrega del ABAW.