Deepfakes: creación de nuevas caras a partir de imágenes de famosos

Abstract

Las técnicas deepfakes son usadas para la generación de vídeos, imágenes o audio manipulados. Su finalidad puede ser delictiva pero también puede ser útil en otras áreas como en la industria del cine. En este trabajo se han clasificado los distintos tipos de técnicas de deepfakes que hay, explicando la finalidad de cada una, incluyendo varios modelos que implementen dichas técnicas. Estos modelos se han acotado a los que se basan en las redes GAN para su implementación, explicando estas y las redes CNN en las que se basan. Además, se ha implementado una prueba de concepto sobre la técnica deepfakes de generación de caras nuevas. El modelo elegido ha sido DCGAN porque no usa tantos recursos como otros modelos más exactos y el dataset CelebA por sus imágenes de gran resolución. El resultado ha mostrado que, con una red no muy profunda, se generan unas imágenes aceptables. Esto se ha evaluado de forma cualitativa, ya que la función de perdida no asegura la convergencia del modelo. Se han encontrado otras métricas cuantitativas que podrían ser probadas en futuros trabajos para ver cuando parar de generar imágenes de forma más exacta. Otra posible continuación de este trabajo sería buscar técnicas de detección para estos modelos de deepfakes y realizar alguna prueba con las imágenes generadas que compruebe si estas son falsas.

Les tècniques deepfakes són usades per a la generació de vídeos, imatges o àudio manipulats. La seva finalitat pot ser delictiva però també pot ser útil en altres àrees com a la indústria del cinema. En aquest treball s'han classificat els diferents tipus de tècniques de deepfakes que hi ha, explicant la finalitat de cadascuna, incloent-hi diversos models que implementin aquestes tècniques. Aquests models s'han acotat als que es basen a les xarxes GAN per a la seva implementació, explicant aquestes i les xarxes CNN en què es basen. A més, s'ha implementat una prova de concepte sobre la tècnica de deepfakes de generació de cares noves. El model triat ha estat DCGAN perquè no fa servir tants recursos com altres models més exactes i el dataset CelebA per les seves imatges de gran resolució. El resultat ha mostrat que, amb una xarxa no gaire profunda, es generen unes imatges acceptables. Això s'ha avaluat qualitativament, ja que la funció de pèrdua no assegura la convergència del model. S'han trobat altres mètriques quantitatives que podrien ser provades en futurs treballs per veure quan parar de generar imatges de manera més exacta. Una altra possible continuació d'aquest treball seria cercar tècniques de detecció per a aquests models de deepfakes i fer alguna prova amb les imatges generades que comprovi si aquestes són falses.

Deepfakes techniques are used to generate manipulated videos, images or audio. Its purpose can be criminal but it can also be useful in other areas such as the film industry. In this work, the different types of deepfake techniques have been classified, explaining the purpose of each one, including several models that implement these techniques. These models have been limited to those based on GAN networks for their implementation, explaining these and the CNN networks on which they are based. In addition, a proof of concept has been implemented on the deepfakes technique for generating new faces. The chosen model has been DCGAN because it does not use as many resources as other more accurate models and the CelebA dataset for its high resolution images. The result has shown that, with a not very deep network, acceptable images are generated. This has been evaluated qualitatively, since the loss function does not ensure the convergence of the model. Other quantitative metrics have been found that could be tested in future works to see when to stop generating images more accurately. Another possible continuation of this work would be to look for detection techniques for these deepfake models and carry out some test with the generated images to check if they are false.