Implementació d'un procés de transferència d'estil mitjançant una GAN

Abstract

This work is based on the application of generative adversarial networks (GAN) to transfer the style of a set of images, specific to an author, to an input image. Specifically, we want to achieve models capable of generating new images, given an input real photograph as input, applying the transfer of style of paintings by van Gogh, Picasso and Pollock. This study delves into the different characteristics of the images processed by the networks and the components involved in the style transfer process. It is based on the configuration and treatment of losses described in the article "Artsy" GAN: A style transfer system with improved quality, diversity, and performance¿ by Liu et al. (2016). This paper proposes an adversarial generative approach using perceptual loss, processing images with chroma subsampling, introducing noise into generator input images, and a loss target function that encourages generating different details for the same content image. These modifications are intended to improve the performance and quality of the results obtained with previous studies, such as the use of CycleGan's.

Aquest treball es basa en l¿aplicació de xarxes generatives adversarials (GAN) per realitzar la transferència de l'estil d'un conjunt d'imatges, específiques d'un autor, a una imatge d'entrada. Concretament, es volen aconseguir uns models capaços de generar imatges noves, donada una fotografia real d'entrada, aplicant la transferència d'estil de obres pictòriques de van Gogh, Picasso i Pollock. Aquest estudi, s'endinsa en les diferents característiques de les imatges tractades per les xarxes i en els components intervinents en el procés de transferència d'estil. Es basa en la configuració i el tractament de les pèrdues descrites en l'article "Artsy¿GAN: A style transfer system with improved quality, diversity and performance" de Liu et al. (2016). En aquest article es proposa un enfocament generatiu adversarial utilitzant pèrdues perceptives, processant imatges amb chroma subsampling, introduint soroll a les imatges d'entrada al generador i una funció objectiu de pèrdua que fomenta generar detalls diferents per a la mateixa imatge de contingut. Amb aquestes modificacions es pretén millorar el rendiment i la qualitat dels resultats obtinguts amb anteriors estudis, com per exemple la utilització de CycleGan's.

Este trabajo se basa en la aplicación de redes generativas adversarials (GAN) para realizar la transferencia del estilo de un conjunto de imágenes, específicas de un autor, a una imagen de entrada. Concretamente, se quieren conseguir unos modelos capaces de generar imágenes nuevas, dada una fotografía real de entrada, aplicando la transferencia de estilo de obras pictóricas de van Gogh, Picasso y Pollock. Este estudio, se adentra en las diferentes características de las imágenes tratadas por las redes y en los componentes intervinientes en el proceso de transferencia de estilo. Se basa en la configuración y el tratamiento de las pérdidas descritas en el artículo "Artsy¿GAN: A style transfer system with improved quality, diversity and performance" de Liu et al. (2016). En este artículo se propone un enfoque generativo adversarial utilizando pérdidas perceptivas, procesando imágenes con chroma subsampling, introduciendo ruido en las imágenes de entrada al generador y una función objetivo de pérdida que fomenta generar detalles diferentes para la misma imagen de contenido. Con estas modificaciones se pretende mejorar el rendimiento y la calidad de los resultados obtenidos con anteriores estudios, como por ejemplo la utilización de CycleGan's.