Capabilities and limitations of style transfer with CycleGANs for ring design automatic generation

Abstract

Rendering programs have changed the design process completely as they permit to see how the products will look like before they are fabricated. However, the rendering process is complicated and takes a lot of time not only in the rendering itself but in the setting of the scene as well. Materials, lights and cameras need to be set in order to get the best quality results, nevertheless, the optimal output may not be obtained in the first render. This all makes the rendering process a tedious process. Since Zhu et al. introduced Generative Adversarial Networks (GANs) in 2014, they have been used to obtain computer-generated data. From non-existing human faces to medical data analysis or image style transfer. GANs have been used to transfer image textures from one domain to another, but paired data was needed. When this same group introduced the CycleGANs, this all changed. CycleGANs allow transforming one image from one domain to another, without the need of paired data. This Work studies the possibilities of CycleGANs on style transfer from an initial sketch to a final render. A process that is crucial in the automatic generation of ring designs as allows the customer to see the final products before buying. The present Work sets a basis for future research, showing the possibilities of GANs in design and establishing a starting point for new applications.

Los programas de renderizado han cambiado el proceso de diseño por completo, ya que permiten ver cómo se verán los productos antes de ser fabricados. Sin embargo, el proceso de renderizado es complicado y lleva mucho tiempo, no solo en el renderizado en sí, sino también en la configuración de la escena. Es necesario configurar los materiales, las luces y las cámaras para obtener los mejores resultados de calidad; sin embargo, el resultado óptimo no suele conseguirse en el primer renderizado. Todo esto hace que el proceso de renderizado sea un proceso tedioso. Desde que Zhu et al. introdujeron las Redes Generativas Antagónicas (RGAs) en 2014, estas se han utilizado para obtener datos generados por computadora. Desde rostros humanos inexistentes, hasta el análisis de datos médicos o transferencias de estilos de imágenes. Las RGAs se han utilizado para transferir texturas de imágenes de un dominio a otro, pero se necesitaban datos emparejados. Cuando este mismo grupo introdujo las CycleGAN, todo esto cambió. Las CycleGANs permiten transformar una imagen de un dominio a otro, sin la necesidad de datos emparejados. Este Trabajo estudia las posibilidades de las CycleGANs en la transferencia de estilo desde un boceto inicial a un render final. Un proceso que es crucial en la generación automática de modelos de anillos ya que permite al cliente ver los productos finales antes de comprarlos. El presente Trabajo sienta las bases para futuras investigaciones, mostrando las posibilidades de las RGAs en el diseño y estableciendo un punto de partida para nuevas aplicaciones.

Els programes de renderitzat han canviat el procés de disseny per complet, ja que permeten veure com es veuran els productes abans de ser fabricats. No obstant això, el procés de renderitzat és complicat i porta molt temps, no sols en el renderitzat en si, sinó també en la configuració de l'escena. És necessari configurar els materials, les llums i les cambres per a obtenir els millors resultats de qualitat; no obstant això, el resultat òptim no sol aconseguir-se en el primer renderitzat. Tot això fa que el procés de renderitzat sigui un procés tediós. Des que Zhu et al. van introduir les Xarxes Generatives Antagòniques (RGAs) en 2014, aquestes s'han utilitzat per a obtenir dades generades per computadora. Des de rostres humans inexistents, fins a l'anàlisi de dades mèdiques o transferències d'estils d'imatges. Les RGAs s'han utilitzat per a transferir textures d'imatges d'un domini a un altre, però es necessitaven dades aparellades. Quan aquest mateix grup va introduir les CycleGAN, tot això va canviar. Les CycleGANs permeten transformar una imatge d'un domini a un altre, sense la necessitat de dades aparellades. Aquest Treball estudia les possibilitats de les CycleGANs en la transferència d'estil des d'un esbós inicial a un render final. Un procés que és crucial en la generació automàtica de models d'anells ja que permet al client veure els productes finals abans de comprar-los. El present Treball estableix les bases per a futures recerques, mostrant les possibilitats de les RGAs en el disseny i establint un punt de partida per a noves aplicacions.