Deep Learning para la generación de imágenes histopatológicas realistas mediante aritmética de vectores conceptuales

Abstract

Generative Adversarial Networks (GANs) can offer a way to tackle chronic lack of labeled samples in the medical imaging field, not only using unbounded generation but also by using conditional generation on different attributes of our choice or by modifying the results of this generation with the application of conceptual arithmetic operations between images. We train a Deep Convolutional GAN and a conditional DCGAN on a breast cancer dataset and we make use of some of its properties in order to edit histopathological images by arithmetically operating its latent vectors. The breast cancer dataset is created out of several patients WSI images, and it contains annotations for positive and negative samples. By using these arithmetical properties, we are able to perform several operations on the images, like inversion of the class of a sample (from tumorous to normal or vice versa), smooth interpolations of two samples that can show the transition between two states or two types of them or transference of features from one sample to another by combining additions and subtractions of latent vectors. Aside from its utility to augment labeled datasets for supervised algorithms, this type of edition may be useful in other situations, for example being used as didactic or informative material or as a way to deal with the frequent privacy and anonymity problems that can be encountered when working with this type of medical data.

Las técnicas de Deep Learning, y especialmente las Redes Neuronales Convolucionales (CNNs), han encontrado un gran campo de aplicación en el ámbito de la imagen médica. Estos métodos se muestran muy adecuados para la clasificación o detección de distintas condiciones médicas, en tareas de segmentación de órganos, células u otras características visuales importantes para el diagnóstico de patologías a partir de imágenes. Hasta la aparición de las Redes Generativas Antagónicas (GANs) la utilización de algoritmos de Deep Learning para el análisis de imágenes médicas se centraba en métodos de aprendizaje supervisado. Este tipo de entrenamiento implica la utilización de una gran cantidad de datos etiquetados y/o segmentados. Este aspecto es especialmente relevante cuando se trata de imágenes histológicas (imágenes de la estructura microscópica de los tejidos), que pueden contener miles o decenas de miles de células, lo que hace que etiquetar esos datos sea una tarea muy exhaustiva y subjetiva incluso para patólogos expertos. Las Redes Generativas Antagónicas pueden ser en ciertos casos simplemente una alternativa con algunas ventajas respecto a los métodos supervisados pero en otros casos su contribución va más allá y demuestran ser útiles también a la hora de ayudar a los métodos supervisados a superar sus propias limitaciones. La principal motivación para este trabajo es abordar la eventual problemática de la carencia de datos adecuadamente etiquetados, ofreciendo un proceso mediante el cual sea posible generar imágenes realistas en las que, a diferencia de los procesos habituales de aumento de datos, seamos capaces de integrar características que sean de nuestro interés en las muestras generadas. Los métodos habituales como rotaciones, volteos, recortes o distorsiones nos ofrecen una cantidad limitada de variación en torno a las imágenes originales y sobre las que tenemos poco control. Generando nuevas muestras mediante la aplicación de operaciones aritméticas se podría aumentar la riqueza de los datos aumentados permitiéndonos además conocer, o al menos acotar, la clase de la imagen generada.

Les tècniques de Deep Learning, i especialment les Xarxes Neuronals convolucionals (CNNs), han trobat un gran camp d'aplicació en l'àmbit de la imatge mèdica. Aquests mètodes es mostren molt adequats per a la classificació o detecció de diferents condicions mèdiques, en tasques de segmentació d'òrgans, cèl·lules o altres característiques visuals importants per al diagnòstic de patologies a partir d'imatges. Fins a l'aparició de les Xarxes generatives antagòniques la utilització d'algoritmes de Deep Learning per a l'anàlisi d'imatges mèdiques se centrava en mètodes d'aprenentatge supervisat. Aquest tipus d'entrenament implica la utilització d'una gran quantitat de dades etiquetades i / o segmentades. Aquest aspecte és especialment rellevant quan es tracta d'imatges histològiques (imatges de l'estructura microscòpica dels teixits), que poden contenir milers o desenes de milers de cèl·lules, el que fa que, etiquetar aquestes dades sigui una tasca molt exhaustiva i subjectiva fins i tot per patòlegs experts. Les Xarxes generatives antagòniques poden ser en certs casos simplement una alternativa amb alguns avantatges respecte als mètodes supervisats però en altres casos la seva contribució va més enllà i demostren ser útils també a l'hora d'ajudar els mètodes supervisats a superar les seves pròpies limitacions. La principal motivació per a aquest treball és abordar l'eventual problemàtica de la manca de dades adequadament etiquetades, oferint un procés mitjançant el qual sigui possible generar imatges realistes en què, a diferència dels processos habituals d'augment de dades, siguem capaços d'integrar característiques que siguin del nostre interès en les mostres generades. Els mètodes habituals com rotacions, voltejos, retallades o distorsions ens ofereixen una quantitat limitada de variació al voltant de les imatges originals i sobre les que tenim poc control. Generant noves mostres mitjançant l'aplicació d'operacions aritmètiques es podria augmentar la riquesa de les dades permetent-nos conèixer, o almenys acotar, la classe d'imatge generada.