Applying deep learning/GANs to histology image for data augmentation: a general study

Abstract

In medical imaging tasks, annotations are made by radiologists with expert knowledge on the data and task. Therefore, Histology images are especially difficult to collect as they are: expensive, time consuming and information can not be always disclosed for research. To tackle all these issues data augmentation is a popular solution. Data augmentation, consist of generating new training samples from existing ones, boosting the size of the dataset. When applying any type of artificial neural network, the size of the training is key factor to be successful. especially when employing supervised machine learning algorithms that require labelled data and large training examples. We present a method for generating synthetic medical images using recently presented deep learning Generative Adversarial Networks (GANs). Furthermore, we show that generated histology images can be used for synthetic data augmentation and improve the performance of CNN for medical image classification. The GAN is a non-supervised machine learning technique where one network generates candidates (generative) and the other evaluates them (discriminative) to generate new sample like the original. In our case we will focus in a type of GAN called Deep Convolution Generative Convolutional Network (DCGAN) where the CNN architecture is used in both networks and the discriminator is reverting the process created by the generator. Finally, we will apply this technique, for data augmentation, with two different datasets: Narrow bone and Breast tissue histology image. To check the result, we will classify the synthetic images with a pre-trained CNN with real images and labelled by specialist.

En las tareas de imagenología médica, los radiólogos realizan anotaciones con conocimiento experto sobre los datos y la tarea. Por lo tanto, las imágenes de histología son especialmente difíciles de recopilar, ya que son caras, requieren mucho tiempo y la información no siempre se puede divulgar para la investigación. Para abordar todos estos problemas, el aumento de datos es una solución popular. El aumento de datos consiste en generar nuevas muestras de entrenamiento a partir de las existentes, aumentando el tamaño del conjunto de datos. Cuando se aplica cualquier tipo de red neuronal artificial, el tamaño de la capacitación es un factor clave para tener éxito. especialmente cuando se emplean algoritmos supervisados ¿¿de aprendizaje automático que requieren datos etiquetados y grandes ejemplos de capacitación. Presentamos un método para generar imágenes médicas sintéticas utilizando redes de adversarios generativos de aprendizaje profundo recientemente presentadas. Además, mostramos que las imágenes histológicas generadas pueden usarse para el aumento de datos sintéticos y mejorar el rendimiento de CNN para la clasificación de imágenes médicas. La GAN es una técnica de aprendizaje automático no supervisada en la que una red genera candidatos (generativos) y la otra los evalúa (discriminativos) para generar una nueva muestra como la original. En nuestro caso, nos enfocaremos en un tipo de GAN llamada Red Convolucional Generativa de Convolución Profunda (DCGAN) donde la arquitectura CNN se usa en ambas redes y el discriminador está revirtiendo el proceso creado por el generador. Por último, aplicaremos esta técnica, para el aumento de datos, con dos conjuntos de datos diferentes: imagen de histología de tejido mamario y hueso estrecho. Para verificar el resultado, clasificaremos las imágenes sintéticas con un CNN pre-entrenado con imágenes reales y etiquetado por un especialista.

En les tasques de imagenología mèdica, els radiòlegs realitzen anotacions amb coneixement expert sobre les dades i la tasca. Per tant, les imatges d'histologia són especialment difícils de recopilar, ja que són cares, requereixen molt temps i la informació no sempre es pot divulgar per a la recerca. Per a abordar tots aquests problemes, l'augment de dades és una solució popular. L'augment de dades consisteix a generar noves mostres d'entrenament a partir de les existents, augmentant la grandària del conjunt de dades. Quan s'aplica qualsevol tipus de xarxa neuronal artificial, la grandària de la capacitació és un factor clau per a tenir èxit. especialment quan s'empren algorismes supervisats ¿¿d'aprenentatge automàtic que requereixen dades etiquetades i grans exemples de capacitació. Presentem un mètode per a generar imatges mèdiques sintètiques utilitzant xarxes d'adversaris generatius d'aprenentatge profund recentment presentades. A més, vam mostrar que les imatges histològiques generades poden usar-se per a l'augment de dades sintètiques i millorar el rendiment de CNN per a la classificació d'imatges mèdiques. La GAN és una tècnica d'aprenentatge automàtic no supervisada en la qual una xarxa genera candidats (generatius) i l'altra els avalua (discriminativos) per a generar una nova mostra com l'original. En el nostre cas, ens enfocarem en un tipus de GAN dita Xarxa Convolucional Generativa de Convolución Profunda (DCGAN) on l'arquitectura CNN s'usa en totes dues xarxes i el discriminador està revertint el procés creat pel generador. Finalment, aplicarem aquesta tècnica, per a l'augment de dades, amb dos conjunts de dades diferents: imatge d'histologia de teixit mamari i os estret. Per a verificar el resultat, classificarem les imatges sintètiques amb un CNN pre-entrenat amb imatges reals i etiquetatge per un especialista.