Semantic segmentation of peripheral white blood cells using neural networks

Abstract

Semantic segmentation is the differentiation of the meaningful parts on an image. It has been used in many distinct fields, such as traffic or medical areas. One of these uses in the medical field is the blood smear examination. White blood cells (WBC) are part of the immune system and their counting and determination are often performed by medical specialists for diagnosis. The shape and size of the nucleus of leukocytes can determine the type of WBC, by visual examination of an expert. WBC segmentation had been proposed before, but the convolutional neural network architectures were not tried for this task. Therefore, in this project, the semantic segmentation was performed on free access dataset, which is composed of microscopic images and segmented ground truth images, of WBC, made by experts. The dataset was filtered, transformed and augmented in order to be used in an artificial neural network. Some segmentation models, such as U-Net, SegNet and DeconvNet, were chosen, adapted and trained to/with this data. After training, the models were evaluated, using different metrics (accuracy, Jaccard similarity index and Sørensen¿Dice similarity coefficient), with the same dataset. Jupyter notebook from the free Google platform called Colaboratory was used for the training and evaluation of the models. Although all three models achieved very high scores in distinct metrics. U-Net architecture resulted in being the best model for segmenting, as well as the fastest one for the training process.

La segmentación semántica es la diferenciación de las partes significativas de una imagen. Y se ha utilizado en muchos campos distintos, como el tráfico o campo de la medicina. Uno de estos usos en el campo médico es el examen de frotis de la sangre. Los glóbulos blancos (WBC, por sus siglas en inglés) son parte del sistema inmunológico y su conteo y determinación a menudo los realizan médicos especialistas para el diagnóstico. La forma y el tamaño del núcleo de los leucocitos pueden determinar el tipo de WBC mediante el examen visual de un experto. La segmentación semátnica de WBC ya se había propuesto antes, pero no se utilizaron redes neuronales convolucionales. Por lo que, en este proyecto, la segmentación semántica se realizó en un conjunto de datos de acceso libre, que está compuesto por imágenes microscópicas e imágenes de la verdad de fondo segmentadas, de WBC, realizadas por expertos. El conjunto de datos fue filtrado, transformado y aumentado para ser utilizado en una red neuronal artificial. Algunos modelos de segmentación, como U-Net, SegNet y DeconvNet, fueron elegidos, adaptados y entrenados para / con esta información. Después del entrenamiento, se evaluaron los modelos, utilizando diferentes métricas (precisión, coeficientes de similaridad de Jaccard y de Sørensen¿Dice), con el mismo conjunto de datos. Tanto para el entrenamiento como para la evaluación de los modelos se empleó Jupyter notebook de la plataforma de Google llamada Colaboratory. Aunque los tres modelos lograron puntuaciones muy altas en distintas métricas. La arquitectura de U-Net resultó ser el mejor modelo para la segmentación, así como también el más rápido para el proceso de entrenamiento.

La segmentació semàntica és la diferenciació de les parts significatives d'una imatge. I s'ha utilitzat en molts camps diferents, com el trànsit o camp de la medicina. Un d'aquests usos en el camp mèdic és l'examen de frotis de la sang. Els glòbuls blancs (WBC, per les seves sigles en anglès) són part del sistema immunològic i el seu comptatge i determinació sovint els realitzen metges especialistes per al diagnòstic. La forma i la grandària del nucli dels leucòcits poden determinar el tipus de WBC mitjançant l'examen visual d'un expert. La segmentació semátnica de WBC ja s'havia proposat abans, però no es van utilitzar xarxes neuronals convolucionals. Pel que, en aquest projecte, la segmentació semàntica es va realitzar en un conjunt de dades d'accés lliure, que està compost per imatges microscòpiques i imatges de la veritat de fons segmentades, de WBC, realitzades per experts. El conjunt de dades va ser filtrat, transformat i augmentat per a ser utilitzat en una xarxa neuronal artificial. Alguns models de segmentació, com O-Net, SegNet i DeconvNet, van ser triats, adaptats i entrenats per a / amb aquesta informació. Després de l'entrenament, es van avaluar els models, utilitzant diferents mètriques (precisió, coeficients de similitud de Jaccard i de Sørensen¿Diu), amb el mateix conjunt de dades. Tant per a l'entrenament com per a l'avaluació dels models es va emprar Jupyter notebook de la plataforma de Google cridada Colaboratory. Encara que els tres models van aconseguir puntuacions molt altes en diferents mètriques. L'arquitectura d'O-Net va resultar ser el millor model per a la segmentació, així com també el més ràpid per al procés d'entrenament.