Study of brain magnetic resonance images reconstruction through convolutional autoencoders

Abstract

We studied how a variety of 2D convolutional autoencoders of different sizes performed the task of reconstructing healthy brain magnetic resonance images. The images used were the subset of T1-weighted MRI available in the IXI dataset. Two smaller ResNet-like models were created and tested to see how the number of parameters in the model affected the reconstruction prowess of the autoencoders. The popular ResNet50 model was also tested under two con gurations: no pre-trained weights and pre-trained weights trained on the ImageNet dataset, to see if the transfer learning process from an unrelated computer vision task helps improve the reconstruction results. All models were trained using mean square error and difference of structural similarity as loss function to explore if the later would assist the models in improving their performances as some publications have pointed out for a range of different computer vision tasks. Both the peak signal-to-noise ratio and structural similarity tests showed that the use of difference of structural similarity as loss function did provide the best results in the test set for models using no pre-trained weights, globally the results of the ResNet-like models were effectively indistinguishable from the original images.

Hem estudiat com diversos autoencoders convolucionals 2D de mides diferents duen a terme la tasca de reconstruir imatges de cervells obtingudes via ressonància magnètica. Les imatges fetes servir provenen del subconjunt d'IRM T1-weighted del conjunt de dades IXI. Van ser creats i testats dos models de mida reduïda basats en ResNet per veure com el nombre de paràmetres a un model afecta a la qualitat de les reconstruccions. El conegut model ResNet50 també va ser testat fent servir dues configuracions: sense pesos prèviament entrenats i fent servir pesos entrenats en el conjunt de dades ImageNet per a veure si el procés de transferència de l'aprenentatge des d'una tasca de visi o per computador sense relació amb l'actual podia ajudar a millorar la qualitat de les reconstruccions. Tots els models van ser entrenats fent servir error quadràtic mig i diferència de semblances estructurals com a funcions de pèrdua per a explorar si aquesta ultima podia ajudar als models a millorar el seu rendiment com algunes publicacions han indicat per a tasques de visió per computador diferents. Les proves fent servir tant proporció màxima senyal-soroll com semblança estructural mostren com l'ús de la diferència de semblances estructurals com a funció de pèrdua proporciona els millors resultats en el conjunt de prova pels models que no fan servir pesos prèviament entrenats, globalment els models de mida reduïda da basats en ResNet van aconseguir uns resultats pràcticament indistingibles de les imatges originals.

Hemos estudiado como diversos autoencoders convolucionales 2D de tamaños diferentes llevan a cabo la tarea de reconstruir imágenes de cerebros obtenidas vía resonancia magnética. Las imágenes usadas provienen del subconjunto de IRM T1-weighted que es parte del conjunto de datos IXI. Creamos y probamos dos modelos de tamaño reducido basados en ResNet para ver si el número de parámetros en un modelo afectaba la calidad de las reconstrucciones. El conocido modelo ResNet50 también fue probado usando dos configuraciones: sin usar pesos previamente entrenados y usando pesos entrenados en el conjunto de datos ImageNet para comprobar si el proceso de transferencia del aprendizaje desde una tarea de visión por computador sin relación con la actual podría ayuda a mejorar la calidad de las reconstrucciones. Todos los modelos fueron entrenados usando error cuadrático medio y diferencia de similitudes estructurales como funciones de pérdida para explorar si esta última podría ayudar a los modelos a mejorar su rendimiento como algunas publicaciones han indicado para otras tareas de visión por computador. Les pruebas usando tanto la proporción máxima señal-ruido como similitud estructural muestran como el uso de la diferencia de similitudes estructurales como función de pérdida proporciona los mejores resultados en el conjunto de prueba para los modelos que no usan pesos previamente entrenados; globalmente los modelos de tamaño reducidos basados en ResNet obtuvieron unos resultados prácticamente indistinguibles de las imágenes originales.