Automatic detection of knee joints and classification of knee osteoarthritis severity from plain radiographs using CNNs

Abstract

Knee Osteoarthritis (OA) is the most common type of arthritis and it is typically the result of wear and tear, and progressive loss of articular cartilage which may eventually lead to disability. OA diagnosis is typically conducted by performing a physical examination of the knee by means of a visual inspection of radiographic imaging. Based on the presence of OA pathological features of joint space narrowing, osteophyte formation or sclerosis, Kellgren-Lawrence (KL) system is typically used to classify the severity of the disease into one of five ranked grades. The conclusion regarding the presence and severity of knee OA may differ due to the subjective nature of the assessment. In this study, we present a computer-aided diagnosis method based on Convolutional Neural Networks (CNN) to automatically locate and score knee OA severity from X-ray images according to the KL grading scale. Location of the knee joints is achieved by considering a region of interest (ROI) segmentation with U-Net architecture. Transfer learning from pre-trained CNN architectures is considered for knee OA severity assessment. Our method yields a quadratic Cohen Kappa coefficient of 0.87 and a weighted average f1-score of 72%. In addition, we show attention maps highlighting the strongest contribution to the network prediction. The visualization provides practitioners with information to assist in the diagnosis decision-making processes. We conclude that our methodology achieves high accuracy in localizing knee joints out of plain X-ray images, as well as a very good performance in the OA diagnostic assessment of KL grades.

La osteoartritis de la rodilla (OA) es el tipo más común de artritis y suele ser el resultado del desgaste y la pérdida progresiva del cartílago articular que puede acabar provocando una discapacidad. El diagnóstico de la OA suele realizarse mediante una exploración física de la rodilla y una inspección visual de las imágenes radiográficas. Basándose en la presencia de características patológicas de la OA de estrechamiento del espacio articular, formación de osteofitos o esclerosis, se suele utilizar el sistema Kellgren-Lawrence (KL) para clasificar la gravedad de la enfermedad en uno de los cinco grados. La conclusión sobre la presencia y la gravedad de la OA de rodilla puede diferir debido a la naturaleza subjetiva de la evaluación. En este estudio, presentamos un método de diagnóstico asistido por ordenador basado en redes neuronales convolucionales (CNN) para localizar y puntuar automáticamente la gravedad de la OA de rodilla a partir de imágenes de rayos X según la escala de clasificación KL. La localización de las articulaciones de la rodilla se consigue considerando una región de de interés (ROI) con arquitectura U-Net. Se considera el aprendizaje de transferencia de arquitecturas CNN preentrenadas para la evaluación de la gravedad de la OA de rodilla. Nuestro método produce un coeficiente Kappa cuadrático de Cohen de 0,87 y una puntuación f1 media ponderada del 72%. Además, mostramos mapas de atención que destacan la mayor contribución a la predicción de la red. La visualización proporciona a los profesionales información para ayudar en los procesos de toma de decisiones de diagnóstico. Concluimos que nuestra metodología logra una alta precisión en la localización de las articulaciones de la rodilla a partir de imágenes de rayos X simples, así como un muy buen rendimiento en la evaluación del diagnóstico de OA de los grados KL.

L'osteoartritis del genoll (OA) és el tipus més comú d'artritis i sol ser el resultat del desgast i la pèrdua progressiva del cartílag articular que pot acabar provocant una discapacitat. El diagnòstic de la OA sol realitzar-se mitjançant una exploració física del genoll i una inspecció visual de les imatges radiogràfiques. Basant-se en la presència de característiques patològiques de la OA d'estrenyiment de l'espai articular, formació de osteofitos o esclerosi, se sol utilitzar el sistema Kellgren-Lawrence (KL) per a classificar la gravetat de la malaltia en un dels cinc graus. La conclusió sobre la presència i la gravetat de la OA de genoll pot diferir a causa de la naturalesa subjectiva de l'avaluació. En aquest estudi, presentem un mètode de diagnòstic assistit per ordinador basat en xarxes neuronals convolucionals (CNN) per a localitzar i puntuar automàticament la gravetat de la OA de genoll a partir d'imatges de raigs X segons l'escala de classificació KL. La localització de les articulacions del genoll s'aconsegueix considerant una regió de d'interès (ROI) amb arquitectura O-Net. Es considera l'aprenentatge de transferència d'arquitectures CNN preentrenadas per a l'avaluació de la gravetat de la OA de genoll. El nostre mètode produeix un coeficient Kappa quadràtic de Cohen de 0,87 i una puntuació f1 mitjana ponderada del 72%. A més, vam mostrar mapes d'atenció que destaquen la contribució més gran a la predicció de la xarxa. La visualització proporciona als professionals informació per a ajudar en els processos de presa de decisions de diagnòstic. Concloem que la nostra metodologia obté una alta precisió en la localització de les articulacions del genoll a partir d'imatges de raigs X simples, així com un molt bon rendiment en l'avaluació del diagnòstic de OA dels graus KL.