Design of an image fusion object detection algorithm for the autonomous driving during adversarial weather conditions

Abstract

Aquest treball dissenya i implementa un algorisme de detecció d'objectes basat només en imatges amb l'objectiu de ser usat en conducció autònoma davant de situacions climatològiques adverses, tals com la neu, la boira o la pluja. S'emprarà la base de dades DENSE tant per a l'entrenament com pel testeig dels models. Basat en l'arquitectura dels SSD, en primer lloc s'estudia la precisió obtinguda per cadascun dels sensors per separat, a continuació s'estudien diferents mètodes per a augmentar la precisió del model. Després es dissenyen models basats en cadascun dels tres mètodes de fusió d'imatges: la fusió basada en píxels, la fusió dels sensors i la fusió de característiques. Per a aquest darrer mètode es dissenyaran els submodels de fusió intermèdia i fusió tardana. Els models són avaluats i comparats entre si, i es conclou que el model amb la millor ràtio entre precisió i rapidesa de detecció és el model basat amb la fusió intermèdia de les característiques.

During this thesis an image-only object detection algorithm is designed and implemented. Its purpose is to be used on real-time situation as a detection algorithm for autonomous driving under adversarial weather conditions, such as snowstorms, fog or rain. The DENSE Dataset is used to train and evaluate the model. Based in the SSD architecture, the precision of each sensor is studied. Then other methods are tried to increase the precision of the model. Then other models are designed, one for each of the image-fusion methods: pixel-fusion, sensor-fusion and feature-fusion. For the last method a halfway fusion and a late fusion model are implemented. All models are evaluated, and its results are compared. Optimising detection velocity and precision it is concluded, the best model is the one which applies the feature fusion with halfway fusion.

Este trabajo diseña e implementa un algoritmo de detección de objetos basado solo en imágenes con el objetivo de ser usado en conducción autónoma ante situaciones climatológicas adversas, tales como la nieve, la niebla o la lluvia. Se empleará la base de datos DENSE tanto para el entrenamiento como por el testeig de los modelos. Basado en la arquitectura de los SSD, en primer lugar se estudia la precisión obtenida por cada uno de los sensores por separado, a continuación se estudian diferentes métodos para aumentar la precisión del modelo. Después se diseñan modelos basados en cada uno de los tres métodos de fusión de imágenes: la fusión basada en píxeles, la fusión de los sensores y la fusión de características. Para este último método se diseñarán los submodels de fusión intermedia y fusión tardía. Los modelos son evaluados y comparados entre si, y se concluye que el modelo con la mejor ratio entre precisión y rapidez de detección es el modelo basado con la fusión intermedia de las características.