Navegación autónoma de vehículos aéreos no tripulados mediante técnicas de aprendizaje por refuerzo profundo

Abstract

El presente trabajo es un estudio sobre la aplicación práctica de técnicas de aprendizaje por refuerzo profundo (DRL, Deep Reinforcement Learning) en el desarrollo de un sistema de navegación autónoma para vehículos aéreos no tripulados. Este tipo de aeronaves - también conocido como UAV (Unmaned Aerial Vehicle) o simplemente dron - se utilizan en una amplia variedad de tareas como la vigilancia, búsqueda, rescate, topografía o la investigación científica, entre otras. En todas ellas la navegación autónoma es una característica mas que deseable por la seguridad y eficiencia que puede aportar a la operatividad de estos aparatos. Sin embargo, prescindir de la intervención humana presenta grandes desafíos como detectar y evitar obstáculos para garantizar la integridad de la aeronave y la seguridad de personas, animales, plantas u objetos presentes en el entorno. En este sentido, el aprendizaje por refuerzo profundo se ha convertido en una alternativa muy prometedora para llevar a cabo esta compleja tarea, permitiendo al dron aprender a través de su experiencia e interacciones con distintos entornos, tanto simulados como reales. Este documento pretende demostrar la viabilidad de un sistema de navegación que combine algoritmos de aprendizaje por refuerzo profundo con técnicas de visión artificial, para permitir a un dron sencillo de bajo coste, equipado ´únicamente con una cámara de vídeo frontal, navegar de manera autónoma el mayor tiempo posible.

This work is a study on the practical application of Deep Reinforcement Learning (DRL) techniques in the development of an autonomous navigation system for Unmanned Aerial Vehicles (UAVs), also known as ”drones”. These types of aircraft are used for a wide variety of tasks such as surveillance, search and rescue, topography, or scientific research, among others. In all of these tasks, autonomous navigation is a desirable feature due to the safety and efficiency it can provide to the operation of these devices. However, eliminating human intervention presents significant challenges, such as detecting and avoiding obstacles to ensure the integrity of the aircraft and the safety of people, animals, plans or objects in the environment. In this sense, deep reinforcement learning has become a very promising alternative to carry out this complex task, allowing the drone to learn through its experience and interactions with different environments, both simulated and real. This document aims to demonstrate the viability of a navigation system that combines deep reinforcement learning algorithms with computer vision techniques, to enable a low-cost, simple drone equipped only with a front-facing video camera to navigate autonomously for as long as possible.

Estudi sobre l'aplicació pràctica de tècniques d'aprenentatge per reforç profund en el desenvolupament d'un sistema de navegació autònoma per a vehicles aeris no tripulats.