Deep learning for image captioning: an encoder-decoder architecture with soft attention

Abstract

El subtitulado automático de imágenes, la tarea de producir automáticamente una descripción en lenguaje natural para una imagen, tiene el potencial de ayudar a las personas con discapacidades visuales a explicar las imágenes mediante sistemas de conversión de texto a voz. Sin embargo, el subtitulado preciso de imágenes es una tarea desafiante que requiere integrar y avanzar en la intersección de los campos de procesamiento de lenguaje natural y visión por computador. Este trabajo pretende desarrollar un modelo basado en redes neuronales y aprendizaje profundo para la generación automática de descripciones de imágenes.

Automatic image captioning, the task of automatically producing a natural-language description for an image, has the potential to assist those with visual impairments by explaining images using text-to-speech systems. However, accurate image captioning is a challenging task that requires integrating and pushing further the latest improvements at the intersection of computer vision and natural language processing fields This work aims at building an advanced model based on neural networks and deep learning for the automated generation of image captions.

El subtitulat automàtic d'imatges, la tasca de produir automàticament una descripció en llenguatge natural per a una imatge, té el potencial d'ajudar a les persones amb discapacitats visuals a explicar les imatges, mitjançant sistemes de conversió de text a veu. No obstant això, el subtitulat precís és un desafiament important que requereix integrar i avançar en la intersecció dels camps de processament de llenguatge natural i visió per computador. Aquest treball pretén desenvolupar un model basat en xarxes neuronals i aprenentatge profund per a la generació automàtica de descripcions d'imatges.