A lightweight CRNN for end-to-end scene text recognition

Abstract

Scene Text Recognition (STR) is a daunting task in computer vision, where starting from an image taken in any context out in the street or 'in the wild', any instances of text must be detected and its characters recognised. The advent of Convolutional Neural Networks has allowed impressive progress in this field, but many of the STR algorithms remain very heavy and computationally expensive. In this project we have developed lightweight algorithms to detect text in the wild, and to then recognise it. Starting from a very basic knowledge of TensorFlow, we have first studied well established implementations, and then built and trained a detection algorithm from scratch first; and an end-to-end detection and recognition network later. The detection algorithm has achieved remarkable results while being over three times faster than other state-of-the-art algorithms and keeping computation cost and requirements much lower.

El reconocimiento de texto en escena (STR) es una tarea de enormes proporciones en el campo de la visión por ordenador, en la que, partiendo de una imagen tomada en cualquier contexto en la calle o "en la naturaleza", hay que detectar cualquier instancia de texto y reconocer sus caracteres. El advenimiento de las redes neuronales convolucionales ha permitido un progreso impresionante en este campo, pero muchos de los algoritmos de RTS siguen siendo muy pesados y costosos desde el punto de vista computacional. En este proyecto hemos desarrollado algoritmos ligeros para detectar texto en la naturaleza y reconocerlo después. Partiendo de un conocimiento muy básico de TensorFlow, primero hemos estudiado implementaciones bien establecidas, y luego hemos construido y entrenado un algoritmo de detección desde cero primero; y una red de detección y reconocimiento de extremo a extremo después. El algoritmo de detección ha conseguido resultados notables siendo más de tres veces más rápido que otros algoritmos del estado del arte y manteniendo el coste de computación y los requisitos mucho más bajos.

El reconeixement de text en escena (STR) és una tasca d'enormes proporcions en el camp de la visió per ordinador, en la qual, partint d'una imatge presa en qualsevol context al carrer o "en la naturalesa", cal detectar qualsevol instància de text i reconèixer els seus caràcters. L'adveniment de les xarxes neuronals convolucionals ha permès un progrés impressionant en aquest camp, però molts dels algorismes de RTS continuen sent molt pesats i costosos des del punt de vista computacional. En aquest projecte hem desenvolupat algorismes lleugers per a detectar text en la naturalesa i reconèixer-ho després. Partint d'un coneixement molt bàsic de TensorFlow, primer hem estudiat implementacions ben establertes, i després hem construït i entrenat un algorisme de detecció des de zero primer; i una xarxa de detecció i reconeixement d'extrem a extrem després. L'algorisme de detecció ha aconseguit resultats notables sent més de tres vegades més ràpid que altres algorismes de l'estat de l'art i mantenint el cost de computació i els requisits molt més baixos.