Universal approximation results on artificial neural networks

Abstract

In this project, we present an overview on results of universal approximation with neural networks in function spaces and provide some new results for variable Lebesgue spaces. Artificial neural networks are one of the most deeply studied topics in mathematics in particular, and in science in general, in the last years. Among many other features, they present the interesting property that, for certain activation functions, feedforward neural networks with a single hidden layer can be used to approximate functions in some function spaces, yielding thus the fact that their study is fundamental in this context. The main purpose of this project is to give a well-motivated and self-contained summary of all the previous results that exist in approximation with neural networks in certain function spaces, as well as provide some new ones for variable Lebesgue spaces, a class of spaces that generalize the classical ones. For that, we introduce all the basic concepts that are necessary to understand these results of approximation and show the history of evolvement of such results during the last years, leading to our current new results in that field.

En este proyecto, presentamos una visión general de los resultados de la aproximación universal con las redes neuronales en los espacios de función y proporcionamos algunos resultados nuevos para los espacios variables de Lebesgue. Las redes neuronales artificiales son uno de los temas más estudiados en las matemáticas en particular, y en la ciencia en general, en los últimos años. Entre otras muchas características, presentan la interesante propiedad de que, para determinadas funciones de activación, las redes neuronales de avance con una sola capa oculta pueden utilizarse para aproximar funciones en algunos espacios funcionales, lo que hace que su estudio sea fundamental en este contexto. El objetivo principal de este proyecto es ofrecer un resumen bien motivado y autónomo de todos los resultados anteriores que existen en la aproximación con redes neuronales en determinados espacios de función, así como proporcionar algunos nuevos para los espacios de Lebesgue. Para ello, introducimos todos los conceptos básicos que son necesarios para entender estos resultados de aproximación y mostramos la historia de la evolución de dichos resultados durante los últimos años, lo que nos lleva a nuestros nuevos resultados en ese campo.

En aquest projecte, presentem una visió general dels resultats de l'aproximació universal amb les xarxes neuronals en els espais de funció i proporcionem alguns resultats nous per als espais variables de Lebesgue. Les xarxes neuronals artificials són un dels temes més estudiats en les matemàtiques en particular, i en la ciència en general, en els últims anys. Entre moltes altres característiques, presenten la interessant propietat que, per a determinades funcions d'activació, les xarxes neuronals d'avanç amb una sola capa oculta poden utilitzar per aproximar funcions en alguns espais funcionals, el que fa que el seu estudi sigui fonamental en aquest context. L'objectiu principal d'aquest projecte és oferir un resum ben motivat i autònom de tots els resultats anteriors que hi ha a l'aproximació amb xarxes neuronals en determinats espais de funció, així com proporcionar alguns nous per als espais de Lebesgue. Per a això, introduïm tots els conceptes bàsics que són necessaris per a entendre aquests resultats d'aproximació i vam mostrar la història de l'evolució d'aquests resultats durant els últims anys, el que ens porta als nostres nous resultats en aquest camp.