A systematic study of the performance of Feedforward Neural Networks on data from closed-form mathematical models

Abstract

In the age of data, Neural Networks have proven to be powerful predictive tools. However, in scenarios where Model Interpretability prevails over accuracy, other statistical tools may be more appropriate. One such tool is the Bayesian Machine Scientist, a tool based on Bayesian Statistics and Statistical Physics that explores the space of closed-form mathematical models using Markov Chain Monte Carlo and finds the most plausible model given data. In this paper we have made a systematic study of the accuracy of FeedForward Neural Networks, the Bayesian Machine Scientist and a Random Forest algorithm, using the RMSE metric on two types of scenarios. The first one, on data generated by another FeedForward Neural Network, and the second one on a set of data with different noise levels, generated by means of three closed-form mathematical models coming from the Bayesian Machine Scientist. The results show that in the noise-free scenario the Neural Networks are unbeatable but in a real scenario with noise, its performance decreases and could be outperformed by the Bayesian Machine Scientist in the low noise range with the advantage that the latter offers much more interpretable models.

En la era de los datos, las redes neuronales han demostrado ser potentes herramientas de predicción. Sin embargo, en escenarios donde prevalece la interpretabilidad del modelo sobre la precisión, otras herramientas estadísticas pueden ser más apropiadas. Una de esas herramientas es Bayesian Machine Scientist, una herramienta basada en Estadísticas Bayesianas y Física Estadística que explora el espacio de modelos matemáticos de forma cerrada utilizando Markov Chain Monte Carlo y encuentra el modelo más plausible dado los datos. En este artículo hemos realizado un estudio sistemático de la precisión de FeedForward Neural Networks, el Bayesian Machine Scientist y un algoritmo Random Forest, utilizando la métrica RMSE en dos tipos de escenarios. El primero, sobre datos generados por otra Red Neuronal FeedForward, y el segundo sobre un conjunto de datos con diferentes niveles de ruido, generados mediante tres modelos matemáticos de forma cerrada provenientes del Bayesian Machine Scientist. Los resultados muestran que en el escenario libre de ruido las Redes Neuronales son imbatibles pero en un escenario real con ruido, su rendimiento disminuye y podría ser superado por el Bayesian Machine Scientist en el rango de bajo ruido con la ventaja de que este último ofrece mucho más interpretable.

A l'era de les dades, les xarxes neuronals han demostrat ser potents eines de predicció. Tanmateix, en escenaris on la interpretabilitat del model preval sobre la precisió, altres eines estadístiques poden ser més adequades. Una d'aquestes eines és el Bayesian Machine Scientist, una eina basada en estadístiques bayesianes i física estadística que explora l'espai dels models matemàtics de forma tancada mitjançant la cadena Markov Monte Carlo i troba les dades donades pel model més plausible. En aquest article hem fet un estudi sistemàtic de la precisió de FeedForward Neural Networks, el Bayesian Machine Scientist i un algorisme Random Forest, utilitzant la mètrica RMSE en dos tipus d'escenaris. El primer, sobre dades generades per una altra xarxa neuronal FeedForward, i el segon sobre un conjunt de dades amb diferents nivells de soroll, generats mitjançant tres models matemàtics de forma tancada provinents del Bayesian Machine Scientist. Els resultats mostren que, en l'escenari sense soroll, les xarxes neuronals són immillorables, però en un escenari real amb soroll, el seu rendiment disminueix i podria ser superat pel Bayesian Machine Scientist en el rang de baix nivell de soroll amb l'avantatge que aquest darrer ofereix molt més interpretació.