A comparison between LSTM and Facebook Prophet models: a financial forecasting case study

Abstract

La predicció d'actius financers és una de les principals aplicacions de l'aprenentatge automàtic i les xarxes neuronals. En concret, les xarxes basades en Long Short-Term Memory (LSTM) han demostrat ser especialment útils en aquest camp i en altres problemes de sèries temporals. Per contra, s'ha investigat menys sobre la idoneïtat i el rendiment del model Facebook Prophet, basat en el model additiu i que és capaç d'unir tendències no lineals amb estacionalitats configurables. Aquest projecte buscava construir i comparar dos models: un basat en una xarxa neuronal LSTM i l'altre basat en l'algorisme Prophet, per així analitzar quin dels dos actuava millor com a predictor, en concret sobre el preu de l'índex borsari S&P500. Per tal de comparar aquests models un mòdul de simulació de trading va ser implementat i utilitzat com a plataforma de backtesting, mitjançant el qual, els models poguessin posar en pràctica les seves prediccions i així determinar el seu rendiment econòmic. Després de l'anàlisi dels models, es va concloure que la LSTM aconseguia millors resultats i actuava com un predictor decent en comparació amb altres estratègies de trading senzilles. El model Prophet també tenia retorns d'inversió positius, però era menys robust com a predictor. A banda, el projecte ha demostrat la utilitat de fer ús d'una plataforma de backtesting en qualsevol tasca de predicció financera, ja que ajuda a detectar asimetries entre el rendiment d'un model durant la fase de test de l'algorisme i el posterior rendiment del model en un entorn de trading simulat.

La predicción de activos financieros es una de las principales aplicaciones del aprendizaje automático y las redes neuronales. En concreto, las redes basadas en Long Short-Term Memory (LSTM) han demostrado ser especialmente útiles en este campo y en otros problemas de series temporales. Por el contrario, se ha investigado menos sobre la idoneidad y el rendimiento del modelo Facebook Prophet, basado en el modelo aditivo y que es capaz de unir tendencias no lineales con estacionalidades configurables. Este proyecto buscaba construir y comparar dos modelos: uno basado en una red neuronal LSTM y el otro basado en el algoritmo Prophet, para así analizar cuál de los dos actuaba mejor como predictor, en concreto sobre el precio del índice bursátil S & P500. Para comparar estos modelos un módulo de simulación de trading fue implementado y utilizado como plataforma de backtesting, mediante el cual, los modelos pudieran poner en práctica sus predicciones y así determinar su rendimiento económico. Tras el análisis de los modelos, se concluyó que la LSTM lograba mejores resultados y actuaba como un predictor decente en comparación con otras estrategias de trading sencillas. El modelo Prophet también tenía retornos de inversión positivos, pero era menos robusto como predictor. Aparte, el proyecto ha demostrado la utilidad de hacer uso de una plataforma de backtesting en cualquier tarea de predicción financiera, ya que ayuda a detectar asimetrías entre el rendimiento de un modelo durante la fase de test del algoritmo y el posterior rendimiento del modelo en un entorno de trading simulado.

Finance forecasting is one of the main applications of Machine Learning in general and Artificial Neural Networks in particular. Long Short-Term Memory (LSTM) networks have been proven specially useful in this field and in other time series problems. However, less literature has been written about the suitability and performance of the Facebook Prophet model, which is based on an additive model that blends non-linear trends with configurable seasonalities. This project aimed to build and compare two predictive models, one based on a LSTM network and another one based on the Prophet algorithm, to analyse which of them performed better in forecasting tasks, particularly in predicting the price of the S&P500 index. In order to compare these two models, a trading simulator module was built as a backtesting platform where the predictions of the models could be applied to determine its economic performance. After building the two models, it was demonstrated that the LSTM model achieved better results, and was proven a decent predictor compared to other benchmark trading strategies. The Prophet model also showed positive returns of investment, but its accuracy as a predictor was not as high. The project results also suggest that a backtesting platform is a convenient feature when dealing with forecasting enterprises, since it allows to detect asymmetries between the fitness of a model during the testing phase of the algorithm and its later performance in a simulated trading environment.