Automatització de l’extracció de dades web mitjançant Ubuntu Server en una Raspberry Pi 5

Abstract

Aquest treball de final de grau té com a objectiu implementar un sistema automatitzat d'extracció de dades web utilitzant una Raspberry Pi 5 i de programes de codi obert. L’aplicació se centra en la necessitat de recopilar dades de manera eficient i precisa amb la finalitat de monitoritzar informació en temps real. La metodologia seguida inclou el desglossament d’una sèrie de tasques compreses en un calendari. Les tasques que s’han dut a terme són la instal·lació i configuració d’un Ubuntu Server a la Raspberry Pi 5, el desenvolupament d’un script en Python per la extracció de dades, l'ús d’una base de dades PostgreSQL per a l'emmagatzematge, i la creació d'una API en C# per permetre l'accés i manipulació de les dades. Tots aquests components s’han encapsulat en contenidors Docker per facilitar el seu desplegament, manteniment i portabilitat. Els resultats obtinguts mostren que aquest sistema és capaç d'extreure dades de manera ràpida i precisa. La integració de diferents tecnologies ha permès crear un sistema complet i funcional, capaç de satisfer les necessitats plantejades al començament del projecte. En conclusió, el projecte ha assolit els seus objectius inicials, implementant un sistema automatitzat d'extracció de dades web eficient. A més, es proposen millores futures com la implementació d’un sistema de registres d’activitat i errors i d’un sistema de notificacions.

This project aims to implement an automated web data extraction system using a Raspberry Pi 5 and open-source software. The application focuses on the need to collect data efficiently and accurately to monitor information in real time. The methodology followed includes the breakdown of a series of tasks outlined in a schedule. The tasks carried out are the installation and configuration of Ubuntu Server on the Raspberry Pi 5, the development of a Python script for data extraction, the use of a PostgreSQL database for storage, and the creation of a C# API to allow access and data manipulation. All these components have been encapsulated in Docker containers to facilitate deployment, maintenance, and portability. The results obtained show that this system can extract data quickly and accurately. The integration of different technologies has allowed the creation of a complete and functional system capable of meeting the needs set out at the beginning of the project. In conclusion, the project has achieved its initial objectives by implementing an efficient automated web data extraction system. Additionally, future improvements are proposed, such as implementing a logging system for activity and errors and a notification system.