ArQVIA: Prototipo WebApp de VSLAM para reconstrucciones virtuales 3D en espacios arqueológicos. Explorando la arqueología con técnicas avanzadas multimedia, CBIR, deconstrucción fotogramétrica e inteligencia artificial

Abstract

El logro de este trabajo es el desarrollo de un prototipo de mobile web app que implementa una metodología novedosa para la visualización interactiva de reconstrucciones virtuales 3D localizadas en espacios arqueológicos con inteligencia artificial. La arqueología virtual permite la visualización de contenidos que ayudan al visitante a comprender el yacimiento a través de la reconstrucción tridimensional del enclave original. Uno de los problemas principales para la interacción en la visualización es el denominado VSLAM (visual simultaneous localization and mapping). El problema fundamental reside en obtener una coincidencia precisa o "matching" entre nuestra posición real y la réplica virtual a escala. Las distintas técnicas existentes: reconocimiento de marcadores; análisis, extracción y comparativa de características de la imagen de entrada contra fotogramas clave o nube de puntos, presentan problemas de portabilidad, instalación software, altos costes computacionales (sistemas embebidos, GPUs) o compilación de librerías para la realización de cálculos. El método propuesto permite el reconocimiento desde una posición libre realizando consulta de imágenes mediante ejemplos (CBIR) Contet-Based Image Retrieval, recuperación de imágenes basada en contenido, que se ejecuta en un servidor sobre su VRAM, de manera que el dispositivo solamente realiza el envío de una imagen y gestiona la respuesta de la web usando el giroscopio con un método intuitivo y natural. A través de la extracción de características, se compara una toma realizad in situ RGB con las características aprendidas de los renders realizados sobre un modelo sintético preciso del emplazamiento. Una vez encontrada la coincidencia y realizadas unas operaciones con el resultado el servidor devolverá una panorámica 360x360 con la reconstrucción de la cámara más próxima almacenada en un repositorio y adaptando la vista al grado de rotación. ArQVIA ejecuta la consulta en modo request-response contra el backend (Python, JavaScript), devolviendo al visitante la visualización tridimensional manejable por el giroscopio como "magic window". Una mobile app accesible desde cualquier punto del yacimiento documentado virtualmente, ejecutable desde un dispositivo móvil monocular sin prestaciones especiales.

The achievement of this work is the development of a prototype mobile web app that implements a novel methodology for the interactive visualization of 3D virtual reconstructions located in archaeological spaces using artificial intelligence. Virtual archaeology enables the visualization of content that helps visitors understand the archaeological site through the three-dimensional reconstruction of the original location. One of the main challenges for interaction in visualization is the so-called VSLAM (visual simultaneous localization and mapping). The fundamental problem lies in achieving an accurate matching between our real position and the virtual replica to scale. The different existing techniques, such as marker recognition, analysis, extraction, and comparison of features from the input image against keyframes or point clouds, present issues of portability, high computational costs (embedded systems, GPUs), or library compilation for calculations. The proposed method allows recognition from a free position by querying images using examples (CBIR) executed on a server's VRAM, so that the device only sends an image and manages the web response using the gyroscope. Through feature extraction, an on-site RGB input is compared with the learned characteristics of renders created from a precise synthetic model of the location. Once a match is found, the server returns a 360x360 panoramic view with the reconstruction of the closest stored camera in a repository, adapting the view to the degree of rotation. ArQVIA performs the query in a request-response mode against the backend (Python, JavaScript), providing the visitor with a three-dimensional visualization that can be controlled using the gyroscope as a "magic window." It is a mobile app accessible from any point of the virtually documented archaeological site, executable on a monocular mobile device without special features.

El logro d'aquest treball és el desenvolupament d'un prototip de mobile webapp que implementa una metodologia innovadora per a la visualització interactiva de reconstruccions virtuals 3D localitzades en espais arqueològics amb intel·ligència artificial. L'arqueologia virtual permet la visualització de continguts que ajuden al visitant a comprendre el jaciment mitjançant la reconstrucció tridimensional de l'enclavament original. Un dels problemes principals per a la interacció en la visualització és el denominat VSLAM (visual simultaneous localitation and mapping). El problema fonamental resideix en obtenir una coincidència precisa o "matching" entre la nostra posició real i la rèplica virtual a escala. Les diferents tècniques existents: reconeixement de marcadors; anàlisi, extracció i comparativa de característiques de la imatge d'entrada contra fotogrames clau o núvol de punts presenten problemes de portabilitat, alts costos computacionals (sistemes emportats, GPUs) o compilació de llibreries per a la realització de càlculs. El mètode proposat permet el reconeixement des d'una posició lliure realitzant consulta d'imatges mitjançant exemples (CBIR) que s'executa en un servidor sobre la seva VRAM de manera que el dispositiu només realitza l'enviament d'una imatge i gestiona la resposta de la web usant el giroscopi. Mitjançant l'extracció de característiques, es compara una entrada in situ RGB amb les característiques apreses dels renders realitzats sobre un model sintètic precís de l'emplaçament. Un cop trobada la coincidència, el servidor retorna una panoràmica 360x360 amb la reconstrucció de la càmera més propera emmagatzemada en un repositori i adaptant la vista al grau de rotació. ArQVIA executa la consulta en mode request-response contra el backend (Python, javascript), retornant al visitant la visualització tridimensional manejable pel giroscopi com a "magic window". Una mobile app accessible des de qualsevol punt del jaciment documentat virtualment, executable des d'un dispositiu mòbil monocular sense prestacions especials.