Application of LLM-augmented knowledge graphs for wirearchy management

Abstract

Today’s organization structures are porous, where formal hierarchies are intertwined with dynamic networks of interactions. This situation was coined as “Wirearchy”. These structures are often volatile making very difficult to have a reliable picture of the actual organization. This unclarity can make some decision process difficult when not risky. Even worse pieces of the full picture sit with a few individuals eventually jeopardizing this corporate knowledge. Because the Wirearchy is not available in a shared system, gathering this information is time consuming and error prone. To alleviate this problem, we propose leveraging two main technologies: Knowledge Graphs (KG) and Large Language Models (LLM). Graphs are ideal to model and persist these domains due to the interconnected nature of the organizational structures. But then we still need to deal with two challenges. How to keep this graph up-to-date and reliable? How can it be easily exploited by non-IT population? To solve them, recent research indicates that state of the art LLMs can be of use via LLM-augmented KG and natural language question and answer techniques. We propose to validate these statements by performing a proof of concept using graph engines and state of the art LLMs and determining its feasibility and performance against a public dataset from Generalitat de Catalunya.

Les estructures organitzatives d'avui són poroses, on les jerarquies formals s'entrellaçen amb xarxes dinàmiques d'interaccions. Aquesta situació es va anomenar "Wirearchy". Aquestes estructures sovint són volàtils, cosa que fa molt difícil tenir una imatge fiable de l'organització. Aquesta manca de claredat pot fer que alguns processos de decisió siguin difícils o fins i tot arriscats. Pitjor encara, parts de la imatge completa son en mans d'uns pocs individus, posant en perill aquest coneixement corporatiu. Com que la Wirearchy no està disponible en un sistema compartit, recopilar aquesta informació és una tasca feixuga i propensa a errors. Per alleujar aquest problema, proposem aprofitar dues tecnologies: Grafs de Coneixement (KG) i Models de Llenguatge Extensos o Large Language Models (LLM). Els grafs són ideals per modelar i persistir aquests dominis a causa de la naturalesa interconnectada de les estructures organitzatives. Però llavors encara hem de considerar dos reptes. Com mantenir aquest graf actualitzat i fiable? Com pot ser explotat fàcilment per usuaris no informàtics? Per resoldre'ls, la investigació recent indica que els LLM d'última generació poden ser útils mitjançant tècniques de KG augmentat amb LLM i sistemes de preguntes i respostes en llenguatge natural. Proposem validar aquestes afirmacions realitzant una prova de concepte utilitzant motors de grafs i LLM d'última generació i determinant la seva viabilitat i rendiment enfront d'un conjunt de dades public de la Generalitat de Catalunya.

Las estructuras organizativas de hoy son porosas, donde las jerarquías formales se entrelazan con redes dinámicas de interacciones. Esta situación se ha denominado "Wirearchy". Estas estructuras suelen ser volátiles, lo que dificulta tener una imagen fiable de la organización. Esta falta de claridad puede hacer que algunos procesos de decisión sean difíciles y, en el peor de los casos, arriesgados. Aún peor, partes de la imagen completa estan en manos de unos pocos individuos, poniendo en peligro este conocimiento corporativo. Dado que la Wirearchy no está disponible en un sistema compartido, recopilar esta información es una tarea costosa y propensa a errores. Para aliviar este problema, proponemos aprovechar dos tecnologías principales: Grafos de Conocimiento (KG) y Modelos de Lenguaje Extensos o Large Language Models (LLM). Los grafos son ideales para modelar y persistir estos dominios debido a la naturaleza interconectada de las estructuras organizativas. Sin embargo, aún debemos considerar dos desafíos. ¿Cómo mantener este gráfico actualizado y fiable? ¿Cómo puede ser explotado fácilmente por la población no informática? Para resolverlos, la investigación reciente indica que los LLM de última generación pueden ser útiles mediante técnicas de KG aumentado con LLM y sistemas de preguntas y respuestas usando lenguaje natural. Proponemos validar estas afirmaciones realizando una prueba de concepto utilizando motores de grafos y LLM de última generación y determinando su viabilidad y rendimiento frente a un conjunto de datos público de la Generalitat de Catalunya.