Event Streaming Open Network

Abstract

After the global crisis caused by COVID-19, companies have begun to recognize the important role real-time analytics play when going through intense and disruptive crises. These analytics enable a broad range of use cases that significantly enhance decision making when relevant business events happen. Most of the integrations executed today across organizational boundaries are not in real time and they currently require employing mostly proprietary formats and protocols. On the other hand, some industries have adopted data formats for exchanging information between organizations, such as Electronic Data Interchange (EDI). However, those integrations are limited to specific use cases and represent a small fraction of all needed organizational integrations. This work describes the overall architectural proposal for an Event Streaming Open Network, which includes the different actors in play, the software components required, as well as the network protocols that should be specified. When needing to integrate real-time information across organizations, developers would have a common basis for finding, publishing, and subscribing to event streams. Also, given a set of standard formats to encode and transmit events, developers could use the programming language of their choice. Overall, this set of standards would drastically reduce the cost of real-time integration, which would also enable experimentation by users. This experimentation can create an innovation space for new uses of Event Streaming.

Después de la crisis global provocada por el COVID-19, las empresas han comenzado a reconocer el importante papel que juega el análisis en tiempo real cuando se atraviesan crisis intensas y disruptivas. Estos análisis permiten una amplia gama de casos de uso que mejoran significativamente la toma de decisiones cuando ocurren eventos disruptivos relevantes. La mayoría de las integraciones ejecutadas hoy en entre organizaciones no se realizan en tiempo real y actualmente requieren el empleo de formatos y protocolos en su mayoría propietarios. Por otro lado, algunas industrias han adoptado formatos de datos para intercambiar información entre organizaciones, como Electronic Data Interchange (EDI). Sin embargo, esas integraciones se limitan a casos de uso específicos y representan una pequeña fracción de todas las integraciones necesarias entre organizaciones. Este trabajo describe una propuesta arquitectónica general para una Red Abierta de Event Streaming; que incluye los diferentes actores en juego, los componentes de software requeridos, así como también los protocolos de red que deben especificarse. Cuando se necesite integrar información en tiempo real entre organizaciones, los desarrolladores tendrían una base común para buscar, publicar y suscribirse a flujos de eventos. Además, dado un conjunto de formatos estándar para codificar y transmitir eventos, los desarrolladores podrían usar el lenguaje de programación de su elección. En general, este conjunto de estándares reduciría drásticamente el costo de la integración de eventos en tiempo real, lo que también permitiría la experimentación por parte de los usuarios. Esta experimentación puede crear un espacio de innovación para nuevos usos del Event Streaming.

Després de la crisi global provocada pel COVID-19, les empreses han començat a reconèixer l'important paper que juga l'anàlisi en temps real quan es travessen crisis intenses i disruptives. Aquestes anàlisis permeten una àmplia gamma de casos d'ús que milloren significativament la presa de decisions quan ocorren esdeveniments disruptius rellevants. La majoria de les integracions executades avui en entre organitzacions no es realitzen en temps real i actualment requereixen l'ús de formats i protocols en la seva majoria propietaris. D'altra banda, algunes indústries han adoptat formats de dades per a intercanviar informació entre organitzacions, com Electronic Data Interchange (EDI). No obstant això, aquestes integracions es limiten a casos d'ús específics i representen una petita fracció de totes les integracions necessàries entre organitzacions. Aquest treball descriu una proposta arquitectònica general per a una Xarxa Oberta de Event Streaming; que inclou els diferents actors en joc, els components de programari requerit, així com també els protocols de xarxa que han d'especificar-se. Quan es necessiti integrar informació en temps real entre organitzacions, els desenvolupadors tindrien una base comuna per a buscar, publicar i subscriure's a fluxos d'esdeveniments. A més, donat un conjunt de formats estàndard per a codificar i transmetre esdeveniments, els desenvolupadors podrien usar el llenguatge de programació de la seva elecció. En general, aquest conjunt d'estàndards reduiria dràsticament el cost de la integració d'esdeveniments en temps real, la qual cosa també permetria l'experimentació per part dels usuaris. Aquesta experimentació pot crear un espai d'innovació per a nous usos del Event Streaming.