Anhand Open-Source-Software Apache StreamPipes wird die praktische Anwendung von Geo-Operatoren beim Stream-Processing vorgestellt. Zudem werden die allgemeinen Grundlagen und die Herausforderungen von Stream-Processing erklärt und mit den klassischen Prinzipien des Batch-Processing verglichen. Auf Themen wie Interoperabilität durch Umsetzung von Standards als auch Ontologie im Geo-Bereich wird ebenfalls eingegangen.
Heute existieren eine Vielzahl von Datenquellen, die große Datenmengen in Quasi-Echtzeit erzeugen. Daraus resultieren kontinuierliche Datenströme und die Verarbeitung und Analyse werden als Stream-Processing bezeichnet. Das zugrunde liegende Konzept stellt einen neuen Ansatz zum klassischen Batch-Processing dar. Daten werden nicht erst zwischengespeichert, sondern direkt nach ihrer Entstehung oder ihrem Empfang in nahezu Echtzeit kontinuierlich verarbeitet und analysiert. Stream-Processing kommen beispielsweise im Big-Data-Umfeld oder im Bereich Internet der Dinge (IoT) zum Einsatz. Die Verarbeitung und Analyse von (Geo-) Datenströmen in diesem Kontext existieren im Open Source Bereich nur bedingt oder verlangt ein tiefes Grundwissen und eine breite Systemarchitektur.
Eine einfache Lösung und Umsetzung bietet das Apache StreamPipes Projekt. StreamPipes ist eine Self-Service (industrielle) IoT-Toolbox, die es auch technisch nicht versierten Benutzern ermöglicht, (Geo-) Datenströme zu verbinden, zu analysieren und in Dashboards zu visualisieren.
Dieses kann z. B. im Bereich des autonomen Fahrens, Verkehrsüberwachung oder auch Monitoring von Wetter-Sensoren erfolgen. Die (Geo-) Datenströme können dabei nicht nur durch Adapter importiert, sondern auch durch verschiedene Senken anderer Open Source Technologien zur Verfügung gestellt werden. Daher spielt das Thema Interoperabilität eine zentrale Rolle, welche durch verschiedene OGS Standards gewährleistet wird.
In diesem Talk werden auf die allgemeinen Grundlagen und Terminologien des Stream-Processings eingegangen und am Beispiel von StreamPipes erklärt. Auch werden die Herausforderungen im Vergleich zu Batch Processing dargelegt und Lösungen präsentiert. Anhand von Beispielen aus dem Geo-Bereich werden verschiedene Geo-Operatoren exemplarisch im Stream-Processing vorgestellt.