Im OSM-Umfeld werden Daten meist erst in eine Datenbank geladen, um diese hiernach wieder zu extrahieren. Im Zuge dessen entstehen bei großen Datensätzen hierbei häufig Flaschenhälse, die eine effiziente Verarbeitung verhindern. Dieser Talk schlägt Methoden vor, um Daten sequentiell in einer Pipelinestruktur zu verarbeiten, um ressourcenschonend und schneller als bestehende Lösungen Daten zu verarbeiten, filtern und zu transformieren.
Das übliche Vorgehen, um große Geodatensätze wie OpenStreetMap Länderextrakte oder weltweite Daten zu Karten zu verarbeiten, ist es sie zunächst in PostgreSQL oder ähnliche Datenbanken zu laden und anschließend Stück für Stück wieder zu extrahieren, um daraus Bitmaps oder Vektortiles zu generieren. Aufgrund verschiedener Limitierungen ist dies jedoch ein ressourcenintensiver Prozess, der viel Zeit in Anspruch nehmen kann.
Inhalt dieses Vortrags sind alternative Ansätze hierzu: Wie verarbeitet man Daten sequentiell, gibt sie an andere Teilsysteme weiter und welche Formate und Werkzeuge kann man verwenden.
Anwendungsgebiete für pipelinebasiertes Processing sind vielfältig: Selektive Generalisierung, Internationalisierung/Lokalisierung, Normalisierung uvm. Es wird vorgestellt, wie man seine Ziele auch mit wenig Ressourcen erreichen kann, aber auch vollkommen flexibel spezielle Lösungen entwickeln kann.
