Mehr Power für die Smart City durch leistungsfähige Open Source Tools

Seit 2018 wächst das weltweite Datenvolumen laut dem Institut der deutschen Wirtschaft jährlich um etwa 27 %. Im Jahr 2025 wird es bei 157 Zettabyte (10²¹ Bytes) liegen. Dieser rasante Anstieg hängt vor allem mit der immer stärkeren Verbreitung des Internet of Things (IoT) und den damit verbundenen smarten Infrastrukturen zusammen.

Das Problem: Die Daten sind meist nur innerhalb eines sehr begrenzten Rahmens nutzbar und verbleiben damit im allseits bekannten Silo. Eine smarte Datennutzung wird aber erst dann möglich, wenn Daten aus verschiedensten Quellen intelligent aggregiert werden. In der Praxis erweist sich das häufig als schwierig. Das hat vor allem damit zu tun, dass Daten von zahlreichen und dabei sehr unterschiedlichen Akteuren wie Unternehmen, öffentlichen Institutionen oder Einzelpersonen generiert werden und dass dabei wiederum diverse Sensorschnittstellen und Protokolle zum Einsatz kommen. Das macht einen effizienten Austausch der Daten sehr kompliziert bis unmöglich.

Das Innovationspotenzial von Open Source nutzen

Inzwischen existieren jedoch fortschrittliche Architekturlösungen, mit deren Hilfe die smarte Vernetzung von komplexen Strukturen Wirklichkeit werden kann. Im Mittelpunkt steht dabei der Open-Source-Ansatz, dessen Vorteile sich inzwischen flächendeckend in der IT etabliert haben. Zahlreiche Daten- und IoT-Projekte haben gezeigt, dass innovative Softwarelösungen auf Open-Source-Basis alle entscheidenden Features mit sich bringen: Flexibilität und Skalierbarkeit, überschaubare Kosten, offene Standards und damit Unabhängigkeit von bestimmten Herstellern.

Multidimensionale Anforderungen an Plattformarchitektur

Besonders die Flexibilität ist unabdingbar – gerade im Hinblick auf die Komplexität und die in den meisten Anwendungen sehr dynamische Entwicklung von Daten. Eine IoT-Plattform muss in der Lage sein, trotz unterschiedlichster Anforderungen und technologischer Herausforderungen stabil und sicher zu laufen. Genau hier liegen die besonderen Stärken von Open Source.

Um die vielfältigen Daten aus ihren Silos zu holen und die erforderliche Skalierbarkeit und Anpassungsfähigkeit zu gewährleisten, ist für den Aufbau einer Plattform eine Softwarearchitektur nötig, die aus unterschiedlichen Open-Source-Komponenten besteht. Im Wesentlichen muss diese für den reibungslosen Betrieb einer IoT-Plattform fünf Kernaufgaben erfüllen:

• Skalierbare Verteilung und Bereitstellung von Daten für Echtzeit- und Batchanwendungen;
• Integration, Kombination und Auswertung verschiedener Datenströme;
• Implementierung mandantenfähiger Application Programming Interfaces (API) für Datennehmer und -geber;
• Near-Realtime Reporting und Device Management;
• Analytisches Reporting und Berichtswesen.

Skalierbare Datensammlung und -distribution per „kafka“

Damit Informationen aus den unterschiedlichen Quellen in Echtzeit verarbeitet werden können, ist ein zentraler Datenhaltungspunkt mit enormem Durchsatz erforderlich. Apache kafka hat sich hierbei als sogenanntes Distributed Commit Log etabliert. Die Lösung ist bereits in 60 % aller „Fortune 500“-Unternehmen im Einsatz und zeichnet sich unter anderem dadurch aus, dass sie ohne Probleme enorme Datenströme mit über 500 000 Nachrichten pro Sekunde bewältigt.

Was die Kafka-Architektur darüber hinaus für eine Open-Source-Plattform so wertvoll macht, ist ihre hohe Ausfallsicherheit und Skalierbarkeit, was sich beispielsweise in automatischer Partitionsreplizierung und dem einfachen Hinzufügen von Brokern zeigt.

Integration, Kombination und Auswertung von Daten

Das bloße Vorliegen von Daten reicht nicht aus, um einen Nutzen aus ihnen zu ziehen. Entsprechend ist für die Plattform auch eine Komponente zur Datenintegration und darauffolgenden Analysen erforderlich. Als Ergänzung zu kafka hat sich hier die Low-Code-Datenintegrationsplattform „Pentaho Data Integration“ (PDI) bewährt, die für Extrahier-, Transformier- und Ladeprozesse (ETL) zuständig ist.

Der große Vorteil: Durch die grafische Drag-and-Drop-Oberfläche sind keine Programmierkenntnisse erforderlich, um mit der Lösung professionelle ETL-Strecken zu erstellen. Darüber hinaus ist PDI dank Open-Source-Architektur „embedded“ in jede bestehende Infrastruktur integrierbar und je nach Anforderung erweiterbar.

Mandantenfähige API für Datennehmer und -geber

Eine sichere, offene Daten-API zählt zu den wichtigsten Anforderungen einer IoT-Plattform. Sie garantiert, dass jede Art von User, aber auch Geräte wie zum Beispiel Sensoren mit der Plattform interagieren können. Die Lösung, die sich für dieses Aufgabenfeld bewährt hat, heißt „Kong“. Es handelt sich dabei um das meistgenutzte Open Source API Gateway der Welt.

Kong ermöglicht zentrales Management sowie Mandantentrennung und bietet eine beliebige Anzahl an APIs für Service-Endpunkte, die unabhängig von den Kapazitäten der Backend-Services zur Verfügung stehen. Darüber hinaus punktet das Gateway auch mit einem hohen Sicherheitsstandard. So erkennt die Plattform per Algorithmus verdächtige Zugriffe frühzeitig und reagiert darauf mit verschiedenen teil- oder vollautomatisierten Maßnahmen.

Near-Realtime Reporting und Device Management

Zu den Grundvoraussetzungen des Praxisbetriebs von smarten Plattformen gehört es, die Funktionalität der Sensoren und Geräte sicherzustellen, die für die Erfassung von Daten genutzt werden. Dazu benötigt man eine digitale Nachbildung des Anwendungsbereichs, die einen Überblick über den Einsatz und Zustand der Devices gewährleistet.

Eine bewährte offene Lösung ist „ThingsBoard“. Die Plattform visualisiert Daten und ermöglicht Fachanwenderinnen und -anwendern die einfache Entwicklung von Dashboards. Mithilfe von Regelketten löst ThingsBoard bei Problemen in Echtzeit Alarm aus und leitet Informationen an externe Stellen weiter. Auch hier sind dank Low-Code für die Anwenderinnen und Anwender häufig keine tiefgehenden Programmierkenntnisse erforderlich.

Analytisches Reporting

Sozusagen der letzte Schritt der Datenverarbeitung besteht in deren Aufbereitung, Analyse und Visualisierung. Das offene Tool „Pentaho Business Analytics“ bietet sowohl operative als auch analytische Auswertungen und liefert „Online Analytical Processing“ (Olap)-Berichte sowie druckbare Standardberichte. Das Tool zeichnet sich durch hohe Nutzendenfreundlichkeit aus und ermöglicht unter anderem Self-Service Reporting, die Definition individueller Kennzahlen sowie „Multidimensional Expressions“ (MDX)-basierte Abfragen.

Best Practice Smart City

Eine besonders komplexe Herausforderung stellt die effiziente Datennutzung im Zusammenhang mit Smart-City-Projekten dar. Dabei kann es um die Daten einzelner Verkehrseinrichtungen wie Bahnhöfe gehen oder um die Vernetzung von Ampelanlagen für den Verkehrsfluss, was aufgrund der Fülle an Informationen und ihrer gegenseitigen Abhängigkeit bereits sehr anspruchsvoll ist.

Ein noch ambitionierteres Ziel besteht darin, eine ganze Stadt zu erfassen und so beispielsweise verschiedenste Verkehrsströme (Auto, Rad oder ÖPNV) effektiv und in Echtzeit steuern zu können. Nicht nur, dass es sich um gewaltige Datenmengen handelt – zu Straßenverkehr, Wetter- und Umweltverhältnissen sowie aus der Verwaltung –, für jede Datenart gibt es zumeist mehrere Datenquellen. Im Verkehr zum Beispiel kommen die Informationen von Parkhäusern, öffentlichen Verkehrsmitteln oder Car- und Bikesharing-Diensten sowie von Sensoren unter der Fahrbahn, die den Straßenverkehr erfassen.

Best-of-Breed-Ansatz

Doch damit nicht genug: Fast alle diese Daten ändern sich ständig. Die Lösung besteht darin, bewährte Technologien per Best-of-Breed-Ansatz zu einer IoT-Plattform zu kombinieren. Bei der smarten Stadt handelt es sich jedoch nur um einen von zahllosen smarten Use Cases. Die vorgestellte Architektur ist sozusagen eine Blaupause für sämtliche Bereiche, in denen smarte Datenintegration im IoT-Kontext von Bedeutung ist, vom smarten Gebäude bis zur smarten Produktion.

Möglich wird dies durch einen konsequenten Open-Source-Ansatz für jede einzelne Komponente der Architektur. Daraus ergibt sich eine quasi grenzenlose Anpassungsfähigkeit im Hinblick auf jede denkbare Art von IoT-Projekt.