EU-Projekt CREXDATA: Erkenntnisse und Handlungsempfehlungen zum Einsatz KI-generierter Lageinformationen für die Lagebewertung und Maßnahmenplanung in Extremwetterlagen

EU-Projekt CREXDATA: Erkenntnisse und Handlungsempfehlungen zum Einsatz KI-generierter Lageinformationen für die Lagebewertung und Maßnahmenplanung in Extremwetterlagen Jens Pottebaum, Iris Gräßler, Marcel Ebel, Deniz Özcan, Niklas Döhner Heinz Nixdorf Institut, Universität Paderborn, Produktentstehung Kontakt: [email protected] Sylvia Pratzler-Wanczura, Enes Derin, Oliver Krüger Feuerwehr Dortmund Ivana Kruijff-Korbayová und Merlin Stampa Deutsches Rettungsrobotik-Zentrum 1. Motivation Die Zunahme von Extremwetterereignissen wie Starkregen, Stürmen und Dürreperioden stellt eine wachsende Herausforderung für den Katastrophenschutz und die kommunale Gefahrenabwehr dar. Diese Ereignisse bedrohen nicht nur Menschenleben und Eigentum, sondern auch die Infrastruktur und die Wirtschaft ganzer Regionen [1]. Trotz erheblicher Fortschritte in der Entwicklung von Frühwarnsystemen bleibt die Fähigkeit, schnell und effektiv auf solche Gefahren zu reagieren, oft unzureichend. Dies liegt unter anderem an der Komplexität und dem Umfang der zu verarbeitenden Daten sowie an der Schwierigkeit, relevante Informationen in Echtzeit zu analysieren und zu interpretieren. In der sich anbahnenden bzw. dann akuten Lage werden meteorologische Daten und Vorhersagen mit Rückmeldungen und Sensordaten aus der Erkundung zusammengeführt (untere Ebenen in Abbildung 1). Stationäre Sensorsysteme wie Wetterstationen und mobile Systeme wie Rettungsroboter und Drohnen werden eingesetzt, wo Gefahren befürchtet oder sogar vorhergesagt werden. Aber lässt sich erkennen, dass die Annahmen für gewählte Maßnahmen zutreffen? Sind Abweichungen erkennbar, und damit verbundene Wirkungen einschätzbar? Derartige Fragen können häufig nur mit großer individueller Erfahrung beantwortet werden. Dazu müssen Informationen konsolidiert, mögliche Maßnahmen identifiziert und deren Wirkung vorausschauend abgewogen werden (obere Ebenen in Abbildung 1). Das EU-Projekt CREXDATA (www.crexdata.eu) erforscht Lösungen, um in solchen Lagen Künstliche Intelligenz als Hilfsmittel auf unterschiedlichen Führungsebenen zu nutzen – und dabei sowohl Potenziale als auch Grenzen einschätzen zu können [2]. Das Ergebnis wird als Prediction-as-a-Service-System beschrieben: Es bündelt Lageinformationen und erweitert Führungsinformationssysteme um KI-basierte Analysen zur möglichen Lageentwicklung. Die schnelle und intuitive Darstellung ist eine zentrale Anforderung, Unsicherheit im Lagebild soll besser nachvollziehbar werden. Abbildung 1 Lagebild mit Daten aus Lageerkundung (untere Ebenen) und Prognosen (obere Ebenen) zur Planung von Maßnahmen der Gefahrenabwehr (auf Basis von [2]) Der Fokus liegt auf der Schnittstelle zur Anwendung: Wie einfach können KI-Technologien eingesetzt werden? Welche Hürden sind zu überspringen, damit IT‘ler in der Einsatzvorbereitung und Fachberater im Einsatz intuitiv nutzbare Daten-Workflows modellieren können? Welche Randbedingungen sind für den Einsatz einer KI-Technologie zu beachten? Abschnitt 2 ordnet die Anwendungsfälle mit möglichen Beiträgen zum Lagebild ein, bevor Abschnitt 3 ausgewählte Technologien vorstellt. Abschnitt 4 präsentiert Beobachtungen aus Tests und Ergebnisse von Befragungen in den Städten Dortmund und Innsbruck. 2. Technologien der Künstlichen Intelligenz Künstliche Intelligenz (KI) wird teilweise als Allheilmittel, aber auch als riskant in sicherheitskritischen Anwendungen erlebt. Ausschlag-gebend sind Anwendungsfall und Art der Technologie – in CREXDATA wird „die KI“ in unterschiedlichen Formen greifbar. Beispiele sind: • Im „Complex Event Forecasting“ werden z. B. logische Beschreibungen genutzt, um Abweichungen in der erwarteten Lageentwicklung zu erkennen. Diese logischen Beschreibungen als Ausdruck wissensbasierter KI müssen aus historischen Daten gefolgert oder durch Experten modelliert werden (vgl. [3]). • Simulation wird im Einsatz anwendbar, indem Ersatzmodelle genutzt werden. Ein neuronales Netz wird durch Simulationsmodelle vorab, also „in der kalten Lage“ trainiert, um dann im Einsatz in Sekunden Antworten zu liefern. Erste Algorithmen liefern dabei Prognosen z. B. für Hochwasser unter Echtzeit-Wetterbedingungen, die nahezu deckungsgleich mit der Simulation sind (siehe z. B. [4]). • Das „Interactive Learning“ wird genutzt, um Simulationen effizienter einzusetzen. Der Aufwand in der Anwendung von Simulation liegt häufig im Festlegen des passenden Parameter-Sets; dies unterstützt hier ein einsatzübergreifend lernender Algorithmus. • Unmanned Aerial Vehicles (UAVs) werden bereits für Luftbilder genutzt. Daraus werden verzerrungsfreie und georeferenzierte „Orthophotos“ und digitale Höhenmodelle berechnet [5]. Diese werden dann auf eine digitale Lagekarte gelegt und von allen Seiten inspiziert. Neural Radiance Fields (NeRFs) als Anwendung neuronaler Netze ermöglichen 3D-Darstellungen im wahrsten Sinne „on-the-fly“ – die Wartezeit auf das Modell wird extrem verkürzt [6]. • Federated Machine Learning wird zudem eingesetzt, um Bilddaten von mehreren UAVs verteilt zu verarbeiten und trotzdem in einem 3D-Modell zusammenzuführen. Die Herausforderung ist dabei, dass mehrere neuronale Netze in einem zusammengeführt werden. • Historische Daten von Notrufen unter anderem zu Verkehrsunfällen in Kombination mit den damaligen Wetterlagen werden genutzt, um die Wahrscheinlichkeit von erhöhtem Notruf-Aufkommen im Verkehr zu prognostizieren [7]. So ergibt sich aus einem mit Daten maschinell trainierten Modell ein Beitrag in der Einsatzvorbereitung. • Biometrische Daten von Einsatzkräften können helfen, im Einsatz auf Ermüdung zu schließen. Es existieren tragfähige Ansätze [8] des maschinellen Lernens aus Bereichen wie dem Sport, in denen körperliche und/oder mentale Spitzenleistungen erbracht werden und Ermüdung einsatzrelevant ist. Derartige Modelle können in Einsätzen und Übungen der Feuerwehr weiter trainiert werden. Im Folgenden wird die Generierung von NeRF als Beispiel herausgegriffen. Abbildung 2 zeigt den Prozess von Luftbildern zur 3D-Ansicht: Abbildung 2 Datenverarbeitung zur Generierung und Visualisierung eines NeRF (Quelle der Fotos: Deutsches Rettungsrobotik-Zentrum / DRZ) UAVs des Deutschen Rettungsrobotik-Zentrums1 können einsatzbereit von einem oder mehreren Orten gestartet werden, fliegen definierte Muster über der Einsatzstelle, zeichnen Bilddaten auf und senden diese samt Kameraposition und -winkel an die Datenverarbeitung im RobotikLeitwagen („RobLW“) [9]. Diese Eingangsdaten dienen der NeRFGenerierung, bei der Bilddaten mit Posen genutzt werden, um ein NeRF zu trainieren und zu rendern. Das Rendering liefert Farbwerte für jeden 1 https://rettungsrobotik.de/living-lab/die-drz-roboter-im-ueberblick Blickwinkel, sodass das Objekt bereits während des Fluges betrachtet werden kann, ohne die Wartezeit anderer Methoden wie WebODM2 oder DJI-Kartierungssoftware3. Derartige Technologien werden jedoch besonders nützlich, wenn sie je nach Einsatzfall angepasst werden. Flexibilität schaffen Modellierungs-Werkzeuge – im EU-Projekt CREXDATA wird RapidMiner Studio (vgl. [10]) um zusätzliche Funktionen erweitert und erprobt. Das Prinzip zeigt Abbildung 3: Eine Prozesskette wie die NeRF-Generierung wird aus Bausteinen zusammengesetzt. Abbildung 3 Prinzip der Modellierung von Datenverarbeitungs-Workflows am Beispiel von UAV-Daten und der Generierung von NeRFs (Beispielbilder von Altair Rapidminer) Erster Baustein ist die Datenquelle bzw. hier im Fall mehrerer UAVs eine Sammlung von Datenquellen. Für diese muss beispielsweise angegeben werden, über welchen Kommunikationskanal die UAVs Bilddaten senden. Es folgen Operatoren für die Berechnung von Posen, die NeRFGenerierung, das Federated Machine Learning und das NeRF-Rendering. Diese können einmalig konfiguriert werden, und dann von der Einsatzunterstützungssoftware im RobLW während des Einsatzes ausgeführt werden. Die Ergebnisse werden dann im Netzwerk bereitgestellt. Ausgabeknoten im Workflow können Geo-Informations-Systeme (GIS) für die Lagekarte, aber z. B. auch AR-Apps sein. Diese Modellierung fordert zwar Expertenwissen, aber keine zusätzliche Programmierung. 2 https://www.opendronemap.org/webodm/ 3 https://enterprise.dji.com/de/dji-terra 3. Einbindung in das Lagebild Die Darstellung von KI-generierten Informationen soll der jeweiligen Einsatzumgebung entsprechen. Dazu müssen die Anforderungen aus der funktionalen Gliederung des Einsatzes mit den Rollen der Führungskräfte, aber auch aus der räumlichen Gliederung mit resultierenden Distanzen zum Einsatzort berücksichtigt werden. Im EU-Projekt CREXDATA wird mit zwei grundlegend unterschiedlichen Technologien experimentiert: • Mit dem System ARGOS des spanischen Anbieters HYDS steht ein Geo-Informations-System (GIS) zur Verfügung, das bereits an verschiedenen Standorten für wetterbedingte Gefahrenlagen eingesetzt wird [11]. Es ist speziell für die Verarbeitung und Visualisierung von meteorologischen Daten ausgelegt und bietet Informationen im Layer-Prinzip an, die über einer Karte einund ausgeblendet werden und so als Lagekarte dienen. • Augmented Reality (AR) beschreibt Anwendungen, in denen digitale Objekte in die reale Sicht eingeblendet werden. Sie kommt beispielsweise in der Wartungstechnik zum Einsatz, wenn ServiceTechnikern an einer Maschine technische Informationen eingeblendet werden [12]. AR-Brillen verfügen aber auch über Kameras, so dass bildunterstützte Kommunikation mit rückwärtig verfügbaren Experten z. B. als Fachberatern möglich wird. Während ein GIS in unterschiedlich ausgestatteten Führungsstellen genutzt werden kann, ist AR vor allem mit direkter Sicht am Einsatzort relevant (Abbildung 4). Für eine Hochwasserlage wird in CREXDATA beispielsweise mit einer Kombination beider Technologien experimentiert: Die GIS-Sicht wird sowohl im RobLW auf Displays als auch im Stab z. B. auf interaktiven Smartboards genutzt. Ein Szenario für AR ergibt sich dagegen z. B. in einer Lagebesprechung auf einer Brücke mit Sicht auf einen Fluss, der Hochwasser führt und die Deiche auf beiden Seiten bereits aufgeweicht hat: In die reale Sicht können nun Szenarien eingeblendet werden, die eine Simulation für Deichbrüche auf beiden Seiten zeigen – im Gegensatz zur gleichmäßigen Verteilung des Wassers in einer Starkregenkarte. Points-of-Interests (POIs) werden markiert, die Zugänglichkeit des jeweiligen Gebiets in Form von Routen beschreiben. Abbildung 4 Anwendungsfälle für GIS und AR Eine Ansicht im GIS ergibt sich, wenn in den Abbildungen 1 und 4 die Vogelperspektive von oben auf den dargestellten Layer-Stapel gewählt wird. Es werden Kontextdaten wie Verkehrswege, Kataster oder Geländemodelle zu Grunde gelegt und um Einsatzdaten erweitert. Verschiedenartige Daten sind jeweils in eigenen Layers verfügbar. In ARGOS stehen meteorologische Daten von Satelliten, Wetterstationen und Pegeln sowie Wettervorhersagen zur Verfügung. Ergebnisse aus KI-Algorithmen wie NeRFs werden in CREXDATA als GIS-Schichten visualisiert (Abbildung 5). ARGOS dient sowohl als Datensenke als auch Datenquelle, indem es meteorologische und Leitrechner-Daten bereitstellt. Abbildung 5 Ein Geo-Informations-System (GIS, hier Screenshots aus ARGOS, angeboten von HYDS) als Datensenke und Plattform zur Visualisierung von Daten Diese ermöglichen die Visualisierung von Notruf-Standorten und Verkehrsdaten und fließen in ein Modell zur Prognose von Gefahrenschwerpunkten ein. Vielversprechend ist auch die Entwicklung von Hardware für Augmented Reality. Erste Geräte deuten auf die Möglichkeit hin, derartige Geräte direkt in Helmen zu verbauen vergleichbar zu Lösungen für die Visualisierung von Wärmebildern4. Im Projekt CREXDATA werden Standard-Brillen wie die Microsoft Hololens 2 genutzt, alternativ sind auch Geräte wie Magic Leap oder Smartphones und Tablets denkbar. Diese Technologien ermöglichen die Einblendung geo-referenzierter Daten in die reale Sicht. Beispiele zeigt Abbildung 6. Abbildung 6 Nutzen von KI-generierten Daten in AR (siehe Details in [13, 14]) In CREXDATA wurden in Absprache mit Feuerwehrkräften Karten, Routen, Points-of-Interests (POIs), Simulationsergebnisse und Daten in Diagramm-Form als grundlegende Anwendungsfälle definiert. Im Beispiel einer Lagebesprechung auf einer Brücke mit Blick auf den HochwasserPegel bedeutet das beispielweise: Stadtquartiere oder Landstriche im Sichtfeld können kategorisiert, Gebäude mit vulnerablen Gruppen hervorgehoben und Risikoindikatoren eingeblendet werden. SimulationsErgebnisse wie Wasserstände oder Waldbrandausbreitungen können mit realer Geometrie verschnitten und per Zeit-Schieber „durchgespielt“ werden, um Maßnahmen abzuwägen. Als Maßnahme kann z. B. die Wirkung einer Barriere auf die Wasserverteilung simuliert werden. Darauf bezogen Routen werden gezeigt, die Überschwemmungsgebiete meiden. 4 https://www.rosenbauer.com/blog/de/hands-free-mit-der-helmwaermebildkamera-c1/ 4. Anwendung der Technologien Im Mai und Juni 2024 testeten Experten der Städte Dortmund und Innsbruck verschiedene Technologien. Ziel des Projekts ist es, das Potenzial von Modellierung, KI-Technologien und extrem skalierbaren multimodalen Daten zur Einsatzplanung bei Notfällen zu demonstrieren, einschließlich Visualisierungen in Karten und Augmented Reality. Zwei Anwendungsszenarien wurden definiert, um die Herausforderungen der Praxispartner abzubilden. Dieses Feedback fördert benutzerfreundliche und zugängliche Lösungen. Das erste Anwendungsszenario handelt von einem überfluteten Gebäude, in dem sich gefährdete Personengruppen aufhalten: Aufgrund von starkem Regen steigt der Wasserstand in der Stadt an, sodass ein öffentlich zugängliches Gebäude überflutet wird. Als Beispiel wird ein Einkaufszentrum gewählt, in dem sich unterschiedliche gefährdete Personengruppen aufhalten. Eine vergleichbare Situation ereignete sich 2024 in Valencia, Spanien, als ca. 50 Besucher des Einkaufszentrums Bonaire in Aldaia von Hochwasser überrascht wurden und durch das Hochwasser eingeschlossen waren5. Das zweite Anwendungsszenario handelt von der Kontrolle des Wasserstands in der Stadt: Einsatzkräfte errichten absichtlich Barrieren, um Einfluss auf die Ausbreitung des Hochwassers zu nehmen, wie es beispielsweise die Stadt Innsbruck im August 2023 umsetzte, um Wohngebiete und Infrastruktur zu schützen6. Auf der anderen Seite muss gerade bei Höhenunterschieden im Stadtgebiet davon ausgegangen werden, dass privat errichtete Barrieren zu Abweichungen zwischen der eigentlich angenommenen und der tatsächlichen Wasserverteilung führen. Im EUProjekt CREXDATA wurden physische Tests und Demonstrationen mit Einsatzkräften und Entscheidungsträgern in Dortmund und Innsbruck durchgeführt (Abbildung 7). Die Grundfunktionalitäten der Augmented Reality Anwendung wie virtuelle Wasserpegel wurden vorgestellt. Die Experten wünschten sich unter anderem mehr Transparenz für die Sichtbarkeit von Gefahren unter den Visualisierungen. Die NeRFTechnologie nutzte Drohnenbilder, um schneller Ergebnisse als 5 https://www.tagesschau.de/ausland/europa/spanien-unwetter-rettungsarbeiten-100.html 6 https://www.ibkinfo.at/hochwasserschutz-sill-inn