Sensordatenfusion

Die theoretischen Ursprünge gehen auf das Ende der sechziger Jahre zurück. Allerdings wurden diese mathematischen Prinzipien erst später auf die Technik übertragen – zunächst im Bereich der Künstlichen Intelligenz (KI). In dieser Disziplin wurde oftmals die Biologie, insbesondere das menschliche Gehirn, als Vorbild zur Modellierung technischer Systeme herangezogen. Berücksichtigt man die Leistungsfähigkeit des Gehirns bei der Fusion von Daten aus den unterschiedlichen Sinnesorganen, so ist es nicht verwunderlich, dass die ersten Ansätze gerade aus der KI stammen.

Bei der Auswahl von Sensoren für eine Anwendung stehen neben den Kosten vor allem Vollständigkeit, Widerspruchsfreiheit, Genauigkeit und Sicherheit der erfassten Daten im Vordergrund. Die Nutzung mehrerer Sensoren inklusive einer geschickten Verknüpfung der Ausgabedaten macht das Erreichen dieser Ziele zumindest potentiell wahrscheinlicher als die Verwendung nur eines Sensors:

• Die Zuverlässigkeit des Gesamtsystems wird durch die Verwendung mehrerer Sensoren in der Regel erhöht. Es ist zum einen leichter, den Ausfall eines Sensors zu erkennen und zum anderen wird die Kompensation des Ausfalls möglich. Ein ausgefallener Sensor bedeutet also noch nicht zwangsweise den kompletten Ausfall des Gesamtsystems.
• Bei Verwendung mehrerer Sensoren – vor allem, wenn sie nach unterschiedlichen Messprinzipien arbeiten – erhöht sich auch die Detektionswahrscheinlichkeit. Das heißt, Phänomene werden vom Gesamtsystem auch dann erkannt, wenn einzelne Sensoren aufgrund von Umweltbedingungen in ihrer Wahrnehmung eingeschränkt oder „blind“ sind.
• Ein wichtiges Ziel bei der Verknüpfung von Daten mehrerer Sensoren ist die Erhöhung der Genauigkeit. Voraussetzung ist, dass die Messfehler der Sensoren nicht korreliert sind, gewissen Wahrscheinlichkeitsdichtefunktionen genügen müssen (z. B. Normalverteilung) oder vom System anders identifizierbar und quantisierbar sein müssen. Häufig werden hier Kalman-Filter verwendet und die erreichte finale Genauigkeit kann nach den Regeln der Fehlerfortpflanzung ermittelt werden.
• Die Sichtbereiche von Sensoren sind üblicherweise beschränkt, die Verwendung mehrerer Sensoren vergrößert den Sichtbereich des Gesamtsystems entsprechend.
• Die Auflösung von Mehrdeutigkeiten ist bei der Verwendung mehrerer Sensoren einfacher.
• Zusätzliche Sensoren liefern oft zusätzliche Informationen und erweitern so das Wissen des Gesamtsystems.
• Mehrere Sensoren, die dasselbe Phänomen im selben Sichtbereich erfassen, erhöhen effektiv die Messrate.
• Sensordatenfusion kann auch zur Kostenreduktion verwendet werden. In diesem Fall ersetzen mehrere, in Summe günstigere Sensoren einen besonders teuren Sensor.

In den letzten Jahren haben sich einige systematische Fusionsansätze herauskristallisiert, von denen an dieser Stelle die wichtigsten kurz erörtert werden sollen. Dafür sei zunächst das Fusionsproblem als Parameterschätzmodell formuliert. Von einer Quelle wird ein Parameter ${\displaystyle r}$ emittiert, der eine Realisierung der Zufallsgröße ${\displaystyle R}$ darstellt. Bei der Zielgröße ${\displaystyle r}$ kann es sich um eine Messgröße handeln, aber auch um latente Konstrukte, die keinen Anspruch auf physikalische Realität haben müssen. Im letzteren Fall kann die Größe ${\displaystyle r}$ im platonischen Sinne als eine Idealisierung der Sensordaten ${\displaystyle d_{i}}$ verstanden werden, bei der gewünschte oder bekannte Eigenschaften der Zielgröße selbst berücksichtigt werden. Mit Hilfe mehrerer Sensoren werden die Daten ${\displaystyle D:=\{d_{i},i=0,\dots ,B-1\}}$ erfasst, welche ebenfalls als Realisierungen eines Zufallsprozesses ${\displaystyle D}$ aufzufassen sind. Die Messung entspricht einer Abbildung ${\displaystyle R\mapsto D}$, die sich mathematisch mittels der bedingten Wahrscheinlichkeitsverteilung (WV) von ${\displaystyle D|R}$ beschreiben lässt. Im Folgenden sei angenommen, dass es sich bei ${\displaystyle r}$ und ${\displaystyle d}$ um kontinuierliche Größen handelt, die WV anhand einer Wahrscheinlichkeitsdichtefunktion beschrieben wird.

Neben den genannten Vorteilen existieren aber auch Probleme, die die Verwendung mehrerer Sensoren und Verknüpfung ihrer Ausgabedaten mit sich bringen können:

• Höhere Datenraten belasten die Kommunikationssysteme. Die Komplexität der Kommunikation steigt an, ebenso wie der Zeitbedarf für die Übertragung und die Verarbeitung.
• Die Komplexität des Gesamtsystems steigt an. Dies erhöht die Wahrscheinlichkeit von Fehlern bei Spezifikation und Implementierung des Systems.
• Die Integration der Sensoren (zum Beispiel in ein Fahrzeug) wird mit steigender Anzahl immer schwieriger. Dies liegt am Platzbedarf, an der begrenzten Anzahl der für die Messung günstigen Einbauorte und der notwendigen Kommunikations- und Versorgungseinrichtungen.
• Falls nicht mehrere, günstige Sensoren einen teuren Sensor ersetzen sollen, steigen die Kosten.
• Da die Messungen der einzelnen Sensoren typischerweise zu unterschiedlichen Zeitpunkten stattfindet und auch die Abtastzeit oft unterschiedlich ist, ergibt sich die Notwendigkeit der Synchronisation der Daten. Dies führt zu zusätzlichen Aufwänden in Software und Hardware (zum Beispiel Echtzeit-fähige Bussysteme).

Ansätze zur Sensordatenfusion lassen sich nach unterschiedlichen Kriterien unterscheiden:

Die Verknüpfung der Sensordaten findet meist innerhalb von Rechnern oder Steuergeräten statt. Es gibt sehr viele Algorithmen bzw. mathematische Verfahren, um Sensordaten aus verschiedenen Quellen miteinander zu fusionieren. Einige Beispiele sind:

• Klassifikationsverfahren
• stochastische Verfahren
• Kalman-Filter
• logische Verknüpfungen
• auf Regeln basierende Verfahren

Das im Lauf der Daten-Fusion entstehende, sog. Lagebild stellt dann die Basis für einen weitergehenden fundierten Entscheidungsprozess dar. Das originäre Einsatzgebiet von Multi-Sensor-Data-Fusion-Systemen liegt im Bereich militärischer Führungssysteme (C3I), jedoch halten die dort entwickelten Systemkonzepte in zunehmendem Maß auch Einzug in die unternehmensweite Controlling-Systeme.

Anstatt des Begriffes Multi-Sensor-Datenfusion findet man in der englischsprachigen Fachliteratur auch die abgekürzten Begriffe Sensor Fusion, Data Fusion und Information Fusion als Überbegriff, der explizit auch andere Datenquellen als Sensoren einbezieht. Im Gegensatz zu dem im Kontext Data Warehouse auftretenden engeren Datenfusionsbegriff, der sich mit der rein informationstechnischen Zusammenführung von zwar lückenhaften, aber doch gleich/ähnlich strukturierten Daten beschäftigt, ist der Multi-Sensor-Datenfusionsansatz in folgenden Aspekten wesentlich weitreichender:

a) Nicht kommensurable Datenquellen: Ein umfassender Lageüberblick erfordert oft die Integration von Sensoren und Datenquellen, die nicht nur hinsichtlich ihrer Datenstruktur, sondern auch hinsichtlich ihres Inhalts höchst unterschiedlich sind. Eine Reihe von Verarbeitungsschritten ist dabei notwendig, um die Daten auf ein semantisches Niveau zu heben, auf dem sie tatsächlich kombinierbar sind. So müssen beispielsweise Radardaten erst zu Flugspuren (Tracks) aufbereitet und mit Informationen zur Identifikation kombiniert werden, bevor sie tatsächlich mit statischen Quellen wie etwa einem in einer Datenbank gespeicherten Flugplan verglichen werden können.

b) Information Aging: Die Frequenz der eingehenden Daten ist in der Regel unterschiedlich, das heißt, dass ein Multi-Sensor-Datenfusionssystem in der Lage sein muss, Informationen zu verarbeiten, die unterschiedlich alt sind. Das Alter der Daten spielt dabei nicht nur eine Rolle hinsichtlich der Frage, ob und wie relevant sie für die aktuelle Situation sind. Vielmehr müssen alte Daten oft in die Gegenwart extrapoliert werden, um zu entscheiden, ob die aktuellen Beobachtungen widersprüchlich zu alten Daten sind oder ob eine Entwicklung erkennbar ist. So muss beispielsweise entschieden werden, ob es sich bei von zwei Radarstationen im Abstand von 10 bis 15 sec an unterschiedlichen Positionen entdeckten Objekten um dasselbe Flugzeug handelt, das nur zum Zeitpunkt der zweiten Beobachtung bereits an einer anderen Position ist, oder ob von zwei unterschiedlichen Flugzeugen auszugehen ist.

c) Informationsgewichtung: Je nach der Auslegung der Sensorik und dessen lokaler Position können Informationen des jeweiligen Sensors mit unterschiedlicher Gewichtung ins Lagebild eingehen. So ist z. B. davon auszugehen, dass bei entsprechender Ausstattung die Bordsensoren eines Abfangjägers ein verlässlicheres Bild von der Nahsituation liefern, als Radarsysteme aus einer weiteren Distanz. Bei der Informationsgewichtung müssen deshalb unterschiedlichste Faktoren, wie Systemausstattung, Messbereiche, Scan-Frequenzen, aktuelle Positionen etc. verteilter Sensorsysteme einbezogen werden. Auf höherem Niveau geschieht diese Gewichtung auch bei der Harmonisierung von bereits fusionierten Daten, die mit anderen Führungssystem ausgetauscht werden.

d) Informations-Interpretation: Ein nach dem Prinzip „Die Gesamtheit ist mehr als die Summe der Einzelteile“ aufgestelltes Lagebild erfordert die teilweise Interpretation von eingehenden Informationen. Einerseits muss dabei in Betracht gezogen werden, mit welcher qualitativen Güte die eingesetzte Sensorik in der Lage ist, Informationen zu liefern (manche Radarsysteme schätzen etwa die Geschwindigkeit eines Objektes, andere können diese messen; hochauflösende Laser-Entfernungsmesser werden akkuratere Informationen liefern als Radars). Andererseits muss berücksichtigt werden, in welchem Maße eine Verschiebung der Informations-Gewichtung das Lagebild verändert und welche potentielle Gefahr eine fehlerhafte Gewichtung verursachen könnte.

Inzwischen ist der Einsatz sehr breit und umfasst viele unterschiedliche Disziplinen – darunter Robotik, Mustererkennung, Medizin, zerstörungsfreie Prüfung, Geowissenschaften, Verteidigung und Finanzen. Obwohl die Literatur dazu sehr umfangreich ist, sind viele der darin angegebenen Verfahren jedoch wenig systematisch.

Ein weiteres Anwendungsgebiet sind Fahrerassistenzsysteme. Daten von Kameras werden hier zum Beispiel mit den Positionsangaben der Radarsensoren validiert, um Objekte/Hindernisse sicher erkennen zu können. In manchen Systemen erweitert man den Sichtbereich des Fernbereichs-Radars mit Radaren für den Nahbereich, um einen größeren Sichtbereich zu erhalten und zusätzliche Funktionen anbieten zu können.

Die Odometrie des europäischen Zugbeeinflussungssystems ETCS nutzt Sensordatenfusion, um die spezifischen Schwächen einzelner Sensortypen zur sicheren Wegmessung auszugleichen.

Im Bereich der Stadtentwicklung und Smart-City-Vorhaben werden auch die durch Online-Werkzeuge beteiligte Bevölkerung als Sensor begriffen, deren Informationen z. B. ergänzend zu klassischer Verkehrsüberwachung berücksichtigt werden können.[1]

• D. L. Hall, J. Llinas: An introduction to multisensor data fusion. In: Proceedings of IEEE. Band 85, 1997, OCLC 926654310, S. 6–23.
• Richard R. Brooks, Sundararaja S. Iyengar: Multi-Sensor Fusion: Fundamentals and Applications with Software. Prentice Hall PTR, 1997, ISBN 0-13-901653-8.
• Lawrence A. Klein: Sensor Data Fusion. Artech House, 1999, ISBN 0-8194-3231-8.
• Yaakov Bar-Shalom (Hrsg.): Multitarget-multisensor tracking : applications and advances. Band I, Artech House, 1989, ISBN 0-89006-377-X.

• J. Wendel: Integrierte Navigationssysteme – Sensordatenfusion, GPS und Inertiale Navigation. München 2007, ISBN 978-3-486-58160-7.
• S. Winkler: Zur Sensordatenfusion für integrierte Navigationssysteme unbemannter Kleinstflugzeuge. Shaker Verlag, Aachen 2007, ISBN 978-3-8322-6060-6.

• Kalman-Filter
• Tracking (Spurverfolgung)
• Grid of Evidence
• Bayes-Klassifikator
• Mustererkennung
• Wahrscheinlichkeitsdichte
• Signalverarbeitung

• http://www.elsevier.com/locate/inffus Information Fusion Journal
• http://www.informationsfusion.de/ Sensor- und Informationsfusion, Karlsruher Institut für Technologie (KIT)
• http://www.mrt.kit.edu/res3.php Informationsfusion, Karlsruher Institut für Technologie (KIT)
• http://www.isif.org/ International Society of Information Fusion

1. David Fonseca, Monica Sanchez-Sepulveda, Silvia Necchi, Enric Peña: Towards Smart City Governance. Case Study: Improving the Interpretation of Quantitative Traffic Measurement Data through Citizen Participation. In: Sensors. Band 21, Nr. 16, 6. August 2021, ISSN 1424-8220, S. 5321, doi:10.3390/s21165321, PMID 34450772, PMC 8400410 (freier Volltext).