Lokalisierung mit Stereo-Kamera und IMU
Lokalisierung mit Stereo-Kamera und IMU
Im Rahmen einer Masterarbeit wurde am ISC ein Algorithmus zur Visual-Inertial-Odometry entwickelt und erprobt. Damit wurde eine Voraussetzung geschaffen, um VIO Lösungen auf verschiedenen Hardware-Plattformen zu realisieren.
Visual-Inertial-Odometry (VIO) ist eine Technik zur Bestimmung der Position und Orientierung bzw. der Pose eines starren Körpers. Als Sensorsignale dienen lediglich Kamerabilder und Inertialsignale, d.h. Drehrate und Beschleunigung. Diese Signale können von dem zu lokalisierenden Objekt autonom erfasst werden, als Infrastruktur reicht die sichtbare Umgebung. Im Gegensatz dazu benötigen klassische Lokalisierungssysteme zusätzliche Infrastruktur, welche mit Kosten und Aufwand und reduzierter Flexibilität verbunden ist. Beispielsweise muss bei GNSS die direkte Sicht zu einer genügenden Anzahl von Satelliten gegeben sein. Die Methode der Visual-Inertialen-Odometrie überwindet diese Nachteile und gilt deshalb für viele Anwendungen als das ideale Lokalisierungsprinzip. Erste kommerzielle Produkte wie Virtual-Reality-Systeme und Smartphones oder die Tracking Kamera T265 von Intel setzten diese Technologie bereits erfolgreich ein. Ermöglicht wird diese Anwendung durch die rasante Entwicklung der Rechenleistung und Algorithmik während der letzten Jahrzehnte.
Funktionsprinzip Visual Inertial Odometry
Unsere Augen und der Gleichgewichtssinn erlauben die Bestimmung unseres Aufenthaltsortes und unserer Orientierung. Dieses biologische Prinzip diente der visuellen Odometrie als Inspiration. In der technischen Umsetzung wird der Sehsinn durch Kameras realisiert und der Gleichgewichtssinn durch eine sogenannte Inertial Measurement Unit (IMU). Während der Bewegung wird eine 3D-Karte markanter visueller Landmarken erzeugt. Dieser Vorgang wird als Kartierung bezeichnet. Die Lage dieser Landmarken in einem neuen Kamerabild lässt auf die Position und Orientierung der Kamera schliessen, siehe Bild unten. Die jeweils aufeinanderfolgende Bestimmung der Position und der Karte wird auch als simultaneous localization and mapping (SLAM) bezeichnet. Der Einsatz einer IMU erlaubt eine ungefähre Vorhersage der Landmarken im neuen Kamerabild, was deren Suche beschleunigt.
Ergebnisse der Arbeit
Der implementierte VIO-Algorithmus wurde am bekannten EuRoC-Datensatz des Autonomous Systems Lab der ETH getestet. Dabei wurde für eine 1 min dauernde und 55 m lange Trajektorie ein RMS-Fehler von 0.25 m bzw. eine Drift von 1% des zurückgelegten Wegs erreicht. Die Orientierung wurde bei einer gesamten Rotation von 381° mit einem RMS-Fehler von 2° und einer Drift von 1.3% geschätzt. Je nach Konfiguration sollte der VIO-Algorithmus real-time-fähig auf dem Prozessor eines Smartphones oder sogar eines Raspberry Pi sein.
Die Masterarbeit unseres MSE-Absolventen Philipp Schmid wurde mit dem GMFH Preis 2019 für den überzeugendsten und anspruchsvollen Einsatz von Mathematik in einer praktischen Anwendung ausgezeichnet.
Auf einen Blick
Beteiligte Institute und Zentren
Institute of Signal Processing and Wireless Communications (ISC)
Projektstatus: beendet
Auszeichnung: GMFH Preis 2019