3D Time-of-Flight in Sensor Fusion
Beschreibung
3D-Time-of-Flight-Kameras messen in jedem Pixel die Distanz zum Objekt und liefern eine drei-dimensionale Punktwolke mit der Tiefeninformation der Szene. Dazu wird die Szene mit moduliertem Licht beleuchtet, im Pixel die Phasenlage des reflektierten Lichts gemessen und aus der resultierenden Laufzeit des Lichts die jeweilige Distanz bestimmt. Diese 3D-Sensoren mit guter räumlicher Auflösung liefern für viele Anwendungsgebiete präzise und zuverlässige Informationen, wie beispielsweise bei Objekterkennung oder Identifikation, haben aber unter gewissen Umgebungsbedingungen auch Limitierungen, wie beispielsweise bei schnellen Bewegungen, halbdurchlässigen Objekten oder starkem Umgebungslicht. Weitere kritische Punkte der 3D-ToF-Technologie sind hoher Energieverbrauch bei hohen Distanzen, begrenzte Reichweite, eher tiefe Bildrate und typischerweise grosse Bauform.
Inhalt und Ziel des Forschungsprojekts
Hauptinhalt dieser Arbeit ist, 3D-ToF-Technologie mit leistungsfähigen komplementären Sensor-Technologien zu kombinieren und damit innovative Sensoren zu schaffen, welche einerseits die Eigenschaften bisheriger 3D-ToF-Sensoren übertreffen und andererseits neue Anwendungen der 3D-ToF-Technologie ermöglichen. Für diese Sensor-Fusion werden moderne, hochintegrierte komplementäre Sensor-Technologien eingesetzt wie beispielsweise Miniaturkameras, thermische Kameras, Hyperspektral-Kameras, LiDAR, Single-Chip-Radar oder Ultraschall-Sensoren. Hauptziel dieser Forschung sind neuartige Sensor-Konzepte mit bisher unerreichten Leistungsmerkmalen in Bezug auf minimale Grösse, tiefen Energieverbrauch, hohe Geschwindigkeit und gute Skalierbarkeit.
Wissenschaftlicher und gesellschaftlicher Kontext des Forschungsprojekts
Die Verfügbarkeit einer skalierbaren 3D-Sensing-Technologie mit einer hohen Anzahl von miniaturisierten mobilen Sensoren ist essenziell für die Forschung im Bereich Robotik und Drohnen und ermöglicht neue Technologien und Anwendungen in der Automatisierung.
Eckdaten
Projektleitung
Projektteam
Jonas Gutknecht, Matthias Andreas Ludwig, Moritz Oppliger, Samuel Niklaus Schüller
Projektstatus
abgeschlossen, 11/2021 - 10/2024
Institut/Zentrum
Institute for Signal Processing and Wireless Communications (ISC)
Drittmittelgeber
SNF Practice-to-Science / Projekt Nr. 198986
Projektvolumen
587'639 CHF
Publikationen
-
Resolution upscaling of 3D time-of-flight sensor by fusion with RGB camera
2024 Waelti, Yannick; Ludwig, Matthias; Rosset, Josquin; Loeliger, Teddy
-
Improved multi-path interference separation for indirect 3D time-of-flight using particle swarm optimization
2023 Ludwig, Matthias Andreas; Gutknecht, Jonas; Loeliger, Teddy
-
Sensor fusion of 3D time-of-flight and thermal infrared camera for presence detection of living beings
2022 Oppliger, Moritz; Gutknecht, Jonas; Gubler, Roman; Ludwig, Matthias; Loeliger, Teddy