Eventbasierte Kamera
Das ISC besitzt seit Juni 2024 ein Evaluationskit einer eventbasierten Kamera von Prophesee mit dem IMX636 Sensor von Sony. Damit werden Erfahrungen mit eventbasierten Kameras gesammelt und neue Anwendungsgebiete erkundet.
Was ist eine eventbasierte Kamera?
Eventbasierte Kameras sind von der Biologie inspirierte Vision Sensoren, welche ähnlich funktionieren wie unsere Augen. Sie lesen nicht zu vorbestimmten Zeitpunkten den gesamten Sensor aus, sondern es werden Intensitätsunterschiede in jedem Pixel detektiert. Wird dabei die Schwelle über- oder unterschritten, wird ein Event generiert. Dieser besteht aus der Pixelposition, der Polarität (heller/dunkler) und dem Zeitpunkt der Änderung. Da die Schwelle jedes Pixels unabhängig von anderen Pixeln und logarithmisch ist, kann ein Dynamikbereich von 120dB erreicht werden. Ausserdem werden nur Daten ausgegeben, wenn sich die Intensität ändert. Dadurch kann die Kamera Zeitauflösungen von bis zu 1µs erreichen und es wird weniger Rechenleistung für die Verarbeitung benötigt, da weniger Daten auszuwerten sind.
Anwendungen
Neben Anwendungen im autonomen Fahren kann eine eventbasierte Kamera für eine Vielzahl von Anwendungen eingesetzt werden, in der eine klassische Kamera zu langsam oder durch ihren Dynamikbereich eingeschränkt ist. Eine potenzielle Anwendung ist dabei das Beobachten von Insekten und Vögeln. In einem ersten Versuch wurde die Kamera auf den Himmel ausgerichtet. Das Video unten ist aus diesem Versuch entstanden.
Die Bilder und das Video wurden mit einer hohen Akkumulationszeit von 20s erzeugt. Das heisst, dass die Events der letzten 20s angezeigt werden. Die Trajektorien der Vögel sind als Striche erkennbar. Da auch die Bewegung der Wolken Helligkeitsunterschiede hervorruft, ist diese ebenfalls sichtbar. Blau entspricht dabei einem negativen Event (Verdunkelung), weiss einem positiven (Erhellung).
