Die Überwachung verschiedener Sensorsignale von Patienten auf der Intensivstation kann entscheidend sein, um potenziell tödliche Notfälle zu erkennen. Um die Überwachung automatisch durchführen zu können, muss das Überwachungssystem jedoch wissen, was gerade mit dem Patienten geschieht: Wird der Patient beispielsweise gerade vom medizinischen Personal bewegt, würde dies einen plötzlichen Anstieg der Herzfrequenz erklären und wäre somit kein Zeichen für einen Notfall.

Um solche Annotationen zu den Daten automatisch zu erstellen, hat sich das CVPC-Team mit der Intensivstation des Universitätsspitals Zürich unter der Leitung von Prof. Emanuela Keller zusammengetan, um die ICU-Cockpit-Software mit Videoanalyse-Fähigkeiten auszustatten. Hierzu liefern Kameras im Patientenzimmer einen konstanten, datenschutzkonformen Videostream vom Patientenbett aus (d.h. keine Person kann aufgrund der Videoauflösung identifiziert werden), um die Position von Patient und medizinischem Personal automatisch erkennen und verfolgen zu können, und einfache Bewegungsmuster zu extrahieren. Anhand dieser Muster soll klassifiziert werden, ob und welcher medizinische Eingriff am Patienten gerade durchgeführt wird. Die Forschungsherausforderung in diesem Projekt besteht darin, ein solches System ohne Zugang zu vielen Labels zu realisieren, d.h. die Erkennung, Verfolgung und Klassifizierung auf hauptsächlich unbeaufsichtigte Weise zu erlernen.

Das Projekt AUTODIDACT, welches von der Digitalisierungsinitiative der Zürcher Hochschulen (DIZH) im Rahmen des Rapid Action Calls in ihrem Innovationsprogramm  finanziert wird, soll im Frühjahr 2022 starten und bis Ende des Jahres Ergebnisse liefern.

Projektleiter ist Dr. Gagan Narula vom USZ.