Der Bereich der darstellenden Künste und Bühnenkunst ist ein bedeutender Teil des Schweizer Kulturschaffens und umfasst über 20'000 jährliche Veranstaltungen an mehr als 650 Veranstaltungsorten. Kleinere Events, die über 80% des Marktes ausmachen, sind jedoch aufgrund hoher Produktions- und Vertriebskosten für Videos auf Live-Publikum beschränkt.

YourStage.live, bekannt als „Das Netflix der darstellenden Künste“, revolutioniert die lokale Eventbranche, indem es erschwingliche, professionelle Multicam-Liveproduktionen anbietet. Der Service ist dramaturgisch konzipiert, um hohen Standards zu entsprechen, und bietet abonnementbasierte Livestreams sowie Video-on-Demand-Inhalte.

Das dAlrector-Projekt zielt darauf ab, ein autonomes KI-System zu entwickeln, das die Videoproduktion revolutioniert, indem es Kameraführungen übernimmt, Drehbücher befolgt und menschliche Eingaben einbezieht. Das Projekt umfasst mehrere Schlüsselinnovationen:

• Die Echtzeit-Audio- und Video-Feature-Extraktion (AVFE) bestimmt präzise die Positionen der Darsteller und extrahiert relevante audiovisuelle Merkmale in Echtzeit,
• das selbstüberwachende Lernen von Videomerkmalen nutzt eine V-JEPA (Video Joint-Embedding Predictive Architecture), um visuelle Repräsentationen aus nicht annotierten Videodaten zu lernen,
• der View-Ranker ist ein KI-System, das verschiedene Kameraansichten basierend auf Vollständigkeit, Neuheit, Ästhetik und Interesse bewertet, und
• der Cut Predictor ist ein multimodales Zeitreihenmodell, das optimale Momente für Schnittentscheidungen bestimmt.

Der dAlrector integriert diese Komponenten in eine kompakte Hardwarelösung, die mit mehreren fernsteuerbaren Audio- und Videoquellen (z. B. Kameras, Mikrofone) verbunden ist. Dieses System ermöglicht es einem einzelnen Remote-Bedienenden, mehrere Shows gleichzeitig zu verwalten und die Produktionskosten für Group Galore erheblich zu senken.

Es wird dem Implementierungspartner ermöglichen, mehr als 400 Veranstaltungen zu über 100'000 Abonnent:innen zu streamen.