Kopfbereich

End-to-End Low-Resource Speech Translation for Swiss German Dialects

Auf einen Blick

Beschreibung

Dieses Projekt untersucht die Anwendung der neuesten Erkenntnisse in der Sprachübersetzung auf Schweizerdeutsch. Sprachübersetzung (ST) ist die Aufgabe, gesprochene Äusserungen in einer Sprache in einen schriftlichen Text in einer anderen Sprache zu übersetzen. Sie dient als wesentliches Instrument, Sprachbarrieren in verschiedenen Kommunikationsumgebungen zu überwinden und ein vielversprechendes Mittel zur Erhaltung bedrohter Sprachen.

Wir werden untersuchen, wie ST auf schweizerdeutsche Dialekte angewandt werden kann, d.h. zur Übersetzung von Sprache in Schweizerdeutsch in Text in Standarddeutsch zu übersetzen. Dies hat zahlreiche wichtige Anwendungen in der Praxis, z.B. Sprachroboter wie Siri oder Alexa, Transkription von Interviews, Erstellung von Besprechungsprotokollen, Auswertung von Call-Center-Dialogen, etc. Die Grundidee für die Transkription ins Standarddeutsche ist, dass dadurch eine einheitliche Schriftform geschaffen wird und dies uns ermöglicht, von der Fülle an NLP-Methoden zu profitieren, die es für Standarddeutsch als einer gut untersuchten Sprache mit vielen Ressourcen  gibt (z. B. Part-of-Speech-Tagging, Named Entity Recognition, Sentimentanalyse, Zusammenfassung usw.).

ST ist ein attraktiver Ansatz für Schweizerdeutsch, da er nicht auf eine textuelle Zwischenrepräsentation in der Ausgangssprache angewiesen ist (es gibt keine einheitliche Schriftform für Schweizerdeutsch). Allerdings erfordert er normalerweise eine große Menge an annotierte Trainingsdaten, die für die zahlreichen schweizerdeutschen Dialekte nicht verfügbar sind. Aus diesem Grund werden wir untersuchen, wie ST-Systeme für schweizerdeutsche Dialekte aufgebaut werden können, ohne dass für jeden Dialekt annotierte Daten erzeugt werden müssen. Genauer gesagt, werden wir:

  1. ein umfangreiches paralleles Korpus von 450 Stunden Audio in 7 wichtigen Schweizer Dialekten erstellen und den entsprechenden Übersetzungen in Standarddeutschem Text. Dieses Korpus wird in einer kontrollierten Umgebung erstellt, so dass er für wissenschaftlich fundierte Experimente zu schweizerdeutschen Dialekten genutzt werden kann.
  2. 3 ST-Systeme implementieren und Experimente zum optimalen Training eines ST-Systems für verschiedene Dialekte durchführen.
  3. untersuchen, wie man Trainingsdaten zwischen verschiedenen Dialekten des Schweizerdeutschen übertragen kann, z.B. mit Hilfe von Speech-to-Speech-Übersetzung, Vokabelerweiterung oder Stimmanpassung, um den Mangel an Trainingsdaten für die meisten schweizerdeutschen Dialekte zu mildern.
  4. Eine Sammlung von Empfehlungen und Best Practices für die Entwicklung von allgemeinen ST-Systemen für schweizerdeutsche Dialekte.

Die Ergebnisse dieses Projekts werden den Weg für die Entwicklung praktischer ST-Lösungen für Schweizerdeutsch auf breiter Ebene unterstützen und zur Verbreitung des Schweizerdeutschen als Teil des kulturellen Erbes der Schweiz im digitalen Zeitalter beitragen.

Publikationen

Zurück