End-to-End Low-Resource Speech Translation for Swiss German Dialects
Beschreibung
Dieses Projekt untersucht die Anwendung der neuesten Erkenntnisse in der Sprachübersetzung auf Schweizerdeutsch. Sprachübersetzung (ST) ist die Aufgabe, gesprochene Äusserungen in einer Sprache in einen schriftlichen Text in einer anderen Sprache zu übersetzen. Sie dient als wesentliches Instrument, Sprachbarrieren in verschiedenen Kommunikationsumgebungen zu überwinden und ein vielversprechendesMittel zur Erhaltung bedrohter Sprachen. Wir werden untersuchen, wie ST auf schweizerdeutsche Dialekte angewandt werden kann, d.h. zur Übersetzung von Sprache in Schweizerdeutsch in Text in Standarddeutsch zu übersetzen. Dies hat zahlreiche wichtige Anwendungen in der Praxis, z.B. Sprachroboter wie Siri oder Alexa, Transkription von Interviews, Erstellung von Besprechungsprotokollen, Auswertung von Call-Center-Dialogen, etc. Die Grundidee für die Transkription ins Standarddeutsche ist, dass dadurch eine einheitliche Schriftform geschaffen wird und dies uns ermöglicht, von der Fülle an NLP-Methoden zu profitieren, die es für Standarddeutsch als einer gut untersuchten Sprache mit vielen Ressourcen gibt (z. B. Part-of-Speech-Tagging, Named Entity Recognition, Sentimentanalyse, Zusammenfassung usw.). ST ist ein attraktiver Ansatz für Schweizerdeutsch, da er nicht auf eine textuelle Zwischenrepräsentation in der Ausgangssprache angewiesen ist (es gibt keine einheitliche Schriftform für Schweizerdeutsch). Allerdings erfordert er normalerweise eine große Menge an annotierte Trainingsdaten, die für die zahlreichen schweizerdeutschen Dialekte nicht verfügbar sind. Aus diesem Grund werden wir untersuchen, wie ST-Systeme für schweizerdeutsche Dialekte aufgebaut werden können, ohne dass für jeden Dialekt annotierte Daten erzeugt werden müssen. Genauer gesagt, werden wir:
- ein umfangreiches paralleles Korpus von 450 Stunden Audio in 7 wichtigen Schweizer Dialekten erstellen und den entsprechenden Übersetzungen in Standarddeutschem Text. Dieses Korpus wird in einer kontrollierten Umgebung erstellt, so dass er für wissenschaftlich fundierte Experimente zu schweizerdeutschen Dialekten genutzt werden kann.
- 3 ST-Systeme implementieren und Experimente zum optimalen Training eines ST-Systems für verschiedene Dialekte durchführen.
- untersuchen, wie man Trainingsdaten zwischen verschiedenen Dialekten des Schweizerdeutschen übertragen kann, z.B. mit Hilfe von Speech-to-Speech-Übersetzung, Vokabelerweiterung oder Stimmanpassung, um den Mangel an Trainingsdaten für die meisten schweizerdeutschen Dialekte zu mildern.
- Eine Sammlung von Empfehlungen und Best Practices für die Entwicklung von allgemeinen ST-Systemen für schweizerdeutsche Dialekte.
Die Ergebnisse dieses Projekts werden den Weg für die Entwicklung praktischer ST-Lösungen für Schweizerdeutsch auf breiter Ebene unterstützen und zur Verbreitung des Schweizerdeutschen als Teil des kulturellen Erbes der Schweiz im digitalen Zeitalter beitragen.
Eckdaten
Projektleitung
Stellv. Projektleitung
Co-Projektleitung
Prof. Dr. Manfred Vogel
Projektteam
Michel Plüss, Dr. Tanja Samardzic
Projektpartner
Fachhochschule Nordwestschweiz FHNW; Universität Zürich
Projektstatus
abgeschlossen, 11/2021 - 04/2023
Institut/Zentrum
Centre for Artificial Intelligence (CAI)
Drittmittelgeber
SNF-Projektförderung / Projekt Nr. 200729
Projektvolumen
322'260 CHF
Publikationen
-
STT4SG-350 : a speech corpus for all Swiss German dialect regions
2024 Plüss, Michel; Deriu, Jan Milan; Schraner, Yanick; Paonessa, Claudio; Hartmann, Julia; Schmidt, Larissa; Scheller, Christian; Hürlimann, Manuela; Samardžic, Tanja; Vogel, Manfred; Cieliebak, Mark
-
Dialect transfer for Swiss German speech translation
2023 Paonessa, Claudio; Schraner, Yanick; Deriu, Jan Milan; Hürlimann, Manuela; Vogel, Manfred; Cieliebak, Mark
-
Text-to-speech pipeline for Swiss German : a comparison
2023 Bollinger, Tobias; Deriu, Jan Milan; Vogel, Manfred
-
SDS-200 : a Swiss German speech to Standard German text corpus
2022 Plüss, Michel; Hürlimann, Manuela; Cuny, Marc; Stöckli, Alla; Kapotis, Nikolaos; Hartmann, Julia; Ulasik, Malgorzata Anna; Scheller, Christian; Schraner, Yanick; Jain, Amit; Deriu, Jan Milan; Cieliebak, Mark; Vogel, Manfred