Die Textkorpora, mit denen sich Data Scientists tagtäglich beschäftigen, sind gross: Das können zum Beispiel 30'000 Kundenbewertungen, 75'000 Tweets und 160'000 Kommentare sein. Wollen diese Unmengen an Text eingehender untersucht werden, brauchen die Wissenschaftlerinnen und Wissenschaftler erste Anhaltspunkte, worum es in den Texten geht, welche Themen häufiger, welche weniger häufig auftauchen, wo sich Themen überlappen oder wie lang die Texte im Durchschnitt sind. «Bislang», so berichtet Dozent Mark Cieliebak, «haben wir uns dazu einfach mal die ersten 50 Texte durchgelesen, um ein Gefühl für den Textkorpus zu kriegen.» Mit einem handlichen Werkzeug, das IT-Absolvent Linus Metzler und IT-Absolventin Nadina Siddiqui im Rahmen ihrer Bachelorarbeit programmiert haben, wird dieser erste Schritt in Richtung einer vertieften Textanalyse nun wesentlich einfacher.

«Das Werkzeug umfasst zwei Module», sagt Absolvent Linus Metzler. «Das erste Modul verschafft einen ersten Überblick über den Textkorpus. Das zweite Modul erlaubt es, verschiedene Algorithmen miteinander zu vergleichen und so für die weitere Analyse den richtigen auszuwählen.» Anhand eines konkreten Beispiels erklärt seine Kommilitonin Nadina Saddiqui das erste Modul: «Wir haben uns Hasskommentare auf Wikipedia-Diskussionsseiten angeschaut. Die Daten, die wir verwendet haben, sind zuvor bereits manuell nach Textgattung klassifiziert worden: Obszönität, Beleidigung, Bedrohung und so weiter. Das Werkzeug liefert Nutzerinnen und Nutzern nun grafisch ansprechend aufbereitete Informationen darüber, wie viele Texte zum Beispiel in die Kategorie Bedrohung fallen, welche Wörter im gesamten Korpus oder in der Kategorie Obszönität besonders häufig vorkommen oder wie lang die Texte in der Regel sind.»  

Die Frage der Textlänge – wie viele Wörter, wie viele Sätze ein einzelner Text umfasst – ist nicht so simpel, wie sie klingt. Denn was genau ein Wort und was ein Satz ist, dazu liefern verschiedene Algorithmen jeweils unterschiedliche Antworten. «Das ist so, weil grammatikalische oder orthografische Regeln im Web nicht immer eingehalten werden. Bei Wörtern machen vor allem Kombinationen mit Klammern, Bindestrichen, Schrägstrichen oder Auslassungspunkten Probleme», so Linus Metzler. Hinzu kommen moderne Erscheinungen wie Emojis oder Hashtags, die ebenfalls je nach Algorithmus unterschiedlich interpretiert werden. «Unser Werkzeug stellt die wichtigsten Unterschiede bei der Einteilung in Sätze und Wörter farblich codiert dar und erleichtert so die Wahl des richtigen Algorithmus», ergänzt Nadina Siddiqui.