Eingabe löschen

Kopfbereich

Hauptnavigation

School of Engineering

«Algorithmen sind nicht darauf trainiert, fair zu sein»

Christoph Heitz, Schwerpunktleiter am Institut für Datenanalyse und Prozessdesign, beschäftigt sich mit der Frage, wie sich Fairness in Algorithmen einbauen lässt. Damit künstliche Intelligenz aber möglichst sozial gerecht entscheiden kann, muss festgelegt sein, was überhaupt gerecht ist und wie Algorithmen entsprechend konstruiert werden müssen. Wie das konkret funktioniert, erklärt er im Interview.

In der Ausstellung «Planet Digital» am Museum für Gestaltung Zürich beschäftigt sich der Beitrag der ZHAW mit der Fairness von Künstlicher Intelligenz. Warum gewinnt das Thema Fairness gerade so viel Aufmerksamkeit?

Weil wir merken, dass sich im Zug der Digitalisierung unsere Welt massiv verändert. Künstliche Intelligenz, meist in Form von Algorithmen im Hintergrund, berührt immer mehr Lebensbereiche. In den vergangenen zehn bis 15 Jahren diskutierte man darüber, wie unsere Daten am besten geschützt werden können, doch wenig darüber, was eigentlich mit unseren Daten passiert, und ob das, was passiert, kompatibel mit den Werten unserer Gesellschaft ist. Das geschieht jetzt verstärkt, und bezieht sich auf Werte wie z. B. Chancengleichheit, soziale Gerechtigkeit, Freiheit, oder Demokratie.

In der Ausstellung wollen wir zeigen, dass es zu Verzerrungen im sozialen Gefüge kommen kann, wenn wir Daten zur Entscheidungsfindung nutzen. Konkret passiert das dadurch, dass gewisse soziale Gruppen durch die Anwendung eines Algorithmus systematisch benachteiligt werden. In unserem Forschungsprojekt «Soziale Fairness von Algorithmen» beschäftigen wir uns deswegen mit der Frage, wie das passiert, warum das passiert, und wie man Algorithmen konstruieren kann, die sozial gerecht sind.

Wo begegne ich heute schon algorithmischen Entscheidungsfindungen?
Beispielsweise bei Banken, die mithilfe von Algorithmen die Kreditwürdigkeit ihrer Kundschaft bestimmen, bei Versicherungen, die individuelle Prämien berechnen, bei Partner:innenvermittlungsplattformen. Und natürlich bei personalisierter Werbung und Empfehlungssystemen. Kaum ein Lebensbereich ist ausgenommen.

Und was können Algorithmen gegenüber dem Menschen besser?
Algorithmen machen das gleiche wie Menschen, sie treffen aufgrund von Daten Vorhersagen und treffen Entscheidungen. Menschen machen das aufgrund ihrer Erfahrung - mal besser, mal schlechter. Algorithmen hingegen werden mit Daten von tausenden oder hunderttausenden Fällen trainiert, wodurch die Voraussagen oft qualitativ besser sind als die von Menschen. Zudem sind Algorithmen neutral und unbeeinflusst von der aktuellen Stimmung, Müdigkeit, Hunger oder Vorurteilen, die jeder Mensch bewusst oder unbewusst in sich trägt.

Demnach müssten Algorithmen immer faire Entscheidungen treffen, das tun sie aber nicht. Warum?
Wir betrachten Algorithmen, die aufgrund von individuellen Vorhersagen Entscheidungen treffen. Die Kernaufgabe besteht zum einen darin, Vorhersagen zu treffen, etwa zu der Frage: Wird eine Person einen Kredit zurückzahlen? Im zweiten Schritt sollen aufgrund dieser Vorhersage eine Entscheidung abgeleitet werden, zum Beispiel ob ein Kredit gewährt wird oder nicht. Die Algorithmen sind darauf trainiert, möglichst häufig die richtige Entscheidung zu treffen. Und das tun sie dann auch. Doch das bedeutet keineswegs, dass es am Ende damit auch zu einer sozial ausgewogenen Verteilung der Kredite kommt. Es kann durchaus passieren, dass etwa Frauen im Schnitt weniger Kredite zugesprochen bekommen als Männer. Warum passiert das? Eben, weil die Algorithmen nicht darauf trainiert sind, fair zu sein. Sie sind darauf trainiert, für den Entscheidungsträger, etwa die Bank, die beste, also in diesem Fall profitabelste, Entscheidung zu treffen. Wenn dies bedeutet, unfair zu sein, dann tut der Algorithmus genau das.

Die Frage nach der Fairness hat nichts mit der durchschnittlichen Vorhersagegenauigkeit zu tun. Oft ist aber die Vorhersagegenauigkeit bei unterschiedlichen Gruppen unterschiedlich. Beispielsweise ist sie schlechter bei kleineren Gruppen, für die man weniger Trainingsdaten hat als bei grösseren Gruppen. Wenn beispielsweise eine Bank nicht gut abschätzen kann, wie hoch die Rückzahlungswahrscheinlichkeit einzelner Kund:innen ist, wird sie zurückhaltender sein bei der Kreditvergabe. Das führt dann zu sozialer Ungerechtigkeit, weil diese Gruppe weniger Zugang zu einer wichtigen Ressource hat. Das bedeutet nicht, dass die Entscheidung für die Bank schlecht ist – aber für die Betroffenen sieht die Sache anders aus.

Soziale Gerechtigkeit wird je nach Standpunkt unterschiedlich definiert. Wie geht man damit um?
Die Grundlage unseres Forschungsprojekts ist die sogenannte Group-Fairness. Dabei geht es um die Frage, ob jemand einen ungerechtfertigten Nachteil hat aufgrund der Tatsache, dass er oder sie Mitglied einer bestimmten Gruppe ist. Diese Gruppen können etwa definiert sein aufgrund des Geschlechts oder der sozialen Herkunft. Unfairness ist in diesem Sinne identisch mit Diskriminierung.

Wichtig ist dabei der Zusatz «ungerechtfertigt»: unterschiedliche Behandlung kann manchmal sehr wohl gerechtfertigt sein, und dann sogar gerechter sein als eine Gleichbehandlung. Ein vieldiskutiertes Beispiel: Statistisch ist nachgewiesen, dass riskantes Fahrverhalten mit der Nationalität korreliert. Ist es also gerechtfertigt, dass die Autoversicherungsprämie von der Nationalität abhängt, wie es in der Schweiz bei manchen Versicherungen der Fall ist? Manche würden das klar bejahen: Wenn eine soziale Gruppe mehr Schäden verursacht, sollte sie auch eine höhere Prämie bezahlen. Andere würden das als Diskriminierung bezeichnen.

Woran also erkennen wir Fairness? Die Antwort hängt vom Kontext ab, und oft auch von einer Abwägung verschiedener Werte. Unterschiedliche Antworten sind möglich - aber jeder, der einen datengestützten Entscheidungsalgorithmus in der Praxis einsetzt, muss hier eine Entscheidung treffen: Soll Fairness sichergestellt sein? Und falls ja: Welche Art von Fairness soll realisiert werden?

Lässt sich so ein variabler Begriff wie Fairness überhaupt in Algorithmen abbilden?

Ja, das ist möglich. Wir haben für dieses Entscheidungsproblem ein Framework entwickelt, das wir im Juni bei der Swiss Conference on Data Science in Luzern vorstellen wollen. Darin ist beschrieben, wie man in einem strukturierten Prozess zu einer Antwort auf die Frage kommt, was genau man im gegebenen Kontext als «fair» bezeichnen möchte. Der Ansatz wurde entwickelt zusammen mit einem Philosophen der Universität Zürich. Unser Framework führt zu einer Antwort, die sich tatsächlich in Algorithmen umsetzen lässt: Fairness ist am Ende also so definiert, dass sie sich codieren lässt. Technisch geht das durch die Berechnungen von verschiedenen Arten bedingter Wahrscheinlichkeiten. Das sähe zum Beispiel so aus: Gerecht ist, wenn die Wahrscheinlichkeit, dass eine Frau einen Kredit zugesprochen bekommt, gleich gross ist wie die Wahrscheinlichkeit für einen Mann. Damit wird Fairness messbar, und Entscheidungsalgorithmen können so konstruiert werden, dass diese Gleichheit garantiert ist: Das nennen wir dann «Fairness-by-Design».

Veranstaltung zum Thema

Podiumsdiskussion: (Un)faire Algorithmen

Immer häufiger treffen Algorithmen Entscheidungen, die unser Leben beeinflussen — es geht es dabei um so wichtige Dinge wie die Vergabe von Krediten, die Zulassung zur Uni oder die Verteilung von Sozialhilfe. Aber sind solche Algorithmen eigentlich fair? Angelehnt an das Exponat «(Un)faire Algorithmen» in der Ausstellung «Planet Digital» wird diese Frage in einer Podiumsdiskussion mit Vertreter:innen aus Forschung, Zivilgesellschaft, Politik und Wirtschaft beleuchtet. Diskutieren werden Moritz Leuenberger (ehemaliger Bundesrat), Hans Peter Gränicher (CEO von D ONE), Anna Mätzener (Leiterin von AlgorithmWatch Schweiz) und Christoph Heitz (Professor an der Zürcher Hochschule für Angewandte Wissenschaften).

Datum: Donnerstag, 2. Juni 2022, 18 bis 20 Uhr

Ort: Museum für Gestaltung Zürich, Ausstellungsstrasse 60