Article on bias in automated systems for DIE ZEIT

Digital Innovation Storytelling

(…) Bei dem Algorithmus von Cognitec wird die Datenbank seit 1995 kontinuierlich mit Bildern gefüllt, mittlerweile sind es Millionen. »Wir haben inzwischen einen guten Querschnitt. Am Anfang, als wir losgelegt haben, war das nicht der Fall«, sagt Pampus. Eine geringe Fehlerrate bleibe, die im Übrigen kleiner sei als bei der Verarbeitung durch den Menschen.

Im internationalen Vergleich schneide sein Algorithmus hervorragend ab, sagt Pampus. Es könne immer mal wieder zu Abweichungen kommen, denn ohne Fehler gehe es nie. Offenlegen muss Pampus seine Daten nicht, obwohl immer mehr Wissenschaftler und Politiker schärfere Transparenzregeln für den Umgang mit KI fordern, zuletzt in einem Whitepaper der Europäischen Kommission, das vor den Gefahren von Algorithmen warnt.

Erst langsam wird das Ausmaß dieser Verzerrung deutlich, wie 2019 das amerikanische Institut für Standards und Technologie gezeigt hat, die weltweit wichtigste Behörde für die Bewertung von Gesichtserkennungsalgorithmen. Laut einer Studie machen die Systeme der automatischen Gesichtserkennung bei schwarzen Männern bis zu 100-mal häufiger Fehler als bei Europäern, und bei Frauen in allen Tests mehr Fehler als bei Männern. Als schwarze Frau gehört Audrey K. gleich zu den zwei großen Fehlergruppen – so wie Joy Buolamwini, die Wissenschaftlerin am MIT.(…)

Link to the article.