Technik ist neutral. Code ist objektiv. Maschinen entscheiden gerecht – Bullshit! Diskriminierung hat viele Gesichter. Vom rassistischen Seifenspender über Jobsuche-Algorithmen mit einem Faible für Diskriminierung bis hin zur dezenten Arm-Reich-Schere bei Bewerbungssoftware – es gibt eine ganze Palette von Beispielen für Coding-Fails, die in Diskriminierung resultieren. Was können wir daraus lernen?
Wenn die Aussage „Code is Law“ stimmt, sollten wir uns dringend einmal darüber unterhalten, wie gerecht eigentlich die Entscheidungen sind, die bereits heute softwarebasiert getroffen werden. Das beschränkt sich nicht nur auf offensichtliche Fragen, wie etwa nach welchen „objektiven“ Kriterien eine Software Richtern Empfehlungen für ein Strafmaß geben sollte. Unser ganzes Leben ist durchtränkt von Code – und darin verstecken sich viele kleine und große Annahmen darüber, wie die Welt ist und wie sie zu sein hat. Fehlende Sensibilität für die Lebensrealität anderer Menschen und auch mangelnde Diversität in der IT-Branche tragen dazu bei, dass bestimmte Perspektiven leider häufig übersehen werden. Das resultuert dann im Worst-Case-Szenario in intelektuellen "Höchstleistungen", wie einem rassistischen Seifenspender oder einer frauenfeindlichen Software zur Analyse von Bewerbungen. Und manchmal, da kosten solche Fehler sogar Menschenleben. Höchste Zeit, sich einmal über diese neue Form der versteckten Diskriminierung zu unterhalten. Und darüber zu sprechen, wie wir solche Fails in Zukunft verhindern können.
Technik ist neutral. Code ist objektiv. Maschinen entscheiden gerecht – Bullshit! Diskriminierung hat viele Gesichter. Vom rassistischen Seifenspender über Jobsuche-Algorithmen mit einem Faible für Diskriminierung bis hin zur dezenten Arm-Reich-Schere bei Bewerbungssoftware – es gibt eine ganze Palette von Beispielen für Coding-Fails, die in Diskriminierung resultieren. Was können wir daraus lernen?
Wenn die Aussage „Code is Law“ stimmt, sollten wir uns dringend einmal darüber unterhalten, wie gerecht eigentlich die Entscheidungen sind, die bereits heute softwarebasiert getroffen werden. Das beschränkt sich nicht nur auf offensichtliche Fragen, wie etwa nach welchen „objektiven“ Kriterien eine Software Richtern Empfehlungen für ein Strafmaß geben sollte. Unser ganzes Leben ist durchtränkt von Code – und darin verstecken sich viele kleine und große Annahmen darüber, wie die Welt ist und wie sie zu sein hat. Fehlende Sensibilität für die Lebensrealität anderer Menschen und auch mangelnde Diversität in der IT-Branche tragen dazu bei, dass bestimmte Perspektiven leider häufig übersehen werden. Das resultuert dann im Worst-Case-Szenario in intelektuellen "Höchstleistungen", wie einem rassistischen Seifenspender oder einer frauenfeindlichen Software zur Analyse von Bewerbungen. Und manchmal, da kosten solche Fehler sogar Menschenleben. Höchste Zeit, sich einmal über diese neue Form der versteckten Diskriminierung zu unterhalten. Und darüber zu sprechen, wie wir solche Fails in Zukunft verhindern können.