Algoritmer og kunstig intelligens kan systematisk behandle grupper forskelligt, selv om systemet ikke direkte kender personernes køn, alder eller etnicitet.
Dataetisk Råd peger på, at det kan være teknisk umuligt at fjerne alle former for bias på samme tid.
En algoritme behøver ikke at kende dit køn, din alder eller din etnicitet for at ende med at behandle dig anderledes end andre.
Det er et af hovedbudskaberne i en ny techsplainer om algoritmisk bias fra Dataetisk Råd. Problemet kan blandt andet opstå, når algoritmer bruges til at vurdere socialt udsatte borgere, hjælpe med at diagnosticere kræft eller sortere jobansøgere.
Ifølge Dataetisk Råd kan algoritmisk bias opstå gennem de data, systemet bruger, forskelle i vurderinger, forskelle i præcision og forskelle i de fejl, algoritmen begår. Samtidig kan det være vanskeligt at fjerne alle former for bias. Et forsøg på at mindske én type kan ifølge rådet gøre en anden type større.
En algoritme er kort sagt en opskrift, som en computer følger for at løse en opgave eller træffe en beslutning.
Det kan for eksempel være at sortere jobansøgninger, foreslå videoer til dig eller vurdere, hvilke oplysninger der passer bedst til det, du søger efter.
- Algoritmisk bias er en af de mest komplekse dataetiske udfordringer, vi ser i disse år. Der findes ingen enkel knap, man kan skrue på for at fjerne det. Derfor er det afgørende, at myndigheder og virksomheder forstår, hvilke former for bias de i praksis vælger til og fra, når de tager en algoritme i brug, siger Johan Busse, formand for Dataetisk Råd.
Dansk sag om ledige
Dataetisk Råd fremhæver også et dansk eksempel. I 2022 vurderede Ligebehandlingsnævnet ifølge rådet, at et profileringsværktøj hos Styrelsen for Arbejdsmarked og Rekruttering ikke var ulovligt diskriminerende, selv om værktøjet brugte oplysninger om borgernes "ikke-vestlige herkomst" til at vurdere risikoen for langtidsledighed.
For Dataetisk Råd illustrerer sagen, at noget godt kan være lovligt, uden at alle dataetiske spørgsmål dermed er afgjort.
- Det vigtige spørgsmål er sjældent, om en algoritme har bias. Det vigtige spørgsmål er, hvilke former for bias vi som samfund er villige til at leve med, siger Johan Busse.
Techsplaineren er udarbejdet sammen med professor Kasper Lippert-Rasmussen og Center for Eksperimentel-Filosofiske Studier af Diskrimination ved Aarhus Universitet.