Una recerca liderada per la UOC, on participa la professora de l’EUSS Laura Calvet, analitza com es pot posar fi als biaixos dels algorismes d’internet
Segons els experts, molts algorismes d’internet associen la masculinitat amb les ciències i la feminitat amb les arts, basant-se en estereotips
Les recerques apunten que totes les persones involucrades
en el desenvolupament d’un algorisme han de conèixer les mesures que es poden
prendre per minimitzar els possibles biaixos i aplicar-les perquè no es
produeixin
Sobre si els algorismes d’internet amb els quals
interactuem constantment presenten un biaix de gènere s’han escrit rius
de tinta; n’hi ha prou amb una simple entrada al cercador per comprovar-ho. No
obstant això, segons els investigadors d’un nou estudi que intenta arribar a
una conclusió sobre aquesta pregunta, “fins ara, el debat ha estat
allunyat d’una anàlisi científica”. Aquest nou treball, emprès per un
equip multidisciplinari, mostra una nova manera d’abordar la pregunta i proposa
algunes solucions per evitar aquestes desviacions en les dades i la
discriminació que porten associada.
Els algorismes s’empren cada vegada més per decidir si
es concedeix o denega un préstec o per acceptar sol·licituds. A mesura que
augmenta el nombre d’aplicacions d’intel·ligència artificial (IA), així com les
seves capacitats i la seva rellevància, és més important avaluar els
possibles prejudicis adherits a aquestes operacions. “Si bé aquest no
és un concepte nou, hi ha molts casos en els quals aquest problema no
s’estudia, de manera que se n’ignoren les possibles conseqüències”,
afirmen responsables de la recerca publicada
en accés obert a la revista Algorithms,
enfocada principalment al biaix de gènere en diferents camps de la IA.
Aquests prejudicis poden tenir grans impactes en la
societat: “Els biaixos
afecten totes les persones que estiguin discriminades o excloses o associades a
un estereotip. Per
exemple, podrien excloure un gènere o una raça d’un procés de decisió o,
simplement, assumir un comportament determinat pel gènere o el color de la pell”,
explica la seva investigadora principal, Juliana Castañeda Jiménez, estudiant
de doctorat industrial de la
Universitat Oberta de Catalunya (UOC), sota la direcció d’Ángel A. Juan, de
la Universitat Politècnica de València, i Javier Panadero, de la Universitat Politècnica de Catalunya.
Segons
Castañeda, “és possible que els processos algorítmics discriminin per
gènere, fins i tot quan estan programats per ser ‘cecs’ a aquesta variable”. L’equip investigador —en el
qual, a més, participen els investigadors Milagros Sáinz i
Sergi Yanes, del grup de Gènere i TIC (GenTIC) de l’Internet
Interdisciplinary Institute (IN3), Laura Calvet, de l’Escola Universitària
Salesiana de Sarrià, Assumpta Jover, de la Universitat de València, així com Ángel
A. Juan— ho exposa amb diversos exemples: el cas d’una coneguda eina de
contractació que preferia els candidats masculins als femenins, o el
d’alguns serveis de crèdit que oferien condicions menys avantatjoses per a
les dones que per als homes. “Si
s’utilitzen dades històriques i no estan equilibrades, probablement s’observarà
un condicionament negatiu relacionat amb demografia negra, gai i fins i tot
femenina, depenent de quan i d’on són aquestes dades”, indica Castañeda.
Ells, ciències i elles, arts
Per saber el grau d’afectació per
aquests patrons que experimenten els diferents algorismes als quals ens
enfrontem, els investigadors van
analitzar treballs anteriors que identificaven biaixos de gènere en
processaments de dades en quatre tipus d’IA: la que descriu aplicacions en
processament i generació de llenguatge natural, l’encarregada de la gestió de
decisions, i la de reconeixement facial i de veu.
En
general, van trobar que tots els algorismes identifiquen i classifiquen
millor els homes blancs. A més, van observar que reproduïen creences falses
sobre com haurien de ser els atributs físics que defineixen les persones segons
el seu sexe biològic, origen ètnic o cultural, o orientació sexual, i que, així
mateix, associaven de manera estereotipada la masculinitat i la feminitat amb
les ciències i les arts, respectivament.
Molts
dels procediments emprats en aplicacions de reconeixement d’imatge o veu també
es basen en aquests estereotips: igual que les càmeres reconeixen més bé les
cares blanques, l’anàlisi d’àudio té problemes amb les veus més agudes,
cosa que afecta principalment les dones.
Els casos més susceptibles
de presentar aquests defectes són els algorismes que es construeixen a partir
de l’anàlisi de dades reals que porten associat un context social. “Algunes de les causes
principals són la infrarepresentació de les dones en el disseny i el desenvolupament
de productes i serveis d’IA i l’ús de conjunts de dades amb biaixos de
gènere”, assenyala la investigadora, que creu que el problema està relacionat
amb els entorns culturals en els quals són desenvolupats.
“L’algorisme, en
entrenar-se amb dades esbiaixades, pot determinar els patrons ocults que hi ha
socialment, i a l’hora d’operar, els reprodueix. Així que, si en la
societat, la representació d’homes i dones no és equilibrada, el disseny i el
desenvolupament dels productes i serveis d’IA mostraran biaixos de
gènere.”
Com es pot suprimir aquesta tendència?
Les múltiples fonts de biaix de gènere, així com les particularitats de cada classe d’algorisme i conjunt de dades fan que eliminar aquesta desviació sigui un desafiament particularment difícil, però no impossible. “Cal que els dissenyadors i totes les persones involucrades en el seu desenvolupament estiguin informades sobre la possibilitat de tenir biaixos associats a la lògica d’un algorisme. A més, han de conèixer les mesures que hi ha per minimitzar al màxim els possibles biaixos i aplicar-les perquè no es produeixin, perquè, si són conscients de les discriminacions que s’esdevenen en la societat, sabran identificar quan els seus desenvolupaments les reprodueixen“, proposa Castañeda.
La novetat d’aquest treball rau en el fet que ha estat
promogut per especialistes en diferents àrees, en què hi ha, entre d’altres,
una sociòloga, un antropòleg i expertes en gènere o estadística. “Els
membres de l’equip van completar una perspectiva que va més enllà de la
matemàtica autònoma associada a l’algorisme i, així, vam poder considerar
l’algorisme com un sistema sociotècnic complex”, descriu la investigadora
principal de l’estudi.
“Si es compara aquest treball amb d’altres, penso que és un dels pocs que presenta la temàtica dels biaixos en els algorismes des d’una perspectiva neutra, en què es destaquen tant els aspectes socials com els tècnics per identificar per què un algorisme pren una decisió esbiaixada”, conclou.
Article
relacionat
CASTANEDA, J.; JOVER, A.; CALVET, L.;
YANES, S.; JUAN, A. A.; SAINZ, M. Dealing with Gender Bias Issues in
Data-Algorithmic Processes: A Social-Statistical Perspective. A: Algorithms (2022).
https://doi.org/10.3390/a15090303
