Per Redacció OCC InCom-UAB
Presentació
Els algoritmes, sense adonar-nos-en, condicionen la nostra vida i les nostres decisions. Poden ser de gran ajut, però alhora la creació d’algoritmes a partir de la Intel·ligència Artificial (IA) no està exempta d’estereotips i, per aquesta raó, poden acabar servint per a agreujar desigualtats socials. Sens dubte, aquest és un repte industrial i tecnològic molt important.
Reflexionar sobre el funcionament i conseqüències socials de la creació dels algoritmes és el principal objectiu dels debats agrupats al cicle El biaix dels algoritmes, que es celebra al setembre de 2022 al Palau Macaya de Barcelona. Aquestes trobades estan organitzades per l'Observatori Social de la Fundació La Caixa sota la direcció científica de l’escriptora i periodista Carmen Domingo. El gènere dels algoritmes, l’ètica dels algoritmes, l’algoritme sense empatia i els algoritmes que condicionen vots són els títols dels quatre debats programats.
Carmen Domingo, a la presentació del cicle, va resumir el seu contingut a partir de preguntes com aquestes: els algoritmes són equànimes o, pel contrari, condicionen el nostre comportament?; decidim nosaltres o ens decideixen la intenció de vot?; seleccionem nosaltres el lloc on passarem les vacances o la nostra decisió és efecte dels algoritmes?; cal posar límits als algoritmes?.
Domingo va deixar molt clar el punt de partida des de l’inici del cicle: “les cançons que et recomana Spotify, la cita que suggereix Tinder, la decisió de concedir-te un crèdit bancari, en segons quins països, no és decisió pròpia. Pensem que decidim, però tot ho va fent un algoritme per nosaltres. Els algoritmes, creats per éssers humans per ser usats per la Intel·ligència Artificial, no estan exempts d’estereotips”. En realitat, molts d’ells ens poden transmetre prejudicis, agreujar biaixos socials pel que fa la raça, el gènere, la sexualitat o les ètnies. D’aquesta manera, la IA pot contribuir a promoure la desigualtat, d’altra banda, ja bastant patent a la nostra societat.
Des del nostre Observatori de la Comunicació a Catalunya (OCC InCom-UAB) volem recollir a diverses cròniques les idees més important sorgides als diferents debats. Per tant, aquest és només el primer lliurament.
8 de setembre del 2022: Els gèneres dels algoritmes
La primera sessió es va celebrar el 8 de setembre amb el títol Els gèneres dels algoritmes. Com s’ha de desenvolupar un algoritme per evitar els biaixos de gènere. Karina Gibert, catedràtica i directora del Centre de Recerca Intelligent Data Science & Artificial Intelligence de la Universitat Politècnica de Catalunya (IDEAI-UPC) i vicedegana d’ètica i d’igualtat del Col.legi Oficial d’Enginyeria Informàtica de Catalunya, va donar una lliçó magistral a una sala plena de gom a gom. Gibert va parlar dels efectes adversos que viuen les dones com a resultat de decisions algorítmiques.
La llista de desafiaments de la IA és llarga, però Gibert ho va explicar de forma molt clara mitjançant exemples i casos pràctics. La catedràtica aplaudeix quan, en un moment de transformació digital, la societat civil té una actitud crítica, ben fonamentada i responsable sobre la tecnologia.
Per començar Gibert va fer un breu apunt històric: “la Intel·ligència Artificial neix l’any 1956, intentant construir màquines que imiten com raonen els humans. El que fa és agafar dades, les analitza (però no com ho faria un humà sinó d’altres maneres), troba patrons, pren decisions i això permet tenir estratègies per millorar el mon”.
El caràcter invasiu de la Intel·ligència Artificial
Però, de seguida, Gibert torna a l’actualitat i destaca que tot això ha acabat envaint l’espai personal, un aspecte molt preocupant. Vivim rodejats d’Intel·ligència Artificial i en tenim a tot arreu: “qui no té una Siri, té una Alexia. El qui no té un GPS, té una Roomba que li escombra la casa”, descriu la ponent. D’alguna manera la IA es pot considerar com invasiva: “quan usem dispositius la informació s’utilitza per perfilar-nos, per saber qui som, com som, què pensem, què ens agrada i què voldríem”, diu Gibert.
Ara bé, l’experta en IA també assenyala que “des de la Comissió Europa es lluita perquè tot això sigui ètic, no invasiu, que respecti drets i llibertats, i que estigui alineat amb els objectius de desenvolupament sostenible”. I, alhora, tampoc no oblida apuntar aspectes positius: “No ens oblidem que són molt potents i ens ajuden a fer coses molt difícils, molt millor i més còmodament que les fèiem fa uns anys. I, de fet, obre la porta a fer coses que no havíem fet mai”.
Tres biaixos de l’algoritme que afecten negativament les dones
Des de la perspectiva de gènere, Karina Gibert explica que hi ha tres grans nivells, o tipus de biaixos, on el gènere pot sortir afectat negativament: al disseny de l’algoritme (si apareix, inclou criteris que de forma implícita penalitzen a les dones), al disseny de les dades d’entrenament (si aquestes estan esbiaixades, això s’acaba incorporant a l’algoritme final) i a la interpretació (quan es produeix una interpretació de la informació errònia perquè no es considera un factor de gènere imprescindible). La catedràtica va fer èmfasi en que la majoria de bases de dades personals (l’històric de dades que es fa servir per generar algoritmes) no recullen el gènere i va afegir que, a més, deduir aquesta informació pel nom és molt complex.
És evident que tot plegat acaba reforçant la desigualtat social i si no es veu clara aquesta connexió, només cal atendre els exemples que va enumerar la ponent.
Per il·lustrar els biaixos des del disseny, Gibert va parlar de l’algoritme creat per generar un sistema de priorització d’urgències a Anglaterra. A través d’un classificador clàssic, que entrena amb dades històriques, s’identifiquen com a casos més greus els que requereixen tractaments més cars i generen més mortalitat (difícils de curar) i, per contra, es consideren de baixa gravetat aquells que passen per sala d’espera i són identificats com dolències menors (amb més possibilitats d’èxit de cura). Aquesta distinció genera un problema, atès que les dones triguen més que els homes a considerar que cal anar a urgències i que, per tant, el seu comportament tendeix a generar una informació que l’algoritme identifica com a situació mèdica no prioritària.
Per explicar el biaix que es produeix per les dades que es fan servir a l’entrenament, Gibert recorre a Amazon i, més concretament, a l’eina que va fer servir en un moment determinat per gestionar l’alt volum de currículums que la companyia rep de persones interessades en treballar a l’entitat. Es va dissenyar una eina capaç d’identificar les característiques dels treballadors que funcionen bé i, d’aquesta manera, poder fer una primera selecció dels perfils. L’eina es va haver de retirar perquè només recomanava currículums d’homes. El motiu no era perquè estigues mal fet l’algoritme sinó perquè s’havia entrenat amb la plantilla d’Amazon i tots, en aquell moment, eren homes.
Gibert va explicar més casos paradigmàtics. Va recordar el bot creat per Microsoft el 2016 amb el nom de Tay, un agent conversacional (interacció home-màquina) que podia desenvolupar converses imitant els humans. Amb només 16 hores en funcionament, el van haver de retirar perquè els seus diàlegs eren xenòfobs, racistes i masclistes. Gibert també va recordar el projecte Google Photos del 2015, que etiquetava les dones negres com a goril·les. A l’entrenament només s’havien fet servir fotos d’homes blancs joves, que eren retrats precisament dels desenvolupadors informàtics de l’algoritme.
Tecnologia que no contraresta l’escletxa digital també pot provocar biaix de gènere
La catedràtica va descriure un projecte que es va dur a terme durant la pandèmia amb la finalitat de veure com el confinament havia afectat les persones vulnerables. El 50% de les persones que van participar a l’estudi havien necessitat d’una prestació econòmica i un 70% no l’havien pogut cobrar perquè no sabien com demanar-ho. Aquesta incapacitat per fer aquesta acció es va associar amb el perfil "dona gran que viu sola", però aquesta conclusió presentava molts errors. Era el resultat d’una mala interpretació de les dades.
Una de les preguntes incloses a l’estudi -va detallar Gibert- era si s’havia estat en un ERTO (Expedient Temporal de Regulació d’Ocupació) durant el confinament. Els resultats apuntaven que el percentatge de dones era molt petit en comparació amb el dels homes. D’entrada, això podia interpretar-se com una bona noticia, però una interpretació en positiu era errònia atès que es donava el fet de que la gran majoria de les dones vulnerables no estaven regularitzades i, per tant, no podien acollir-se a cap ERTO.
Ara bé, aquests tipus de biaixos apareixen a tot tipus de sectors, fins i tot a àmbits tan importants pel benestar social com la sanitat. Al món de la medicina, s’han donat moltes situacions semblants. Karina Gibert va parlar del biaix de gènere als protocols dissenyats per tractar l’EPOC, malaltia pulmonar obstructiva crònica lligada al tabaquisme, atès que fins fa poc s’ha considerat una malaltia més pròpia dels homes. Però, recentment, arran de la Covid-19, també ha estat noticia la falta d’informació sobre els efectes de la vacuna en les dones, atès que les proves d’eficàcia s’havien fet majoritàriament amb homes.
La qualitat de les dades i la situació de les dones
Els reptes relatius a l’històric de dades que es fan servir per generar algoritmes passen per la consistència i qualitat de les dades, la representativitat d’aquestes, la preservació del secret estadístic i la certificació de que les dades que s’utilitzen són representatives. I, a més de tots aquests aspectes relacionats amb la qualitat de les dades amb les que se treballa, no es poden obviar els problemes específics que tenen les dones com “la bretxa salarial, la violència de gènere, la doble jornada, el sostre de vidre, els terres enganxosos, les eleccions dirigides o la reducció de jornada”, recorda Gibert.
Per a la ponent, “l’absència de les dones en aquest sector té un preu important”. A Catalunya al 2020, teníem un 7,8% de dones exercint de tecnòlogues en el sector de les Tecnologies de la Informació i de la Comunicació. Al 2021, la xifra ha crescut lleugerament al 8,6%. El perfil del desenvolupador d’algoritmes és: home, blanc, sense discapacitat i amb tots els privilegis digitals. Si una cosa és construeix des d’aquesta posició, és difícil que l’algoritme sigui representatiu i, per tant, que la dona estigui representada.
Gibert lamenta que al mercat no hi hagi dones amb aquests perfils professionals que ajudin a trencar l’estereotip de gènere. La directora del Centre de Recerca Intelligent Data Science & Artificial Intelligence de la Universitat Politècnica de Catalunya (IDEAI-UPC) defensa que cal que les dones estiguin presents en aquest disseny del futur tecnològic.
Per acabar, Karina Gibert anima a què la gent es registri gratuïtament al portal ciutadanIA, una web formativa en Intel·ligència Artificial per a tothom que té com a objectiu generar una actitud crítica davant el que es consumeix. “Documentem-nos per no deixar-nos colar gols!”, adverteix la ponent.