“Todos representamos parcialmente el mundo y la realidad que percibimos desde nuestro subjetivo punto de vista. El problema es que aquellos en posiciones estructuralmente superiores, toman estas representaciones parciales y las establecen como regla general”. La columna revisa cómo la subjetividad de quienes detentan posiciones de poder modela las posibilidades y usos de la Inteligencia Artificial. Una interesante reflexión a partir del documental Coded Bias. Vea el trailer aquí.
Joy Buolamwini, una científica informática descubrió que su cara no era reconocida por un sistema de reconocimiento facial (RF) mientras desarrollaba aplicaciones en un laboratorio del departamento de ciencia de la computación de su universidad. Este hecho casual, es el punto de partida del recientemente estrenado documental Coded Bias (Prejuicio Cifrado). El documental relata que la científica, luego de investigar, descubrió que los datos (caras) con los que entrenaron aquel tipo de sistemas eran principalmente de hombres blancos, lo que explicaba por qué el sistema no reconocía su cara afroamericana.
Nos gustaría poder reducir esta columna a este párrafo, concluyendo que, como la inteligencia artificial (IA) la desarrollan principalmente hombres blancos, nadie se preocupó de que los datos fuesen representativos y que para solucionar esos “sesgos”, debemos usar datos que incluyan toda la población.
Lamentablemente, esta no es la conclusión correcta. Y paradójicamente, para comprender el problema de esta tecnología de punta, debemos retroceder a un oscuro pasado. Lo que a Joy Buolamwini le pareció inicialmente una curiosidad y un error técnico, se convirtió en el descubrimiento de una dolorosa forma de dominación y opresión, traducida en nuevas formas de discriminación y racismo, que el documental desarrolla en su parte central.
El racismo es una forma de opresión que se origina a partir de la clasificación de un grupo sobre otros, con el fin de dominarlos. Esa opresión se traduce en profundas injusticias estructurales que sufren los grupos excluidos y que limitan sus opciones y capacidades de desarrollo a través de dinámicas sociales, estereotipos culturales, estructuras jerárquicas y mecanismos económicos.
Como si fuesen dos caras de una misma moneda, los mecanismos que oprimen a unos, permiten a los grupos dominantes el desarrollo de sus capacidades, otorgándoles una ventaja histórica y facultándolos también para abusar de sus privilegios. Estas injusticias se vuelven estructurales: tanto el racismo, como el clasismo o la discriminación de género son reinterpretados, evolucionan y se reproducen [1].
'La biología no es el cuerpo, es el discurso sobre el cuerpo', dijo Donna Haraway ya hace varias décadas, para evidenciar que la objetividad o neutralidad en el conocimiento científico es, al fin y al cabo, irreal
La clasificación, entonces, está en la esencia de construcciones sociales que son exitosos mecanismos de dominación [2] y que no tienen ningún sustento científico, tales como la clase, el sexo binario o la raza (el ADN de dos seres humanos escogidos al azar es idéntico en al menos un 98,4% [3]).
Si se hubiese querido elegir un elemento clasificatorio que nos distinga sin generar un contenido opresivo, se podría haber usado la calvicie, el tamaño de los pies o cualquier otra característica. Sin embargo, clasificar a partir del color de la piel produce una separación simbólica entre superiores e inferiores, naturales y racionales, a la cual se unen la condición económica y la significación social de ser “mujer”, entre muchas otras, y que potenciadas interseccionalmente –pensemos en una mujer indígena pobre– causan profundas injusticias y discriminaciones.
En este contexto, se ha comprobado que la IA usada en casos que se relacionan con complejidades sociales, reproduce y amplifica las injusticias. Este es el caso de sistemas que predicen delitos y que en muchas ocasiones, asocian delincuencia con racismo policial histórico [4]. También ocurre con sistemas predictivos que detectan, con un alto margen de error, fraudes en los beneficios sociales para personas vulnerables [5]; o en sistemas de predicción de abuso infantil que discriminan pobreza [6]; o en sistemas automatizados de contratación de personal estandarizados, arbitrarios y no representativos [7]. A estos casos se suman ahora los sistemas de reconocimiento facial.
Por supuesto, es posible esbozar una explicación desde un punto de vista técnico, describiendo por ejemplo, la falta de representatividad en los datos. Pero si hablamos de sesgos codificados y de reproducción de injusticias sociales, ninguna explicación técnica es suficiente.
Si bien es cierto que existen sesgos involuntarios o propios de las limitaciones técnicas de estas tecnologías, no debemos perder de vista que detrás hay personas que toman decisiones sobre qué diseñar, cómo y con qué propósito usarla, y que en algunos casos los sesgos pueden ser intencionados. En ese sentido, la inteligencia artificial, usada en determinado contexto, puede no tener la objetividad y neutralidad que tendemos atribuirle.
“La biología no es el cuerpo, es el discurso sobre el cuerpo”, dijo Donna Haraway ya hace varias décadas, para evidenciar que la objetividad o neutralidad en el conocimiento científico es, al fin y al cabo, irreal [8]. Todas las personas representamos parcialmente el mundo y la realidad que percibimos desde nuestro subjetivo punto de vista. El problema es que aquellos en posiciones estructuralmente superiores, toman estas representaciones parciales y las establecen como regla general. Así, por ejemplo, la biología, es un relato, conocimiento situado, desde la perspectiva de un grupo de personas que interpretaron y definieron el lugar y esencia del ser humano en la naturaleza y en la historia y lo establecieron como axiomas indiscutibles.
La inteligencia artificial, bajo una aparente objetividad está situada, asimismo, en un contexto donde ha existido históricamente una brecha entre hombres y mujeres, además de la exclusión de grupos minoritarios, por lo que se diseña y desarrolla desde una perspectiva particular, de hombres blancos de élite, dado que son los que ocupan las posiciones más altas y decisivas dentro del campo de desarrollos tecnológicos [9].
Pues bien, donde existen relatos parciales impuestos, existen del mismo modo, desigualdades sociales estructurales y la presencia de grupos privilegiados y desventajados.
Por su parte, cuando los sistemas de IA están destinados a resolver problemas sociales, estos son generalmente de carácter punitivo, predictores de riesgos, de delitos o de fraudes. Llama la atención que no se implementen sistemas que tengan por meta fines constructivos, como la rehabilitación o reducción de desigualdades.
La inteligencia artificial, bajo una aparente objetividad, está situada en un contexto donde ha existido históricamente una brecha entre hombres y mujeres, además de la exclusión de grupos minoritarios. Por ellos se diseña desde una perspectiva particular: la de hombres blancos de élite
A lo anterior, se debe agregar que dichos sistemas son dirigidos casi exclusivamente a grupos marginados y vulnerables. No existen sistemas predictivos de fraudes a nivel de élite empresarial o sistemas predictivos de violencia, delitos o abuso en poblaciones de estratos sociales altos. Ello podría llevarnos a interpretar que se usa esta tecnología como una herramienta de opresión y discriminación encubierta, teniendo presente que hay usos intencionados de estos sistemas. Así tenemos una nueva tendencia, ya que al sesgo histórico de que la élite accedía siempre primero a las nuevas tecnologías, ahora le agregamos que los grupos vulnerables la sufren primero.
Sin ir más lejos, un estudio de Propublica [10] de 2016 demostró la existencia de usos intencionados y discriminatorios del modelo de negocios de publicidad selectiva de Facebook que usan IA. Esta compañía permitió a diversos anunciantes excluir a usuarios que estaban agrupados según características específicas de sus perfiles (afroamericanos, inmigrantes, orientación sexual, identidad de género, clase social, entre otros) en las categorías demográficas de su herramienta de anuncios, lo que impedía que estos grupos de personas, por ejemplo, tuviesen acceso a diversos anuncios de viviendas, provocando una abierta discriminación.
Volvamos a Coded Bias. Si el problema era que los datos solo representaban blancos, ¿por qué la solución no es “arreglar” dichos datos?
Pues bien, perfeccionar el reconocimiento facial en primer lugar, nunca resolverá el problema de discriminación, ya que es parte de múltiples factores y condiciones interseccionales. Por el contrario, perfeccionar este tipo de sistemas, es perfeccionar el racismo, convirtiéndolos en potenciales mecanismos aún más dañinos para las personas vulnerables y marginadas.
Estos sistemas creados en los años 70, fueron concebidos con el objeto de identificar a sospechosos delictuales contrastando fotografías contenidas en bases de datos policiales [11]. Hasta hoy, los sistemas policiales de Reconocimiento Facial (RF) se construyen con bases de datos históricas, sin tomar en consideración que muchos datos son incompletos, sesgados, reflejo de detenciones ilegales y de racismo policial, lo cual explica, además, que la prevención de delitos mediante esta tecnología posea un alto margen de error.
Más aún, la tecnología de RF fue desarrollada gracias al incremento exponencial de caras que se podían obtener desde la Web. Es decir, se hizo sin el consentimiento de las personas [12]. Su uso no fue ético, lo que inhabilitaba desde el comienzo a casi todos estos sistemas.
Considerando dicha naturaleza, estos sistemas pueden convertirse en herramientas peligrosas. Conocidos son aquellos reconocimientos faciales que dicen predecir peligrosidad, características o personalidad a partir de fotografías, bajo la lógica de antiguas prácticas frenológicas, no siendo más que una nueva representación de una denostada pseudociencia [13]. Finalmente, el reconocimiento facial es usado como mecanismo de vigilancia masiva –desde migrantes a detractores políticos– donde un catálogo completo de derechos humanos es constantemente vulnerado [14].
El documental Coded Bias reflexiona sobre como la IA sólo nos es beneficiosa en la medida que su diseño y uso no perpetúen ni amplifiquen injusticias sociales. Para ello la IA debe generar herramientas que contribuyan al desmantelamiento de desigualdades estructurales, donde todas las personas puedan aprovechar sus ventajas sin dejar a nadie atrás.
Pero el documental ofrece una reflexión aún más profunda: que la IA posee una cualidad paradojal que nos devela y obliga a vernos como realmente somos socialmente, pudiendo ser una oportunidad para reconstruirnos y no solo lograr algoritmos sin sesgos, sino además una sociedad más justa y fraterna.
NOTAS Y REFERENCIAS
Nota: se accedió a todos los URLs que se incluyen en estas referencias el 11/4/2021.
[1] I. M. Young, Inclusion and democracy. Oxford University press on demand, 2002.
[2] A. Quijano, «Colonialidad del poder, eurocentrismo y América Latina», 2000.
[4] A. D. Selbst, «Disparate Impact in Big Data Policing», Social Science Research Network, Rochester, NY, SSRN Scholarly Paper ID 2819182, feb. 2017. doi: 10.2139/ssrn.2819182.
[5] S. Gilman, «Proliferating Predation: Reverse Redlining, the Digital Proliferation of Inferior Social Welfare Products, and How to Stop It», Social Science Research Network, Rochester, NY, SSRN Scholarly Paper ID 3511892, dic. 2019. doi: 10.2139/ssrn.3511892.
[6] V. Eubanks, Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin’s Press, 2018.
[7] J. Sanchez-Monedero, L. Dencik, y L. Edwards, «What does it mean to solve the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems», ArXiv191006144 Cs, ene. 2020. [En línea]. Disponible en: http://arxiv.org/abs/1910.06144.
[8] D. Haraway, «A cyborg manifesto: Science, technology, and socialist-feminism in the late 20th century», en The international handbook of virtual learning environments, Springer, 2006, pp. 117-158.
[9] C. D’Ignazio y L. F. Klein, Data feminism. MIT Press, 2020.
[10] J. Aangwin y Terry Parris Jr., «Facebook Lets Advertisers Exclude Users by Race», ProPublica, oct. 2016. [En línea] Ver el siguiente enlace.
[11] I. D. Raji y G. Fried, «About Face: A Survey of Facial Recognition Evaluation», ArXiv210200813 Cs, feb. 2021, Accedido: abr. 10, 2021. [En línea]. Disponible en: http://arxiv.org/abs/2102.00813.
[12] K. Hao. «This is how we lost the control of our faces», MIT Technology Review, feb. 2021. [En línea] Ver el siguiente enlace.
[13] K. Crawford, «Time to regulate AI that interprets human emotions», Nature, vol. 592, n.o 7853, Art. n.o 7853, abr. 2021, doi: 10.1038/d41586-021-00868-5.
[14] A. Roussi, «Resisting the rise of facial recognition», Nature, vol. 587, n.o 7834, Art. n.o 7834, nov. 2020, doi: 10.1038/d41586-020-03188-2.
Este artículo es parte del proyecto CIPER/Académico, una iniciativa de CIPER que busca ser un puente entre la academia y el debate público, cumpliendo con uno de los objetivos fundacionales que inspiran a nuestro medio.
CIPER/Académico es un espacio abierto a toda aquella investigación académica nacional e internacional que busca enriquecer la discusión sobre la realidad social y económica.
Hasta el momento, CIPER Académico recibe aportes de seis centros de estudios: el Centro de Estudios de Conflicto y Cohesión Social (COES), el Centro de Estudios Interculturales e Indígenas (CIIR), el Centro de Investigación en Comunicación, Literatura y Observación Social (CICLOS) de la Universidad Diego Portales, el Núcleo Milenio Autoridad y Asimetrías de Poder (NUMAAP), el Centro de Recursos Hídricos para la Agricultura y la Minería (CRHIAM) y el Instituto Milenio para la Investigación en Depresión y Personalidad (MIDAP). Estos aportes no condicionan la libertad editorial de CIPER.
Se agradece la investigación, es un tema complejo e histórico, la IA sólo viene a reflejar lo que somos como sociedad.
Es un hecho que la IA, como quisiéramos imaginar, aquella inteligencia que funciona igual que la de los seres humanos NO Existe aún, quizás con la computación cuántica podamos llegar a ello algún día. Lo que tenemos son diversos sistema, adiestrados por datos y metadatos específicos, que realizan Aprendizaje Automático o Machine Learning (3° idea de la IA - ref AI4K12), y esos datos son un reflejo de nuestra sociedad con todos sus males.
Les doy un ejemplo, si en el mundo entero nos pusiéramos de acuerdo, y cada vez que google nos interpone un Captcha y nos pide seleccionar la imagen de una motocicleta y "maliciosamente" seleccionáramos un semáforo, luego de un tiempo cuando busquemos imágenes de motocicletas, nos aparecerán imágenes de un semáforo.
Es un gran desafío resolverlo y otro más grande es educar a nuestros niños para resolver esos desafíos en el futuro...
Juan luis jara | 10.05.2021
Felicito a Ciper el instruirnos que a partir de las tecnologías se producen sesgos que de permanecer en el tiempo, como en nuestro país, esto desencadará una revolución social que apague la inequidad y las desigualdades con que vivimos.. La IA no es una ficción, es una realidad, hay bastantes hechos que que aplican su uso, como ejemplo la diferenciación entre comunas en la RM con la base de datos del Minsal hoy en la pandemia. No confundir resentimiento social con sesgos sociales
Alfredo Green | 08.05.2021
Interesante que haya gente en Chile estudiando temas tan complejos que aún deben ser resueltas a nivel global. Ojalá el gobierno pusiera más ojos en estos temas y escuchara a estas voces que tienen bastante que decir al respecto.
