En los últimos años se ha intensificado el uso de sistemas de toma automática de decisiones basados en Inteligencia Artificial (IA) para automatizar procesos en contextos críticos para la vida de las personas. Encontramos sistemas que preparan la redacción de fallos judiciales, sugieren posibles diagnósticos para un paciente o proponen acciones para evitar la deserción escolar. En este contexto, resulta fundamental auditar los sistemas para determinar si los datos y/o modelos utilizados contienen sesgos que podrían resultar en decisiones perjudiciales para las personas involucradas.
En muchas de estas aplicaciones críticas se utilizan tecnologías de Procesamiento del Lenguaje Natural (PLN), una subárea de la Inteligencia Artificial en la intersección de las ciencias de la computación y de la lingüística que se ocupa de las interacciones entre las computadoras y el lenguaje humano. Muchas disciplinas, como el análisis del discurso o la antropología lingüística, estudian el rol del lenguaje en la sociedad. Sin embargo, los estudios de los efectos perjudiciales de estas tecnologías se enfocan principalmente en los aspectos técnicos, propios del área de computación, mientras que la perspectiva desde las ciencias sociales tiene un rol mucho menos central en el desarrollo de tecnologías del lenguaje.
Las habilidades requeridas para crear un sistema no son las mismas que para evaluar o auditar. Nuestro objetivo es facilitar el acceso de profesionales de diversas áreas: comunicación, lingüística, filosofía, epistemología, entre otras, a niveles más altos de la jerarquía de la cadena de producción del conocimiento. En la actualidad existen barreras tecnológicas innecesarias que dificultan el diálogo entre saberes: queremos mantener la complejidad técnica necesaria, no la innecesaria. En este sentido, creemos necesario cambiar la perspectiva: pasar de desarrollos con lógicas competitivas y universalistas que buscan maximizar la productividad a una construcción colectiva, interseccional y adaptativa de las tecnologías. El objetivo de nuestro trabajo es facilitar el acceso de expertos sin perfil técnico a herramientas para inspeccionar algunos artefactos centrales de las soluciones basadas en PLN. Hemos desarrollado trabajo en a) relevar necesidades, b) frameworks y especialmente c) word embeddings. Nuestro proyecto está principalmente enfocado en word embeddings, herramienta tecnológica clave y de amplio uso en gran cantidad de aplicaciones de PLN.
Los word embeddings son representaciones de las palabras que mejoran el desempeño de las aplicaciones en las que se integran. Por ejemplo, buscadores de internet, el autocompletar de nuestros teclados, la traducción automática que nos ofrecen las redes sociales y las páginas web, el filtrado y priorización de contenidos a mostrar en redes sociales y en recomendadores de noticias, etc. Los word embeddings aprenden representaciones de palabras a partir de textos usando el contexto en el cual aparece la palabra.
Esta idea de representación de la palabra es similar a lo que hacemos los humanos: cuando escuchamos o leemos una palabra que no conocemos, intentamos deducir lo que significa usando el contexto. Por ejemplo, si un amigo me cuenta que comió durians por primera vez en una ensalada de frutas, yo deduzco que el durian es algo comestible y que además es una fruta.
De la misma manera, las computadoras aprenden el significado de las palabras usando word embeddings y grandes cantidades de textos, escritos por humanos, que contienen sesgos culturales y estereotipos. Esta herramienta construye representaciones de palabras que permiten a las computadoras, entre otras cosas, completar analogías. Por ejemplo: hombre es a rey lo que mujer es a ____ En este caso, el embedding contesta reina. Tokio es a Japón lo que París es a _____ y el word embedding contesta Francia. Pero si le preguntamos ¿hombre es a programador lo que mujer es a _____? El word embedding contesta ama de casa.
Este es un ejemplo de cómo los word embeddings aprenden o replican sesgos y estereotipos presentes en los textos: al construir la noción de significado utilizando el contexto de la palabra, como programador posiblemente aparece más frecuentemente en contextos masculinos y ama de casa en contextos femeninos, ocurren estas asociaciones poco deseables. Detectar esto es una tarea imposible de realizar por humanos, ya que habría que leer todos los textos que se utilizan para entrenar el word embedding, que en general son cantidades muy grandes de texto como por ejemplo todas las entradas de Wikipedia en Inglés o todas las noticias publicadas en Google News.
Nuestro proyecto está enfocado en desarrollar herramientas para detectar estos tipos de sesgos. En la actualidad existen diversas técnicas desarrolladas con este objetivo pero están pensadas para el idioma inglés y enfocadas a sesgos de género y raza. No solo esto, sino que además requiere que quien las usa disponga de amplios conocimientos en el área de Procesamiento del Lenguaje Natural. En nuestro proyecto adaptamos una herramienta fuertemente basada en la técnica desarrollada por Bolukbasi en el año 2016 pensada para el inglés, y la utilizamos para diagnosticar distintos tipos de sesgos además del sesgo de género en word embeddings en idioma Español, tales como sesgo de clase social, edad, origen.
Esta técnica permite modelar sesgos binarios y detectar asociaciones de palabras poco deseables. Por ejemplo para diagnosticar sesgos de género, simplificando el fenómeno como binario, se construyen los extremos del sesgo femenino y masculino utilizando listas de palabras. Para el espacio femenino podemos usar “ella, mujer, niña, madre, hermana” y para el masculino “él, hombre, niño, padre, hermano”. Luego de esto, podemos medir la asociación de algunas palabras respecto a estas, donde por ejemplo encontramos que ciertas profesiones están más asociadas con el género masculino o femenino, como programador y ama de casa en el ejemplo anterior. Esta técnica tiene la ventaja de que para su uso requiere de la construcción de listas de palabras permitiendo ocultar la complejidad matemática detrás de su uso.
Creemos que es necesario poner este tipo de herramientas en manos de quienes pueden observar diferentes aspectos del desarrollo e implementación de las tecnologías de Inteligencia Artificial: como por ejemplo las teorías feministas de construcciones comunitarias del conocimiento. Los feminismos interseccionales y decoloniales proporcionan las herramientas teóricas y metodológicas para desarrollar iniciativas de IA que tengan en cuenta las necesidades de las comunidades, colectivos y minorías afectadas por estas tecnologías. Hay cada vez más proyectos que encarnan valores feministas e interseccionales en términos de diseño, recopilación de datos y responsabilidad algorítmica. Estos proyectos contribuyen a la construcción colectiva comunitaria de inteligencia artificial, cuestionando la organización de poder que hay actualmente en la Inteligencia Artificial en el mundo.
Como se plantea en el Manifiesto de IA Decolonial: “Rechazamos el lenguaje normativo occidental de la IA «ética» y las sugerencias de «inclusividad» que no desestabilizan los actuales patrones de dominación ni abordan las asimetrías de poder”. No se puede hablar de ética en inteligencia artificial sin reconocer que quienes desarrollan estas tecnologías son grupos de poder.
Anexo – Material producido a lo largo de la beca:
- Video presentando el proyecto de mitigación de sesgos de género con Vía Libre
- Repositorio con listas de palabras en español
- Taller: Desaprendiendo estereotipos de género en aprendizaje automático: Notebook y la grabación del taller.
- Presentación al proyecto Tech Ethics Lab de Notre Dame Tech Ethics Lab Project
- Presentación al proyecto Fair Network (Copy of Diagnóstico y mitigación de sesgos desde América Latina) y resumen del proyecto en una página para la web (Resumen para web)
- Publicación sobre un ciclo de charlas y entrevistas realizadas el año pasado en el equipo
- de Ética en Inteligencia Artificial (luego puedo enviar el link cuando la publicación esté en la página de Fair Texto publicacion del hub
