Hacer un uso ético de los algoritmos y de la inteligencia artificial (IA) es un pedido que cobró relevancia y da lugar a una discusión que se está llevando a cabo en diferentes foros a nivel mundial. Esta discusión tiene consecuencias claras a la hora de pensar políticas públicas que acompañen la incorporación de nuevas tecnologías a la sociedad. Más aún, de usar estas tecnologías para el bien común. Es imprescindible considerar los riesgos que el uso de la IA puede traer al ser incluida sin cuestionamientos en los mecanismos decisorios.
Empecemos con cuatro preguntas disparadoras: ¿debe regularse la incorporación de IA a los mecanismos decisorios y a la sociedad en general? ¿La incorporación de inteligencia artificial es diferente a otras situaciones que requieren algún tipo de regulación? ¿Cuáles son son los considerandos al pensar las políticas públicas o la definición del uso de IA para el bien común? ¿Por qué esta discusión debe darse cuanto antes en la esfera pública?
Esperando el año pasado
El impacto de los resultados de la discusión sobre ética e inteligencia artificial es directo porque los algoritmos ya están en uso en diferentes ámbitos, tomando decisiones en el mundo real. Frente a una situación concreta el algoritmo va a hacer algo. Va a decidir en una dirección u otra. Al enfrentarse a una situación de conflicto, un algoritmo va a ser forzado a tomar una determinada decisión.
Por tales motivos, estas discusiones son para que las personas que diseñan los algoritmos tengan en consideración el impacto de sus decisiones e incorporen visiones provenientes de distintas disciplinas para instruir sus desarrollos correctamente. Muchos de estos algoritmos están en funcionamiento en este momento. Hablamos de un problema de gran relevancia en el presente.
La idea de que la inteligencia artificial es el futuro y de que esta discusión es importante a futuro es errónea. El uso de IA está ocurriendo y nos afecta. Por la incorporación de algoritmos en numerosos procesos existentes, en la toma de decisiones en general, o incluso en sistemas informáticos en forma transparente o invisible. También, por la adquisición de artefactos que tienen estos algoritmos embebidos: desde cámaras de reconocimiento facial hasta generadores eléctricos de predicción de fallas.
El algoritmo en el castillo
Existen numerosos marcos conceptuales para la discusión sobre ética aplicada a inteligencia artificial, algunos de los cuales fueron propuestos como base para posibles regulaciones. En casos extremos, se trata de regular armamento autónomo (es decir, armamento que toma decisiones sin intervención humana, como por ejemplo elegir un determinado blanco). En casos no tan extremos, se trata de decidir a quién otorgar un crédito o quién debe tener prisión condicional.
Por lo general estos marcos incorporan muchos otros aspectos: privacidad, equidad, responsabilidad, transparencia. Algunos de estos marcos asumen principios éticos generales para las personas. Principios que dependen fuertemente de factores culturales, conceptos como “sentido en la vida” o “bien común”, creencias religiosas, y posiciones políticas. Es decir, principios que surgen de visiones universales muy distintas.
Además, si tenemos en cuenta que muchos algoritmos son entrenados con información y un diseño que no se ajusta a las realidades locales de cada país o región, se corre el riesgo de reproducir erróneamente principios éticos o costumbres propios de otras latitudes. Este hecho incrementa la urgencia con la cual esta discusión debe llevarse a cabo a nivel local. Para poder participar de esta discusión necesitamos una posición que refleje el punto de vista de la sociedad. Esta discusión se está llevando a cabo ahora. Y no necesariamente estamos invitados. Veamos algunos ejemplos.
La fe de nuestros jueces
Uno de los ejemplos más citados es el de COMPAS (por sus iniciales en inglés Correctional Offender Management Profiling for Alternative Sanctions). El sistema, desarrollado por la empresa Equivant (actualmente llamada Northpointe), es usado por jueces en varias Cortes de Estados Unidos para decidir si un acusado en un proceso judicial tiene altas chances de ser reincidente. Y, en esa línea, para decidir si una persona tendrá o no prisión preventiva. Si bien el sistema solo genera una recomendación (usando inteligencia artificial y basado en los antecedentes y otra información del acusado), en la mayoría de los casos los jueces han considerado la decisión de COMPAS como válida. O al menos se han expedido en la misma dirección.
En 2016, la ONG ProPública publicó un estudio mostrando que el algoritmo de COMPAS tenía un sesgo por el cual la gente de determinadas razas recibía un tratamiento discriminatorio. En ese sentido, que el algoritmo se inclinaba a favor de prisión preventiva con mayor probabilidad si la persona no era blanca. La discusión sigue hasta hoy: si bien la Corte Suprema ha indicado los riesgos, el sistema se sigue utilizando y sin dudas este algoritmo afecta la vida de muchísimas personas.
Sesgos, sesgos y sesgos
Los sesgos en los algoritmos pueden ocurrir por desbalances en las bases de datos con las que fueron entrenados o por decisiones propias que amplifiquen estas consecuencias. Por ejemplo, ImageNet es un dataset de imágenes frecuentemente usado para entrenar distintos clasificadores que está compuesto en un 45% por imágenes provenientes de Estados Unidos y en solo un 3% por ejemplos de China e India. La poca diversidad geográfica trajo consecuencias cuando algunos investigadores utilizaron este dataset para clasificar imágenes provenientes de India. Arrojó clasificaciones erróneas: la imagen de una mujer vestida de novia según las costumbres de este país fue clasificada como “disfraz” (1).
Además de estar desbalanceada, los datasets pueden incluir clasificaciones que eran previamente sesgadas.
Tal fue el caso de Amazon en 2014 (2)(3) cuando entrenó un clasificador de postulantes de empleo con una base de datos que penalizaba negativamente a las mujeres: el algoritmo arrojó resultados tan sesgados como la información de la cual se alimentó. Es clave que los reguladores entiendan que la discusión no es abstracta: tiene consecuencias concretas. Las conclusiones de esta discusión quedan codificadas en un algoritmo. Un auto autónomo deberá tomar una decisión al enfrentarse a una situación de vida o muerte, y esta discusión ética puede tener como resultado que el auto tenga codificada una determinada decisión u otra.
Respuestas complejas para desafíos complejos
La complejidad tecnológica del tema exige conocer detalles para entender qué conviene regular. También, qué puede regularse y para qué puede existir un mecanismo de aplicación. Aún más que en otros casos, la implementación de las regulaciones exige aplicación tecnológica y una mala definición puede llevar a decisiones que luego no son prácticas o aplicables. Algunas políticas en apariencia virtuosas pueden no ser aplicables, tener un costo absurdo o ser fácilmente tergiversadas.
El hecho de que el impacto sea concreto, real e inmediato, genera la necesidad de una validación práctica y concreta. Esta práctica requiere una fuerte vinculación entre reguladores, profesionales del derecho, la filosofía, sociología y demás disciplinas de interés. Además, requiere de la opinión de quienes usan estos algoritmos en la práctica. Ignorar cualquiera de estos elementos daría lugar a visiones incompletas. La práctica de la IA no es obvia ni intuitiva. La intuición y los principios generales no siempre aplican en estos casos y las soluciones que se propongan a los problemas éticos requieren una visión equilibrada que no evite ni ignore la complejidad.
Un bebé bailando viola derechos de autor
En 2006, Universal Music Group obligó a Youtube a dar de baja un video de un bebé bailando por violación de derechos de autor, porque de fondo se escuchaba en la radio la canción Let᾽s Go Crazy, de Prince. En total, son 29 segundos. Universal había invocado el DMCA (Digital Millennium Copyright Act), y bajo esta reglamentación YouTube debía bajar el video de inmediato. La EFF (Electronic Frontier Foundation), una ONG que defiende derechos básicos de las personas en el marco de las nuevas tecnologías, inició un juicio contra Universal por uso abusivo del DMCA.
El caso es un ejemplo de regulación de propiedad digital, pero en su inicio, lo más probable es que no se trate de una decisión humana: esta demanda no la inició Prince llamando enojado a Universal porque vio el video en YouTube ni una persona de Universal. Casi con certeza esto lo inició un robot de control de derechos de autor, que encontró el video y dentro del video una “huella acústica” que le indicó que había una canción de Prince. Este video pasó a formar parte de una lista de muchísimos videos que el robot envió a una agencia de abogados que trabajaba para Universal.
¿Hubo algún abogado o asistente que recorrió la lista y miró, video por video, cuáles tenían sentido y cuáles no? No, la lista posiblemente tuviera varios miles de URL y ningún ser humano los miró. En ese momento, cada minuto se subían unas 72 horas de video a YouTube. Para revisar esos videos sería necesario mirar 72 horas de video por minuto, solo para mirar los nuevos, sin incluir los históricos. La lista se armó en forma automática, tal vez la firmó un abogado y fue enviada en forma automática a YouTube, para que, de forma automática, dé de baja los videos.
Esto es un claro ejemplo de procedimientos pensados para humanos ejecutados por inteligencia artificial. Al reemplazar humanos con robots, cada vez más van a ocurrir estos casos. Son casos disparatados, pero impactan en nuestras vidas. Los robots no poseen sentido común, sean solo robots de software que viven en Internet o robots físicos con existencia real. La existencia de robots físicos empeora este problema, y potencia la posibilidad de procesos en los que los humanos dejan de participar. La automatización es cada vez más amplia y profundiza el problema. Entender cómo y por qué un robot toma la decisión es cada vez más relevante a la hora de entender qué debe mirarse con cuidado y qué debe regularse.
Pasajeros en tránsito
El ejemplo anterior muestra algunos problemas que puede traer la incorporación de IA en procesos pensados para humanos. Sin embargo, en el mundo de los datos y la inteligencia artificial es posible saltearse el proceso para mirar la información final, lo que da lugar a otros problemas.
Tomemos como ejemplo el pasaporte sanitario, un carnet de vacunación que indique que la persona fue inmunizada contra el COVID para acceder a bares, entretenimiento o viajes. Una política propuesta y puesta en marcha en varios países, muy necesaria para estos tiempos.
Con la aparición de sensores de biotecnología o de modelos predictivos avanzados que combinan sensores con otra información de cada individuo, es posible saber si la persona tiene anticuerpos, no si fue vacunada. Esto es mucho más útil: evita adulteraciones o falsificaciones, permite otras formas de adquisición de anticuerpos (como cursar la enfermedad), asegura controlar lo que realmente es relevante, no es posible perder el registro original (uno no puede perder su propio cuerpo pero sí el registro de la vacuna), etc.
Así de conveniente como es, el cambio de foco es enorme: estamos acostumbrados a políticas que controlan procesos y no resultados. Por lo general, las regulaciones consideran si las cosas se hicieron bien: se tomaron todos los recaudos, nos vacunamos, se siguió un protocolo, se cumplieron determinados requisitos. En muy pocos casos se regulan los resultados, mirando dentro de la persona como si fuera un alimento o un medicamento. Alguien puede saber si se vacunó o no, si hizo las cosas correctamente, si siguió un procedimiento, pero no puede saber si lo vacunaron correctamente y su cuerpo generó anticuerpos. Los requerimientos de contar con un PCR negativo son una muestra de que la sociedad empieza a aceptar este cambio. No se trata solo de haber respetado el procedimiento: se trata de mirar los datos sobre el individuo.
Esto no es una imagen futurista. Existen numerosas empresas de biotecnología que están trabajando con sensores. Algunas empresas cuentan con tecnología, basada en inteligencia artificial, que permite establecer si una persona tiene algún problema de salud usando imágenes y otra información que puede tomarse con un teléfono. La posibilidad de mirar datos para inferir cosas que una persona incluso ignora de sí misma se está convirtiendo en realidad (4).
Algunas recomendaciones
Como regla general es conveniente, al pensar estos temas, mirar atentamente los puntos de contacto entre los elementos virtuales y los reales. El mayor impacto de la IA está en sus efectos en el mundo físico y en nuestra realidad cotidiana. Por lo tanto, mirar esos puntos de interacción es una buena forma de encontrar los problemas más relevantes. Algunos ejemplos mencionados muestran esto: las armas autónomas (el problema es el algoritmo dirigiendo el arma física), los autos autónomos (que son forzados a tomar la decisión de frenar, en qué momento hacerlo y qué vida humana priorizar), la biotecnología. E incluso los puntos en que el sistema virtual brinda información para forzar, sesgar o influir en una decisión (es el ejemplo de COMPAS y su interacción con los jueces o del algoritmo de recruiting de Amazon).
En otras palabras, los conflictos éticos se evidencian en los puntos de contacto de la inteligencia artificial con el mundo físico. Aquellos individuos que se vieron perjudicados por el COMPAS, recibiendo penas más largas y sanciones más duras que otros con mayores antecedentes penales. O aquellas mujeres que se vieron discriminadas por su género a la hora de solicitar un empleo o un crédito. Estos son ejemplos de consecuencias concretas que la IA traspasó a la vida de las personas. Y en muchos de estos casos, estamos hablando de algoritmos que “ya vieron la luz”: están siendo actualmente utilizados para la toma de decisiones. El momento de actuar es ahora, no en un futuro lejano.
Con esto, la intención del artículo no es desalentar la utilización de estos algoritmos para tomar decisiones, sino puntualizar la importancia de que estos modelos y sus resultados deben pasar por exhaustivos controles de balance y equidad. Hay decisiones que se deben tomar para que la IA no amplifique aquellos sesgos que los humanos tenemos cotidianamente, sino que pueda servir como una herramienta para mitigarlos. Si la inteligencia artificial atraviesa estos “controles de calidad”, el potencial que tiene para aportar a una sociedad más justa es enorme. Correctamente entrenado, un algoritmo puede llegar a tomar mejores decisiones que los humanos porque no está afectado por juicios de valor, subjetividades o preferencias. No puede ser engañado ni comprado.
En el diseño de las posibles soluciones y controles a la inteligencia artificial, es necesario involucrar a un extenso conjunto de especialistas con conocimiento técnico, legal y ético. Como reforzamos a lo largo de la nota, hay extensas discusiones para llevar adelante en pos de tomar decisiones que deben contar con el aval de un conjunto de actores multidisciplinarios. La tarea es grande y ardua. Estos problemas nos afectan a todos y están sucediendo en este instante.
(1) Zou, James, and Londa, Schiebinger. «AI can be sexist and racist—it’s time to make it fair.» Nature 559, 324-326 (2018)
(4) Lo cual implica nuevos desafíos respecto a la privacidad y a la gestión de datos personales. Ver: Anónimos pero no tanto: cómo hacer una gestión de datos eficiente sin poner en riesgo la privacidad
