Los sistemas basados en IA proveen aplicaciones beneficiosas en el ámbito de la administración pública, contribuyen a la eficiencia de los procesos gubernamentales y generan una amplia gama de servicios para la sociedad. Su uso también presenta riesgos, pero estos no pueden ser una limitante en esta transición digital. Es fundamental que los gobiernos diseñen estrategias que estimulen la implementación y el uso de estas tecnologías y que al mismo tiempo incorporen las normas éticas necesarias para minimizar sus riesgos. Para abordar estas necesidades, Fundar y la Subsecretaría de Políticas Públicas Basadas en Evidencia (SSPPBE) del Gobierno de la Ciudad de Buenos Aires han trabajado de manera conjunta en la creación de esta guía de ética algorítmica para políticas públicas.
Introducir IA en el Estado y enfrentar sus riesgos éticos
En la actualidad, el sector público se encuentra cada vez más inmerso en el empleo de este tipo de tecnologías para llevar a cabo una amplia variedad de tareas y ofrecer servicios esenciales. La mayoría de estos sistemas se basan en datos y se utilizan para proporcionar información crucial para la ciudadanía, optimizar la asignación de recursos, agilizar los procedimientos gubernamentales y respaldar a funcionarios en la toma de decisiones. Son una herramienta clave para mejorar la gestión pública.
No obstante, según experiencias recolectadas de distintas fuentes, la ética en IA hoy en día se resuelve en general como un proceso ad hoc y a posteriori. Los problemas se detectan cuando ya ocurrieron, y las acciones necesarias para arreglarlos se realizan en forma de parches, una vez que parte del daño ya está hecho.
En este contexto, es necesario que las áreas gubernamentales adopten estrategias de regulación y evaluación para guiar el desarrollo y el uso ético de estas herramientas con el fin de proteger a la ciudadanía de los posibles riesgos asociados a su implementación.
Ocho principios éticos de IA (y preguntas guía para abordarlos)
El principal objetivo de esta guía es disponibilizar herramientas de trabajo para lograr un desarrollo e implementación confiables y éticos de los sistemas basados en IA. Plantea ocho principios éticos y aporta herramientas concretas con el fin de minimizar los impactos potencialmente negativos que el uso de estas tecnologías puedan tener.
Esta guía constituye una hoja de ruta con pasos a seguir a lo largo de las etapas de diseño de sistemas basados en IA. Un manual con las preguntas que toda persona que esté trabajando el tema debería hacerse.
Fue diseñado a partir de las necesidades locales y testeada y validada en el campo. Incluye dos casos reales de aplicación, ejemplos de uso de esta guía en el diseño de programas del Gobierno de la Ciudad de Buenos Aires.
1_ Propósito con el cual se crea un sistema basado en IA
Los sistemas deben ser diseñados y utilizados con un propósito claro y beneficioso para la sociedad y las personas. Se parte entonces de la presunción de que la IA no se crea con fines maléficos o dañinos; y que los beneficios proporcionados por la aplicación de la IA deben superar a sus potenciales riesgos negativos.
Los algoritmos de IA se pueden clasificar por su propósito en dos grupos principales:
- de propósito particular, si tienen un fin específico que queda codificado en la función objetivo a ser optimizada por el algoritmo de IA. Por ejemplo, aquellos algoritmos que clasifican imágenes en categorías, detectan elementos específicos o recomiendan películas basadas en los gustos de cada usuario. Estos no pueden ser utilizados con fines diferentes de aquellos para los que fueron creados, y por lo tanto presentan un bajo riesgo ético.
- de propósito general. Están diseñados para resolver una amplia variedad de problemas. Son versátiles y adaptables a situaciones distintas. Por ejemplo, algoritmos de IA generativa que crean imágenes, voces, videos o textos a partir de comandos de entrada, o imitan a un humano en una conversación de chat. Como tienen un gran e indefinido grado de libertad, también representan una mayor probabilidad de riesgo asociado a la posibilidad de que sean usados de formas distintas a las previstas durante su diseño y desarrollo.
Definir el propósito del algoritmo de IA. Dar un diagnóstico del contexto en el cual va a ser aplicado. Definir posibles usos y aplicaciones del algoritmo y el contexto de su aplicación (por ejemplo, población objetivo, qué servicio ofrece, etc).
2_ Colaboración con expertos en la materia de aplicación
Para todo sistema basado en IA existen desafíos específicos respectivos a cada área de aplicación de los mismos. Es necesario que se considere entonces el conocimiento experto de cada área de aplicación específica de estos sistemas, por ejemplo para asegurar que estos funcionan de manera acorde al propósito con el que fueron creados.
¿Se consultó con especialistas en el/las área/s de aplicación del algoritmo de IA? ¿Cuáles fueron sus recomendaciones y/o advertencias?
3_ Seguridad
No se puede asegurar que los sistemas basados en IA (al igual que los sistemas informáticos en general) sean 100% seguros y no presenten fallas no previstas o vías por las cuales estos sistemas puedan ser hackeados o vulnerados de maneras creativas. El principio de seguridad desde el diseño (SdB, por sus siglas en inglés, Security by Design) implica evaluar los potenciales riesgos que los sistemas puedan presentar e implementar las prevenciones o soluciones desde el comienzo mismo de su desarrollo (desde la etapa de diseño). Permite minimizar o eliminar la necesidad de reacondicionar o establecer parches de seguridad en etapas posteriores del desarrollo de los mismos.
Definición de la función objetivo. ¿Está totalmente alineada al propósito del sistema o es aproximada? Considerar problemas de seguridad que esta función objetivo podría tener.
4_ Trazabilidad
Si bien el entrenamiento de un algoritmo de IA tiene componentes o parámetros aleatorios que hacen que éste no pueda ser replicado independientemente de manera idéntica a la original, mantener un registro de las acciones y los datos utilizados durante todo el proceso de desarrollo del sistema permite la comprensión y replicación del desarrollo. Habilita que un proyecto de IA sea tomado por un equipo de desarrolladores/as ajenos al proyecto y que éstos puedan volver a crear el mismo algoritmo en las mismas condiciones con que fue creado en primer lugar.
La trazabilidad permite identificar los motivos detrás de cualquier problema que surja posteriormente y corregirlo de manera efectiva. Además, es un aspecto clave de la transparencia detrás de estas tecnologías, ya que no permite que existan partes de los sistemas cuyo desarrollo sea desconocido o incierto para otros programadores, reguladores de estas tecnologías o usuarios.
¿Cuál es la fuente de los datos? ¿Cómo se obtienen? ¿Hay consentimiento de la fuente, las personas o las organizaciones? En caso de utilizar código de programación para obtenerlos, hay que documentar el código.
5_ Protección de datos personales y privacidad
Como sabemos, los sistemas basados en IA necesitan una gran cantidad de datos para ser entrenados. Este principio se centra entonces en garantizar que tales sistemas respeten y salvaguarden la privacidad y la información de las personas u organizaciones contenidas en estos datos. Involucran temas tales como:
- consentimiento informado que las personas deben dar a las empresas;
- la limitación de la finalidad, por la que las empresas solo deben recolectar y usar datos personales para fines específicos y legítimos;
- la minimización de datos, que exige que las empresas sólo recolecten los datos para cumplir con el propósito especificado (y no más que los necesarios);
- la exactitud, mediante la cual las empresas deben tomar medidas razonables para garantizar que los datos personales sean precisos y estén actualizados;
- el acceso y rectificación, que implica el derecho de los titulares a acceder a sus datos personales y solicitar su corrección o eliminación si son inexactos o innecesarios.
La privacidad y la protección de datos personales y confidenciales son aspectos esenciales para generar confianza en la IA, ya que evita el riesgo de discriminación, abuso o violaciones de los derechos fundamentales de las personas. Entre las diversas formas de garantizar este principio, se sugiere limitar los datos de entrada con los que se alimentan los algoritmos de IA, eliminar datos confidenciales, personales o privados, y realizar una anonimización exhaustiva de los mismos.
En este proceso de anonimización, ocupan un lugar especial los datos personales sensibles, aquellos que revelan información especialmente delicada sobre una persona como su origen racial o étnico, opiniones políticas, creencias religiosas, afiliación sindical, orientación sexual, datos biométricos, datos de salud, etc. Estos datos requieren una protección adicional debido a su naturaleza sensible y el potencial riesgo de discriminación o violaciones a la intimidad que podrían derivar de su tratamiento inadecuado.
Describir de manera general los datasets que se utilizan para entrenar el algoritmo. ¿Cuál es su tamaño? ¿Qué variables contiene? Hacer una descripción general de cada variable y tipo de dato que contiene. ¿Hay variables que contengan información personal o confidencial?
6_ Sesgos y justicia algorítmica
Los sesgos se refieren a una incorrecta o injusta representación de una población o fenómeno por parte de los datos, por ejemplo, a través de una recolección parcial o incorrecta de los mismos, o por sesgos ya existentes en la sociedad.
Los algoritmos de IA son entrenados con datos y no solo aprenden los sesgos presentes en los mismos sino que pueden amplificarlos. Una cuestión de gran relevancia es si los algoritmos pueden generar respuestas sesgadas a partir de datos que en principio no presentan sesgos.
En este sentido, no solo es crucial investigar y comprender los sesgos presentes en los datos, sino también abordar y corregir los posibles sesgos inherentes a los algoritmos. Estos sesgos pueden manifestarse incluso cuando los datos de entrada no contienen sesgos evidentes.
La inexistencia de sesgos nunca se podrá asegurar en un 100%, por lo que se deben llevar a cabo la mayor cantidad de pruebas que permitan lograr los resultados más justos e inclusivos posibles. Se debe probar y testear el algoritmo una vez entrenado para que no contenga sesgos en ninguna de las dimensiones relevantes.
Realizar un análisis de sesgos en el algoritmo finalizado. ¿Qué criterios de sesgos se probaron? Definir valores aceptables de sesgos.
7_ Explicabilidad y transparencia
Una característica importante de la mayoría de los algoritmos de IA es que son tan complejos y flexibles que muchas veces no podemos entender ni explicar ―a priori― cómo es que codifican la información necesaria para dar explicaciones razonables de cómo llegan a sus resultados. Su transparencia tiene límites duros: sus resultados, predicciones o decisiones no son necesariamente explicables ni siquiera por las personas que los diseñan o programan.
8_ Autonomía y responsabilidad
A medida que estos sistemas son cada vez más usados para la toma de decisiones, pueden surgir dudas sobre cuánta autonomía debe delegarse sobre ellos y quiénes son los responsables de sus acciones, en particular si se utilizan en contextos sensibles para la ciudadanía. Por ejemplo, un algoritmo de IA que conduce un vehículo de manera autónoma puede encontrarse en una situación crítica en la cual tiene que decidir si priorizar el bienestar de los peatones o el de los pasajeros del vehículo. Este tipo de dilemas no tienen respuestas definitivas y poseen la dificultad adicional de que los sistemas basados en IA pueden tomar decisiones mucho más rápido que lo que pueden reaccionar los humanos para corregirlas.
A medida que se le da a los algoritmos más poder y autonomía, es cada vez más importante evaluarlos, regularlos y asegurar que tengan el suficiente control humano. Es importante entender cómo garantizar que las personas afectadas por estos sistemas sean amparadas si los sistemas automatizados toman decisiones que los perjudican. La ética detrás de estas tecnologías implica la necesidad de hacer responsables a las personas y organizaciones que las crean de responder por ellas.
Este documento es parte de una serie de guías prácticas que buscan proveer herramientas concretas para el trabajo con datos en políticas públicas.
— Guía práctica para la protección de datos personales en salud
— Guía práctica para caracterizar a la población objetivo de una política pública a partir de registros administrativos
— Guía práctica para la protección de datos
— Guía práctica para el uso de imágenes satelitales en la definición de políticas públicas
