Introducción
Presentamos un mecanismo semi automático de respuestas a discursos de odio, basado en un sistema de sugerencias de contranarrativas que puede integrarse a las plataformas de redes sociales: cuando se encuentre un mensaje de odio, se recibirá una lista de sugerencias de contranarrativas con las cuales responder. Este sistema de sugerencias es de interés para las plataformas redes sociales y organizaciones no gubernamentales, que gastan muchos recursos en combatir el discurso de odio. Recibir una lista de sugerencias es preferible a redactar una respuesta por dos motivos: las sugerencias de la lista siguen lineamientos de buenas respuestas (se desarrollan a continuación) y por otro lado, es más rápido elegir una respuesta de una lista de sugerencias que redactar una desde cero.
El discurso de odio en redes sociales representa una problemática con graves consecuencias para la cuál no parece haber soluciones prácticas para hacerle frente. Se conoce como discurso de odio a aquél que públicamente expresa odio o promueve la violencia hacia una persona o grupo basado en características como raza, religión, orientación sexual, entre otros, por ejemplo:
«Si vas a una tienda [grupo religioso], estás apoyando a terroristas. Dejemos de darle nuestro dinero a estos [insultos religiosos]»
Las plataformas de redes sociales invierten muchos recursos monitoreando para detectar estos discursos y combatirlos con un enfoque clásico: limitar o eliminar los mensajes de los usuarios que los realizan o incluso bloquear sus cuentas. Este método suele ser acusado de censura y de ir en contra de la libertad de expresión, más aún, muchas veces produce el efecto contrario: quienes son censurados utilizan este hecho como supuesto argumento a favor de sus declaraciones, fomentando así la aparición de más mensajes no deseados.
El enfoque actual para afrontar estos problemas consiste en responder a estos discursos de odio siguiendo una serie de lineamientos (no ser abusivo, no difundir su odio, responder rápidamente, pensar en los objetivos al responder, intentar sumar el apoyo de referentes que sostengan el mismo punto de vista -opuesto al del discurso de odio, entre otros) de forma tal que el conjunto de respuestas conforme una contranarrativa, opuesta a la narrativa promovida por los mensajes de odio. Por ejemplo, una respuesta al mensaje de odio presentado anteriormente siguiendo estos lineamientos sería:
“La mayoría de los miembros del [grupo religioso], son gente pacífica y trabajadora, yendo a sus tiendas estás ayudando a estas personas y no a terroristas”.
Sistema de recomendación de contranarrativas
La enorme cantidad y diversidad de los discursos de odio hace que la tarea de escribir respuestas de forma manual, adaptadas a cada mensaje y siguiendo los lineamientos planteados anteriormente, sea demasiado ardua.
Por eso en este trabajo se desarrolló un sistema de sugerencias, que dado un discurso de odio, devuelve una lista de contranarrativas para ser utilizadas como respuestas. De esta manera, el usuario del sistema simplemente tendría que elegir una de las respuestas sugeridas por el sistema para responder al discurso de odio de forma adecuada, facilitando y acelerando así el proceso de respuesta. Por ejemplo:
«Si vas a una tienda [grupo religioso], estás apoyando a terroristas. Dejemos de darle nuestro dinero a estos [insultos religiosos]».
El sistema devolverá la siguiente lista de sugerencias (ordenadas de más a menos recomendable):
1. “La mayoría de los miembros del [grupo religioso], son gente pacífica y trabajadora, yendo a sus tiendas estás ayudando a estas personas y no a terroristas”.
2. “No todos los miembros del [grupo religioso], son terroristas ”.
3. “Que una parte radicalizada del [grupo religioso] sea terrorista, no significa que todos los miembros del [grupo religioso] lo sean. No se puede generalizar así”.
Puntualmente el sistema se basa en las relaciones existentes entre los discursos de odio y sus contranarrativas. Para poder analizar estas relaciones, las frases son representadas con vectores de números reales, generados con modelos de sentence embeddings. Cabe destacar que el sistema no genera nuevas contranarrativas, sino que devuelve una lista de sugerencias tomadas de un conjunto de contranarrativas ya redactadas. Sin embargo, el sistema es capaz de tomar como input discursos de odio que no ha visto con anterioridad y devolverá para cada uno de éstos una lista de contranarrativas sugeridas. Además, el mecanismo permite agregar nuevas contranarrativas al conjunto inicial, para ser usadas posteriormente, esto permite una mejora constante del sistema. Por último, la cantidad de contranarrativas sugeridas por el sistema es un parámetro que se puede modificar.
Implicancias para la sociedad
Contestar a los discursos de odio con respuestas adecuadas, además de lo mencionado, tiene la ventaja de que un tercero (quien no escribió el mensaje de odio ni la contranarrativa), puede leer argumentos en contra de estos mensajes no deseados, ampliando así su perspectiva en el asunto e incluso cambiando su forma de pensar.
Contar con un sistema como el propuesto en este proyecto, facilitará la tarea a las personas cuya labor consiste responder a estos discursos de odio, haciendo que tenga que elegir una contranarrativa a partir de una lista de sugerencias, acelerando el procedimiento de contestación, permitiendo así contestar a muchos más mensajes de odio, favoreciendo la construcción de la contranarrativa, debilitando así la narrativa que desean instaurar quienes escriben mensajes de odio.
