El fenómeno conocido como “incitación a la radicalización hacia el extremismo violento» o «radicalización violenta” ha ido en aumento en los últimos años, especialmente gracias a internet y a las redes sociales. En el mundo virtual es posible comunicar y expresar puntos de vista e intenciones radicales y conectar con otras personas con intereses comunes.
El Plan Estratégico Nacional de Lucha Contra la Radicalización Violenta asume la radicalización violenta como uno de los principales riesgos para la seguridad nacional y articula la política del Estado en esta materia a través de una estructura integral y nacional que permite prevenir y evitar que los procesos de radicalización culminen en extremismo violento y/o en terrorismo. Uno de los ámbitos de actuación de este plan es el ciberespacio y la primera área funcional es la prevención, es decir, la actuación previa al surgimiento de los procesos de radicalización.
En la actualidad, uno de los retos más importantes de las agencias de seguridad es analizar la gran cantidad de información disponible en Internet. Es prácticamente imposible para los analistas humanos leer toda la información textual que se almacena en el ciberespacio, por ello cada vez más el big data y el data analytics son tecnologías que se posicionan como las más apropiadas para trabajar en estas temáticas ya que el análisis de grandes volúmenes de datos se puede realizar de manera más rápida mediante el uso de sistemas automáticos que busquen de signos de alarma y filtren la información a los analistas.
El proyecto PRACTICIES es una de estas iniciativas. Financiado por la Comisión Europea, este proyecto busca movilizar redes de ciudades europeas y personas expertas con el objetivo de entender mejor las raíces de la radicalización violenta, caracterizar estos procesos desde sus orígenes y construir herramientas concretas y prácticas de prevención. Desde Gradiant participamos en este proyecto como expertos en tecnologías digitales aplicables a la prevención y detección en materia de radicalización, concretamente con la utilización de tecnología de minería de textos basada en procesado de lenguaje natural (PLN) para identificar las potenciales amenazas o indicios de posibles situaciones que impliquen acciones de radicalización o violencia.
Procesado de Lenguaje Natural (PLN): algoritmos para analizar información
El primer paso para analizar la información disponible online es tener acceso a ella. Una de las herramientas para poder hacerlo de forma automática son los crawlers web, que permiten extraer información disponible en Internet en páginas web y redes sociales. Posteriormente, se pueden aplicar varios algoritmos de procesado de lenguaje natural sobre los datos obtenidos, con la finalidad de detectar comportamientos sospechosos que puedan indicar signos de extremismo violento. Estas técnicas son útiles para monitorizar y buscar información relevante en grandes cantidades de datos. Es importante remarcar que estas técnicas automáticas no pueden reemplazar a un analista humano, pero sí apoyar y facilitar su trabajo.
Dentro de los algoritmos disponibles, se pueden utilizar sistemas de clasificación automática que asignen a un texto una o varias etiquetas definidas a priori. Para ello es necesario definir inicialmente el número y tipo de etiquetas que se asignarán, de acuerdo con la especificación de requisitos del sistema. Por ejemplo, decidir si un texto representa o no un discurso de odio o si un texto indica que la persona que lo escribe está en fase de radicalización, etc. Posteriormente, se crea un modelo a partir de un conjunto de textos ya etiquetados correctamente, para que el sistema “aprenda” cómo clasificar a partir de este conocimiento proporcionado por “expertos”. Los sistemas se entrenan para que “trabajen” de manera autónoma, de tal forma que al final sea posible analizar nuevos textos obtenidos desde internet, a los que se les asigna una clase, o etiqueta, de forma automática, sin intervención humana.
Por otro lado, los sistemas de estilometría permiten obtener información sobre el autor del texto, como su género y edad o incluso nivel de estudios, lo cual no deja de ser una clasificación basada en las características del autor, utilizando las etiquetas necesarias para esta descripción. Además, mediante la semejanza entre términos y gracias a los algoritmos de agrupamiento es posible encontrar relaciones entre textos que tengan un contenido semántico similar, aunque no coincidan exactamente en los términos utilizados (por ejemplo, mediante el empleo de sinónimos). El reconocimiento de entidades nombradas permite encontrar automáticamente en el texto diferentes tipos de entidades, como personas, organizaciones, lugares, etc.
Este análisis puede utilizarse de forma independiente o como complemento a los anteriores, dando contexto a los resultados de clasificación que indiquen una actividad sospechosa; sin embargo, la dificultad a la hora de crear modelos realmente relevantes y útiles para detectar automáticamente las actividades radicales es el principal problema al que nos enfrentamos.
Como se ha mencionado anteriormente, para la creación de estos modelos son necesarios grandes conjuntos de textos ya etiquetados en las categorías que quieran utilizar y en el idioma en el que van a estar los textos que se van a analizar posteriormente. En general, un sistema automático funcionará mejor cuanto mayor sea la descripción del problema a abordar. Un sistema clasificador tendrá mayor precisión cuanto más objetivas sean las etiquetas seleccionadas. También es importante la interpretación que se realice de los resultados: los sistemas automáticos no tienen una precisión del 100%, entre otras cosas, porque la clasificación puede ser tan subjetiva que ni siquiera dos personas podrían coincidir en la etiqueta que habría que asignar a un determinado texto. Por lo cual, se debería entender el uso de sistemas automáticos como filtrado previo, útil en la reducción del tamaño de los textos a analizar, pero, por el momento, siempre es necesario un procesado posterior por parte de una persona, que confirme o descarte las sospechas del sistema.
Por ejemplo: la siguiente frase: “You’re fucking amazing” es considerada como tóxica con probabilidad 0.78 por el sistema de Perspective de detección de comentarios groseros, irrespetuosos o irracionales. Una persona probablemente consideraría ese comentario como un elogio, pero el sistema lo clasifica así porque incluye un término que suele estar relacionado con comentarios groseros, al menos en los textos con los que se ha creado el modelo que el Perspective está utilizando para “saber” clasificar.
Las redes sociales y los discursos de odio
En los últimos meses hemos visto como Facebook, Twitter y otras empresas de redes sociales han recibido advertencias por parte de la Unión Europea para que eliminen las publicaciones racistas y violentas de sus plataformas. En mayo de 2016, cuatro de estas empresas se comprometieron a revisar las publicaciones de discursos de odio señalados por los usuarios en 24 horas y eliminar cualquier contenido ilegal; sin embargo, en algunos casos las plataformas online tardan más de una semana en eliminar contenidos ilegales.
La Unión Europea quiere que las compañías inviertan más en detectar el discurso de odio, y trabajen con revisores de confianza que estén capacitados para saber lo que constituye un discurso de odio. Esta empresas disponen de mecanismos para denunciar contenidos maliciosos: Microsoft tiene un formulario abierto para informar sobre contenidos de odio en sus herramientas; Twitter anunció en diciembre de 2017 mejoras para reducir comportamientos de odio en esta red social y también proporciona un formulario de denuncia de contenido. Por su parte, el Ministerio de Interior del Gobierno de España pone a disposición de los ciudadanos dos teléfonos de las principales fuerzas de seguridad para denuncia de delitos de este tipo e incluso un teléfono informativo de contacto de la Oficina Nacional de lucha contra los delitos de odio. Asimismo, en Europa existen varias plataformas en contra de los discursos de odio, por ejemplo, el movimiento No hate speech, creado en Estrasburgo (Francia), tiene una página web con documentación y vídeos para concienciar a la sociedad sobre los delitos de odio, información sobre cómo denunciar estos delitos en diferentes países o marcar contenidos de este tipo en redes sociales para que sean revisados y eliminados.
Autora: Vanesa Fernández Díaz, investigadora – desarrolladora senior del área de Sistemas Inteligentes en Red (INetS) de Gradiant
