Cómo proteger a los menores de los deepfakes maliciosos 

Uno de cada cinco jóvenes en España asegura que, siendo menor de edad, alguien difundió imágenes suyas desnudo creadas con inteligencia artificial. Así lo recoge el último informe de Save the Children, que alerta sobre el creciente uso de herramientas de IA para la explotación sexual de menores en entornos digitales. Además, el 97% de los encuestados afirma haber sufrido algún tipo de violencia sexual en Internet durante su infancia o adolescencia. 

Este es el resultado de una encuesta realizada a más de mil jóvenes de entre 18 y 21 años. El informe distingue entre varias formas de violencia digital: desde la producción y difusión de material sexual de menores, pasando por el chantaje y la sextorsión, hasta la generación de contenidos manipulados mediante herramientas de IA. Estas tecnologías permiten crear imágenes falsas que luego son utilizadas para amenazar, extorsionar o humillar. 

Estos datos reflejan la necesidad urgente de encontrar herramientas que eviten estos usos maliciosos de esta tecnología. Por eso, estamos desarrollando soluciones que ayudan a detectar y frenar este tipo de abusos. 

La IA como herramienta de protección: así funciona fAIr 

fAIr es nuestra plataforma basada en inteligencia artificial para la detección de contenidos generados por IA. El objetivo es que sea una herramienta eficaz para luchar contra los usos maliciosos de la IA generativa, desde imágenes y vídeos manipulados hasta voces clonadas y proporcionar a empresas, administraciones y usuarios herramientas fiables para verificar la autenticidad del contenido digital. Además, también trabajamos para evitar que se manipulen fotografías con algunas de las herramientas de edición con Inteligencia Artificial más populares y accesibles. 

Gracias a su enfoque integral, fAIr analiza de forma cruzada audio, imagen y vídeo para detectar manipulaciones. Esto permite, por ejemplo, identificar si un vídeo aparentemente real ha sido generado artificialmente, si una voz ha sido clonada o si una imagen ha sido alterada con fines maliciosos. La detección se complementa con herramientas de trazabilidad que ayudan a rastrear cómo y dónde se ha difundido el contenido manipulado. 

En el contexto de menores, herramientas como fAIr podrían ser cruciales para prevenir la circulación de deepfakes sexuales, identificar rápidamente contenidos manipulados y proporcionar evidencia técnica que respalde procesos de denuncia o retirada de contenido. 

Hacia una legislación que proteja nuestra identidad digital 

Mientras la tecnología avanza, algunos países comienzan a dar los primeros pasos para garantizar la protección de la identidad en el entorno digital. Es el caso de Dinamarca, que está a punto de convertirse en el primer país de Europa en reconocer legalmente los derechos de autor sobre el rostro, la voz y el cuerpo de las personas. Esta reforma legislativa permitirá a cualquier ciudadano reclamar la retirada de contenido generado con inteligencia artificial sin su consentimiento, como vídeos falsos, audios manipulados o imágenes sexualizadas y solicitar compensaciones por daños. La medida busca frenar el auge de los deepfakes maliciosos, desde la pornografía no consentida hasta las estafas de voz y se plantea como un modelo a seguir en el ámbito europeo. Propuestas como esta muestran que la protección frente al uso indebido de la IA necesita, además de soluciones tecnológicas, herramientas legislativas adaptadas a los nuevos tiempos. 

De la amenaza digital al fraude multimillonario 

Los menores no son las únicas víctimas del uso malintencionado de la IA. En los últimos años hemos visto crecer otros tipos de fraudes que también aprovechan las capacidades generativas de esta tecnología. Desde la suplantación de identidad mediante clonación de voz (voice hacking), como las llamadas que simulan ser de un familiar secuestrado o de un CEO pidiendo una transferencia urgente, hasta el uso de imágenes manipuladas para fraudes “low-cost”, como reclamaciones falsas a plataformas de comida o aseguradoras. 

Según el estudio Deepfake Trends 2024, el fraude basado en contenidos sintéticos cuesta a las empresas más de 450 000 dólares de media, cifra que se eleva hasta los 637 000 en el caso de las fintech. Y aunque el 56% de las empresas confían en su capacidad para detectar estos fraudes, solo el 6% ha conseguido evitarlos realmente. 

¿Qué podemos hacer? 

Frente a esta nueva ola de ciberdelincuencia, no basta con confiar en el criterio humano. El ojo y el oído ya no son suficientes. Necesitamos tecnología que nos ayude a verificar lo que vemos y oímos. Y necesitamos que esa tecnología esté al alcance de quienes más lo necesitan: menores, educadores, familias, empresas y entidades públicas. 

Iniciativas como la propuesta de ley en Dinamarca mencionada, que otorgaría derechos de autor sobre el rostro y la voz a cada ciudadano, o campañas como #DerechosSinConexión de Save the Children son unos primeros pasos para proteger a la ciudadanía de los usos maliciosos de la IA.  Pero para que esas medidas sean efectivas, deben estar respaldadas por soluciones técnicas robustas. Desde Gradiant, con fAIr, queremos ser parte activa de esa protección. 

Esta publicación es parte de fAIr (Fight Fire with fAIr), financiado por la Unión Europea NextGeneration-EU y PRTR a través de INCIBE.  

Los puntos de vista y las opiniones expresadas son únicamente los del autor o autores y no reflejan necesariamente los de la Unión Europea o la Comisión Europea. Ni la Unión Europea ni la Comisión Europea son responsables de ellas.