La difícil convivencia entre la inteligencia artificial y los derechos fundamentales: la tecnología deepfake

151 CAPÍTULO 5 LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS FUNDAMENTALES: LA TECNOLOGÍA DEEPFAKE Inmaculada Jiménez-Castellanos Ballesteros Profesora Asociada de Derecho Constitucional Universidad de Sevilla Universidad CEU Fernando III1 Sumario: 1. INTRODUCCIÓN. 2. LA TECNOLOGÍA DEEPFAKE. 3. LOS DEEPFAKES COMO MANIFESTACIÓN DE LA LIBERTAD DE EXPRESIÓN Y DE LA LIBERTAD DE CREACIÓN ARTÍSTICA. 4. EFECTOS NEGATIVOS DE ESTA TECNOLOGÍA. 4.1. Las libertades informativas y el derecho fundamental de participación política. 4.2. El derecho fundamental a la tutela judicial efectiva. 4.3. El derecho fundamental a la propia imagen. 4.4 Los derechos fundamentales al honor, a la integridad moral y a no sufrir discriminación. 4.5. El derecho fundamental a la protección de datos personales. 5. MEDIDAS LEGISLATIVAS. 6. A MODO DE CONCLUSIÓN. 7. BIBLIOGRAFÍA. 1. Introducción En el espacio virtual, la creciente expansión de las plataformas digitales, como las redes sociales, han transformado la manera en que nos comunica1 Este texto sirvió de base para la comunicación presentada en las IV Jornadas Internacionales sobre Inteligencia Artificial y Protección de datos organizadas por la Facultad de Derecho, de la Universidad Nacional de Educación a Distancia (UNED), Universidad de Girona y Universidad de Almería. Este artículo se enmarca en el proyecto de investigación: «Eficiencia tecnológica, dignidad y derechos humanos. ¿Quo vadis, humanidad, en la era de la IA?» dentro de la Convocatoria de Ayudas a Proyectos de Investigación en Líneas Estratégicas Identitarias CEU 2024-2025. Entidad: Coordinación de Universidades CEU (Fundación Universitaria San Pablo CEU) 2024-2025. Fecha resolución: 23 de enero de 2025. 152 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL mos y han tenido un profundo impacto sobre nuestros derechos fundamentales. Paralelamente, estamos asistiendo a vertiginosos cambios provocados por el avance de la Inteligencia Artificial (IA). El llamado constitucionalismo digital2, a diferencia del analógico, ya no está dirigido a reaccionar contra la violación de los derechos fundamentales que provienen de los poderes públicos, sino a garantizar la libertad frente a las amenazas para la persona procedentes de las grandes empresas tecnológicas, así como, protegerla contra las nuevas formas de agresión a la dignidad humana en el entorno online. Bajo esta concepción humanista, la ética de la IA persigue reafirmar valores como la dignidad, la libertad, la democracia, la igualdad, la autonomía del individuo y la justicia frente al gobierno de un razonamiento mecánico3. En este sentido, la Unión Europea y también el Consejo de Europa representan un ejemplo de la necesidad de implementar nuevos marcos normativos que traten de encontrar un equilibrio entre los beneficios de la tecnología y el respeto a los derechos fundamentales. Muchos son los desafíos a los que nos estamos enfrentando en el mundo virtual. Es de destacar el cambiante panorama mediático, unido, por su carácter sensacionalista, al auge del poder de la imagen como estrategia de comunicación. Estas circunstancias, y otras como la accesibilidad de las aplicaciones, la agilidad y la gratuidad del acceso a contenido digital, han propiciado la creciente popularidad de los deepfakes. Esta tecnología es producto de la IA y supone la generación o manipulación de imágenes o vídeos de una persona, pública o anónima, sin su consentimiento, a partir de otros preexistentes. El resultado es manifiestamente realista y su naturaleza adulterada imperceptible para el ser humano. Pueden utilizarse para una amplia variedad de propósitos, con impactos tanto positivos como negativos en los derechos fundamentales. En el primer caso, es necesario resaltar sus beneficios que rara vez se enfatizan desde una perspectiva constitucional4, no solo para la humanidad en general sino también para sectores específicos como el entretenimiento o la investigación, y como manifestación de derechos tan imprescindibles como la libertad de expresión. La realidad es que esta tecnología está en todo su esplendor porque resulta cada vez más barata y fácil de usar, como lo demuestran las plataformas para compartir vídeos que están muy demandadas entre los más jóvenes. Sin embargo, no conviene olvidar que para el ser humano se hace difícil distinguir lo falso de lo real, por lo que el apogeo de los deepfakes exige redoblar los esfuerzos para generar confianza en este uso de la IA. En este 2 De Gregorio, G., «The rise of digital constitutionalism in the European Union International», International Journal of Constitutional Law, vol. 19, Issue 1, 2021, pp. 41-70. 3 AEPD, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción, 2020, p. 7. Disponible en: https://www.aepd.es/guias/adecuacion-rgpd-ia.pdf. 4 Cotino Hueso, L., «Cómo abordar jurídicamente el impacto de la inteligencia artificial en los derechos fundamentales» en Casas Bahamonde, M.E. (dir.), Derechos y Tecnologías, Fundación Ramón Areces, 2025, p. 125. 153 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... sentido, existe una creciente preocupación por el empleo de esta herramienta para finalidades lesivas, en concreto, el recurso a los deepfakes como una nueva forma de violencia digital contra las mujeres y las niñas. Por la importancia que han adquirido actualmente, la revisión de su regulación, que ya se ha tenido en cuenta en la Unión Europea y se prepara en España, se ha convertido en una necesidad urgente e ineludible. 2. La tecnología deepfake El término deepfake tiene su origen en la combinación de dos expresiones anglosajonas: deep learning, aprendizaje profundo (un conjunto de técnicas que permiten a la IA aprender a reconocer formas) y fake, falso. Este neologismo se aplica a una técnica de creación de imágenes humanas que aprovecha la IA generativa a través de redes neuronales específicas llamadas GAN (Generative Adversarial Networks). Las GAN son algoritmos de aprendizaje automático que pueden analizar un conjunto de imágenes (datos) y crear otra nueva con un nivel de calidad similar. Esta IA destaca como uno de los modelos generativos de más éxito, especialmente por su capacidad para crear imágenes realistas de alta resolución5. Los deepfakes, también conocidos como ultrafalsificaciones, son contenidos de vídeo, imagen o audio hiperrealistas, manipulados o generados digitalmente mediante IA, para presentar a personas diciendo o haciendo algo que, en realidad, nunca ha ocurrido. El realismo es tal que para el ojo o el oído humano es imposible apreciar que el archivo ha sido falseado. Actualmente, sería necesario un peritaje informático avanzado para poder detectar un deepfake. Nos encontramos, por tanto, con dos grandes retos: por un lado, identificar la ultrafalsificación y por otro, probar su falsedad6. Dentro de su tipología existen variantes. Así, los «deepfaces», son aquellos que tienen como finalidad la manipulación o creación de imágenes o vídeos (conocidos como «deepvideo portraits»), a partir de otros preexistentes en los que se reemplaza al original, creando contenido digital con apariencia de ser real; y los «deepvoices», que clonan una voz concreta, o bien la unen a la voz real de un individuo, generando una pista de voz artificial para que parezca real. Estos últimos resultan más sencillos de crear que los primeros7. 5 Casagrande, R., Spaticchia, U., «Nuevas formas de violencia de género: entre la deepreal y la deepfake», Studia Humanitatis Journal, n.º 1, 2025, p. 43. 6 Deepfake Detection Challenge, «Innovating to detect deepfakes and protect the public». Disponible en: https://www.gov.uk/government/case-studies/innovating-to-detect-deepfakes-and-protect-the-public 7 Badiola Coca, S., «Deepfakes pornográficos y menores. Policy Brief -El caso Almendralejo», en Varona. G (dir.), Victimología didáctica y aplicada: análisis de casos, Laborum, 2025. p. 231. 154 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL Son múltiples las posibilidades de producción de contenidos a través de esta tecnología. A modo de ejemplo podemos citar síntesis de imágenes de cara nuevas (no preexistentes), suplantaciones de identidad (intercambiando la cara de una persona por otra), manipulación de atributos (edición de caras o retoques: color de piel, pelo, ojos, edad o género), cambios de expresión (recreación facial), sincronización del movimiento de los labios con un discurso, reproducción de movimientos o adición de filtros en tiempo real en videoconferencia8. La regulación de esta tecnología se encuentra, en gran medida, dentro del marco normativo de la IA llevado a cabo por la Unión Europea. En el artículo 3.60) del Reglamento (UE) del Parlamento europeo y del Consejo de 13 de junio de 2024 en materia de inteligencia artificial (RIA), se define la ultrasuplantación como «un contenido de imagen, audio o vídeo generado o manipulado por una IA que se asemeja a personas, objetos, lugares, entidades o sucesos reales y que puede inducir a una persona a pensar erróneamente que son auténticos o verídicos». Este instrumento normativo adopta un enfoque basado en el riesgo. Los deepfakes se contemplan explícitamente como «sistemas de IA utilizados para generar o manipular contenido de imagen, audio o vídeo», que deben cumplir ciertos requisitos mínimos, especialmente en lo que respecta al etiquetado. A día de hoy, no se incluyen en la categoría de «alto riesgo» ni en la categoría de «prohibidos». No obstante, al ritmo de los avances tecnológicos, el uso de los deepfakes para generar contenido nocivo probablemente evolucionará a un sistema de IA de alto riesgo9. Por su parte el Convenio Marco sobre IA, Derechos Humanos, Democracia y Estado de Derecho de 17 de mayo de 2024, del Consejo de Europa es el primer tratado internacional vinculante que promueve la innovación y establece principios sólidos y claros para el diseño, desarrollo y aplicación de sistemas de IA en relación con los derechos humanos, la democracia y el Estado de Derecho. Si bien no contempla específicamente los deepfakes, el Convenio de IA puede desempeñar para los Estados no miembros de la UE que se adhieran al mismo, un papel normativo y jurídico importante. Para la UE y sus Estados miembros que ratifiquen el Convenio, complementará al RIA y fortalecerá la protección de los derechos. Por tanto, es un instrumento normativo, 8 Simó Soler, E., «Retos jurídicos derivados de la Inteligencia Artificial Generativa. Deepfakes contra las mujeres como supuesto de hecho», InDret, revista de análisis del derecho, n.º 2, 2023, p. 496. 9 Directrices de la Comisión Europea sobre prácticas prohibidas en materia de inteligencia artificial establecidas por Reglamento (UE) 2024/1689 (Ley IA) Bruselas, 4.2.2025, p. 50: «Las prohibiciones del artículo 5(1)(a) y (b) de la Ley de IA tienen por objeto prevenir conductas nocivas que puedan constituir o dar lugar a delitos, como el fraude, la falsificación, las estafas, la coacción o la generación y difusión de contenido ilícito, como el contenido terrorista, el material de abuso sexual infantil, el discurso de odio y los deepfakes sexualmente explícitos». 155 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... con capacidad de integración casi constitucional en los ordenamientos jurídicos de los Estados parte y cuenta con gran potencial interpretativo10. 3. Los deepfakes como manifestación de la libertad de expresión y de la libertad de creación artística Son múltiples las potencialidades que esta tecnología ofrece en el campo de la cultura, el arte11, el cine12, la producción audiovisual, el marketing, la publicidad, la moda o la educación. Los productores cinematográficos pueden, por ejemplo, mediante el manejo de la voz, crear doblajes en diferentes idiomas o corregir errores de pronunciación de los actores; y mediante la manipulación de imágenes, adaptar la edad de los actores para rejuvenecerlos o envejecerlos o incluso devolverlos a la vida. Recientemente, un vídeo generado por OmniHuman-1, ha resucitado a Albert Einstein, ganador del Premio Nobel de Física en 1921. Hoy es posible escucharlo dando clases en la universidad13. Asimismo, pueden utilizarse con el fin de detectar, prevenir, investigar o enjuiciar delitos14 o en el campo de la investigación y los tratamientos médicos15. En su mayoría, los usos de esta técnica encuentran actualmente su lugar en la industria del entretenimiento, con fines paródicos o satíricos, provocando hilaridad ante el hipotético supuesto de que alguien exprese o diga algo que en situaciones normales nunca se produciría. Los antecedentes más próximos a los deepfakes satíricos o paródicos serían las caricaturas y los imitadores16. Manifestaciones por tanto de las libertades de expresión y creación artística reconocidas en nuestro ordenamiento jurídico en el artículo 10 Cotino Hueso, L., «Cómo abordar jurídicamente el impacto de la inteligencia artificial en los derechos fundamentales», op. cit., pp. 138-139. 11 El Salvador Dalí Museum de San Petersburgo, Florida (USA) https://thedali.org/ 12 Un ejemplo bien conocido es la película ganadora del Premio de la Academia a los Mejores Efectos Visuales en 2009: El curioso caso de Benjamin Button. A lo largo de toda la película, se utilizan manipulaciones asistidas por computadora del rostro del actor Brad Pitt para crear la ilusión de revertir el envejecimiento, Parlamento Europeo, Tackling deepfakes in European Politics, Unidad de prospectiva científica, 2021, p. 7. 13 Agencia de Noticias Científicas, «La IA lo hizo otra vez: Albert Einstein vuelve a la vida», 6 de febrero de 2025, Disponible en: https://agencia.unq.edu.ar/?p=25812 14 Vid. Almagro Martin, J., «Tratamiento procesal de la prueba del deepfake», Derecho Digital e Innovación, n.º 21, 2024. 15 Una mujer recupera el habla tras sufrir un ictus gracias a una neuroprótesis entrenada con inteligencia artificial https://www.rtve.es/noticias/20250331/mujer-recupera-habla-ictus-neuroprotesis-entrenada-inteligencia-artificial/16515138.shtml 16 Climent Gallart, Ja., «Los deepfakes satíricos o paródicos. Análisis desde la perspectiva del Derecho Europeo», Revista Bolivariana de Derecho, n.º 39, 2025, p. 58. 156 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL 20 de la Constitución Española (CE). Así la STC 23/2010, en su FJ 5 dispone: «En los casos en los que la caricatura se elabora mediante la distorsión de la imagen fotográfica de una persona, resulta evidente que se viene a afectar al derecho a la propia imagen de la persona representada, si bien tal afección puede venir justificada por el legítimo ejercicio de la libertad de expresión o, incluso, de la libertad de creación artística. Desde el punto de vista de la libertad de expresión, la caricatura constituye, desde hace siglos, una de las vías más frecuentes de expresar mediante la burla y la ironía críticas sociales o políticas que, en tanto que elemento de participación y control público, resultan inescindibles de todo sistema democrático, y coadyuvan a la formación y existencia de una institución política fundamental, que es la opinión pública libre, indisolublemente ligada con el pluralismo político, que es un valor fundamental y un requisito del funcionamiento del Estado democrático». Con frecuencia, por tanto, «es una forma de expresión artística y crítica social que con su contenido inherente de exageración y distorsión de la realidad persigue naturalmente la provocación y la agitación»17. Cuando así suceda, el uso manipulativo de la imagen ajena podrá constituir un ejercicio legítimo del derecho a la libertad de expresión en la medida que contribuya al mantenimiento de una opinión pública crítica y plural y que la identificación de la falsedad sea apreciable. El Convenio europeo de derechos humanos (CEDH) considera a la libertad artística como una exteriorización de la libertad de expresión (artículo 10)18; y el artículo 13 de la Carta de derechos fundamentales de la Unión Europea (CDFUE) señala que las artes y la investigación científica son libres. Como todos los derechos fundamentales, estas libertades no son absolutas. El valor que para la formación de la opinión pública y libre circulación de ideas puedan tener determinados deepfakes no implica que esta sea su única finalidad. Supondrán una intromisión ilegítima en otros derechos fundamentales cuando su intención sea desinformar, engañar o denigrar a la persona afectada mediante la injuria, el insulto o la promoción del discurso del odio. Si bien es cierto que los límites de la crítica admisible serán más amplios respecto de personajes públicos que en relación con los particulares19. 4. Efectos negativos de esta tecnología Hoy en día, la IA se ha convertido en una herramienta al alcance de cualquiera como lo demuestra la proliferación de aplicaciones que permiten su uso de manera sencilla, rápida y gratuita. No hacen falta conocimientos téc17 STEDH Vereinigung Bildender Künstler c. Austria, de 25 enero de 2007, § 33. 18 El TEDH utiliza el término de libertad de expresión artística. STEDH, caso Consejo Nacional de la Juventud de Moldavia c. República de Moldavia, de 25 de junio de 2024. 19 STEDH caso Dickinson contra Turquía de 2 de febrero de 2021. 157 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... nicos específicos para el uso de esta tecnología. Desafortunadamente, el empleo de estas técnicas no siempre responde a finalidades legítimas. El problema no es en sí la IA sino el uso que se hace de ella. Quien genera la obra es, en realidad, la IA —el proveedor tecnológico—, pero a la persona física se le tendrá por autor por el mero hecho de introducir un prompt, indicándole a la máquina el resultado deseado20. Dado el alto nivel de realismo que este tipo de tecnología deepfake permite alcanzar, surgen riesgos para los derechos fundamentales. Tal y como recoge el considerando 133 RIA, estos sistemas tienen importantes repercusiones en la integridad del ecosistema de la información y en la confianza en este, haciendo surgir nuevos riesgos de desinformación y manipulación a escala, fraude, suplantación de identidad y engaño a los consumidores. 4.1. Las Libertades informativas y el derecho fundamental de participación política En términos generales, por tanto, el primer derecho fundamental que se vería afectado, dada la naturaleza de los deepfakes, sería el derecho a recibir una información veraz21. Esta IA se utiliza en ocasiones con el fin de provocar desinformación para inducir a engaño, por lo que suponen una amenaza para los sistemas democráticos. Los deepfakes pueden falsear el debate público, dañar la reputación de políticos, manipular las elecciones y, en definitiva, lesionar el derecho de participación política22. 20 En este sentido, Climent Gallart, J.A., «Los deepfakes satíricos o paródicos. Análisis desde la perspectiva del Derecho Europeo», op. cit., p. 50. Comúnmente se pueden identificar cinco principales actores o partes involucradas en la creación, el uso y la difusión de un deepfake. Primero, la víctima cuya identidad, ya sea a través de su imagen o voz puede ser suplantada con el deepfake. Segundo, el autor quien normalmente es la persona que crea el deepfake a través de la tecnología disponible. Tercero, la audiencia o el público en general que puede descargar el archivo para reproducirlo y posteriormente compartirlo. Por otro lado, está el proveedor tecnológico que es el encargado de facilitar el software o la tecnología utilizada para la creación del deepfake; y finalmente las plataformas tecnológicas o proveedores de servicios de comunicaciones a través de los cuales se pueden difundir los deepfakes. Es importante destacar que los deepfakes puede ser creados y difundidos por distintos autores y tienen la posibilidad de viralizarse rápidamente y en forma masiva a través de distintas plataformas, y dependiendo del contexto en el que son utilizados, pueden causar un alto impacto y daño a víctimas que pueden estar localizadas en diferentes países. VELASCO, C., «Deepfakes como servicio. Un análisis desde la perspectiva del ciberdelito» en ARELLANO TOLEDO, W. Derecho, Ética e Inteligencia Artificial, Tirant lo Blanch, 2023. p. 398. 21 Según la STC 105/1983, FJ 11, se trata de un derecho doble que se concreta en comunicar la información y recibirla de manera libre en la medida en que la información sea veraz. 22 Rubio Nuñez, R., «El uso de la inteligencia artificial en las campañas electorales y sus efectos democráticos», Revista de derecho político, n.º 122, 2025. 158 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL Estamos asistiendo a un cambio en el panorama mediático, pues las noticias ya no son distribuidas únicamente por los medios de comunicación tradicionales y por los profesionales de la información, sino que evolucionan hacia un contenido generado por el usuario, lo que dificulta, si no imposibilita, un consenso sobre códigos de conducta éticos. Simultáneamente, las imágenes, especialmente en línea, se están convirtiendo en el modo de expresión dominante. Como resultado, los deepfakes podrían transformarse en una fuente importante de poder informativo en un futuro cercano23. Ante esto, la tendencia social más preocupante es la aparente erosión de la confianza en las noticias y la información, la confusión entre hechos y opiniones, e incluso la propia «verdad»24. La mera existencia de deepfakes alimenta la desconfianza en cualquier clase de información, ya sea verdadera o falsa. En este sentido, de acuerdo con el informe del Parlamento Europeo «Tackling deepfakes in European Politics», los deepfakes pueden adoptar diferentes formas. En primer lugar, pueden presentarse como información concluyente, de tal manera que la ficción resultaría muy difícil de distinguir de la realidad para un ciudadano común. En segundo lugar, la desinformación puede complementarse con materiales deepfakes para aumentar su potencial. Y, por último, los deepfakes pueden usarse en combinación con técnicas de microtargeting política. Estos deepfakes dirigidos pueden ser especialmente impactantes. El microtargeting es un método publicitario que permite a los productores enviar deepfakes personalizados que impactan fuertemente sobre una audiencia específica25. En estos casos el Derecho ha reaccionado estableciendo para los responsables del sistema de IA unas obligaciones de transparencia. El Parlamento europeo, ya en una resolución de 12 de febrero de 2019, solicitaba a la Comisión que garantizara que quienes produjeran materiales falsos o vídeos sintéticos o cualquier otro tipo de vídeos modificados realistas, indicaran explícitamente que no se trataba de vídeos originales (la cursiva es nuestra). En la Unión Europea, el Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre, relativo al mercado único de Servicios 23 Parlamento Europeo, Tackling deepfakes in European Politics, op. cit., 2021, p. 2 24 El ejemplo más paradigmático de este problema lo relató Rob Toews en la revista Forbes, ocurrió en Gabón. Durante largos meses de 2018, su presidente, Ali Bongo, no apareció públicamente. Los rumores sobre su estado de salud e incluso su muerte obligaron al gobierno a revelar que Bongo había sufrido un accidente cerebro vascular, pero que estaba recuperándose y que daría un discurso para Año Nuevo. La rigidez y aparente artificialidad de los movimientos del líder en el mensaje grabado rápidamente despertaron la psicosis de la oposición: el vídeo es falso, exclamaron. Una semana después, y apoyándose en la aparente acefalía, una fracción del Ejército quiso dar un golpe de Estado en Gabón, aunque luego fue reprimido por el propio Bongo. El vídeo no había sido alterado. Disponible en: https://www.perfil.com/noticias/opinion/deepfake-o-el-fin-de-la-realidadcomo-la-conociamos.phtml 25 Parlamento Europeo, Tackling deepfakes in European Politics, op. cit., 2021, p. 24. 159 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... digitales (Digital Service Act, DSA), dispone en su artículo 35.1K) que los prestadores de plataformas y de motores de búsqueda en línea de gran tamaño aplicarán medidas de reducción de riesgos razonables, proporcionadas y efectivas, teniendo especialmente en cuenta sus consecuencias sobre los derechos fundamentales (la cursiva es nuestra), entre las que incluye «K) garantizar que un elemento de información, ya se trate de imagen, audio o vídeo generado o manipulado que se asemeja notablemente a personas, objetos, lugares u otras entidades o sucesos existentes y que puede inducir erróneamente a una persona a pensar que son auténticos o verídicos se distinga mediante indicaciones destacadas cuando se presente en sus interfaces en línea, aparte de proporcionar una funcionalidad fácil de utilizar que permita a los destinatarios del servicio señalar dicha información, (la cursiva es nuestra)26. A su vez, el RIA, fiel a la consideración de los deepfakes como sistemas de riesgo limitado, en el artículo 50.4 impone a los responsables del despliegue de un sistema de IA que genere o manipule imágenes o contenidos de audio o vídeo que constituyan una ultrasuplantación que hagan público que estos contenidos o imágenes han sido generados o manipulados de manera artificial. Esta obligación no se aplicará cuando la ley autorice su uso para detectar, prevenir, investigar o enjuiciar delitos. Cuando el contenido forme parte de una obra o programa manifiestamente creativos,satíricos, artísticos, de ficción o análogos, las obligaciones de transparencia se limitarán a la obligación de hacer pública la existencia de dicho contenido generado o manipulado artificialmente de una manera adecuada que no dificulte la exhibición o el disfrute de la obra. El incumplimiento de dicho deber será sancionado según elartículo 99.4 g) RIA. Las dudas que plantea esta clasificación de los 26 Para Gutiérrez García habría sido deseable que las obligaciones impuestas a los prestadores de servicios de intermediación sobre los deepfakes y su identificación hubieran sido más exigentes para los mismos. La garantía de transparencia requerida por el Reglamento de Servicios Digitales en relación con este tipo de contenido no se impone a los prestadores. Éstos deberán aplicar medidas para la reducción de los riegos que se puedan derivar de su diseño, funcionamiento o uso, pero entre esas medidas no está «necesariamente» la de garantizar la transparencia de las ultrafalsificaciones en los términos referidos. Es cierto que las plataformas en línea pueden no estar en condiciones de conocer la engañosa naturaleza de un contenido concreto alojado por los destinatarios de su servicio ni están sujetas a la obligación de monitorización general de la información que almacenen. Sin embargo, deberían, al menos, proporcionar de manera preceptiva «una funcionalidad fácil de utilizar que permita a los destinatarios del servicio señalar dicha información», tanto por parte del usuario que comparte la ultrafalsificación como por aquél otro que detecta razonablemente la falsedad del contenido. Y ello, con independencia del tamaño del prestador —no sólo los de «muy gran tamaño»— y de su voluntad. Vid. Gutiérrez García, E., Inteligencia artificial y derechos fundamentales hacia una convivencia en la era digital, Colex, 2024, pp. 152-153. El Código de conductas sobre desinformación bajo la DSA, que entrará en vigor en julio de 2025, será un referente para determinar el cumplimiento de la Ley de servicios digitales por parte de las plataformas. https://digital-strategy. ec.europa.eu/en/library/code-conduct-disinformation. 166 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL afectada. En estos casos, cabría el ejercicio del derecho de rectificación en los términos del artículo 85.2 de la LOPDGDD. La CDFUE (artículo 7) y el Convenio de Roma (artículo 8) no lo contemplan explícitamente, sino dentro del derecho al respeto a la vida privada y familiar. Y este último expresamente lo reconoce en el artículo 10 como límite a la libertad de expresión. El derecho al honor no es un concepto estático e inmutable, sino que, como ha señalado el TC, es un concepto jurídico que, aunque expresa de modo inmediato la dignidad constitucional inherente a toda persona, depende, en parte, de las normas, valores e ideas sociales vigentes en cada momento, por lo que comporta un margen de imprecisión que ha de irse reduciendo por la concreción judicial42. En todo caso, se trata de un derecho que «ampara la buena reputación de una persona, protegiéndola frente a expresiones o mensajes que la hagan desmerecer en la consideración ajena al ir en su descrédito o menosprecio»43. Los deepfakes también pueden suponer una intromisión ilegítima en la integridad moral (artículo 15 CE), por la creación no consentida y difusión en línea, de vídeos o imágenes de contenido sexual que mayoritariamente tienen a la mujer como objeto. No afectarían al derecho fundamental a la intimidad por cuanto la imagen generada con esta tecnología en realidad es falsa44. Las primeras aplicaciones de esta tecnología surgieron para editar rostros de personas famosas en vídeos sexuales sin su consentimiento. Este tipo de abuso causa graves daños a las víctimas, que difícilmente pueden parar su difusión. La intención de estos deepfakes suele ser chantajear, invadir la privacidad, extorsionar para obtener beneficios económicos (sextorsión)45 o simplemente busca fines de venganza con la consiguiente pérdida de dignidad para la víctima46. Para dar una medida del alcance de esta actividad en línea, destaquemos que casi siempre es imposible rastrear dónde se comparte este 42 STC 46/2002, de 25 de febrero FJ6. 43 Por todas, SSTC 185/1989, de 13 de noviembre, F. 4; 176/1995, de 11 de diciembre, F. 3; 180/1999, de 11 de octubre, F. 4; y 52/2002, de 25 de febrero, F. 5). (STC 51/2008, de 14 de abril [j 9], F. 3) 44 La imagen que se protege en el ámbito penal (artículo 197.1 CP) es la imagen verídica, quedando excluida la que es objeto de manipulación. Vid. Jareño Leal, A. «El derecho a la imagen íntima y el Código Penal. La calificación de los casos de elaboración y difusión de deepfake sexual», Revista Electrónica de Ciencia Penal y Criminología, n.º 26-09, 2024, p. 6. 45 Sextorsión utilizando un montaje fotográfico realizado con inteligencia artificial https:// www.incibe.es/linea-de-ayuda-en-ciberseguridad/casos-reales/sextorsion-utilizando-un-montaje-fotografico-realizado-con-inteligencia-artificial 46 En este sentido en el Reino Unido https://www.gov.uk/government/news/better-protection-for-victims-thanks-to-new-law-on-sexually-explicit-deepfakes. Vid. Velasco, C. «Deepfakes como servicio. Un análisis desde la perspectiva del ciberdelito», op. cit., pp. 399-410. 167 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... contenido en las redes sociales, porque además suele ser en grupos de mensajería privada o canales cerrados, a menudo por personas conocidas por las víctimas. Un caso impactante, por tratarse de menores de edad, es el que ocurrió en septiembre de 2023, en la localidad de Almendralejo donde, más de 20 niñas de entre 11 y 17 años fueron víctimas de esta tecnología. El Juzgado de Menores de Badajoz, en sentencia de 20 de junio de 2024, consideró como hechos probados que los 15 menores de edad imputados utilizaron una aplicación de IA (ClothOff) para manipular imágenes de otras menores. Así pues, a través de las imágenes reales de los rostros de las chicas obtenidos de sus perfiles de las redes sociales, les superponían imágenes de otros cuerpos femeninos desnudos. Por ello se les declaró responsables de 20 delitos de pornografía infantil y 20 delitos contra la integridad moral. Se trata de un delito de pornografía infantil independientemente de que las imágenes no sean reales y se hayan creado con esta o con otra tecnología. Además, se le impuso a cada uno de ellos la medida de libertad vigilada durante un año, teniendo como finalidad que los menores recibieran formación afectivo sexual, sobre uso responsable de las tecnologías de la información y la comunicación y sensibilización en materia de igualdad y género (artículo 14 CE)47. Lo que implica que estos deepfakes tienen una importante repercusión en la violencia de género48. 4.5. Derecho fundamental a la protección de datos personales Técnicamente, los mecanismos de deepfake se basan en las redes neuronales del deep learning —Deep neural networks— para el procesamiento de información, dado que les permite analizar y almacenar grandes cantidades de datos con el objetivo de aprender las expresiones faciales, el timbre de voz o los gestos. Posteriormente, los algoritmos de Deep learning —especialmente la tecnología de mapeo facial— interpretan las características de los datos analizados y las relaciones existentes entre ellas, evaluando la información relevante y consiguiendo, por tanto, intercambiar la cara o voz de una persona —en vídeo, fundamentalmente— por otra con elevado grado de verosimilitud49. Podemos decir, por tanto, que los deepfakes afectan directamente al derecho fundamental a la protección de datos personales en la medida en que la imagen y la voz son datos personales que permiten identi47 Badiola Coca, S., «Deepfakes pornográficos y menores. Policy Brief - El caso Almendralejo», op. cit., p. 238. 48 Vid. Barba Arteaga, C., «Deepfakes sexuales: impacto, prevención y perspectivas de género en el entorno digital», Miguel Hernandez Communication Journal, n.º 15, 2024. 49 Bello San Juan, P., «La inteligencia artificial al servicio del crimen: Una revolución del deepfake desde una perspectiva criminológica», en Fontestad Portales, L (dir.), La justicia en la sociedad 4.0: nuevos retos para el siglo XXI, Colex, 2023, p. 230. 168 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL ficarnos y diferenciarnos de los demás50. Estos usos de la IA plantean riesgos de suplantación de identidad y generan importantes peligros para la seguridad de la información. Las normas generales para el tratamiento de datos personales se establecen en el Reglamento General de Protección de Datos, Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD) y en la LOPDGD. El término «tratamiento de datos personales» —artículo 4.2 RGPD— es amplio y abarca todos los posibles usos de datos personales durante el ciclo de vida de un deepfake. Esto tiene implicaciones relevantes tanto para los desarrolladores de esta tecnología como para los creadores de deepfakes, ya que los datos personales no solo se utilizan para crear deepfakes específicos sino también para entrenar el software empleado para su creación. Por tanto, el RGPD se aplica al desarrollo de software y aplicaciones deepfake, así como a la creación y difusión de deepfakes51. El RGPD establece que el tratamiento de datos personales siempre requiere una base de legitimación. Existen seis posibles fundamentos jurídicos para el tratamiento de datos personales. Sin embargo, solo el «consentimiento informado» y los «intereses legítimos» son susceptibles de ser considerados en el contexto de los deepfakes. Cuando el creador de esta IA alega tener un interés legítimo en procesar los datos personales de alguien, como pudiera ser, por ejemplo, un deepfake irónico que represente a un personaje público, podrá invocar el ejercicio de la libertad de expresión con fines satíricos o de comentario político. Cuando no existe un interés legítimo, el uso de datos personales para la creación y difusión de deepfakes debe estar sujeto al consentimiento de las personas que aparecen en el vídeo. De conformidad con lo dispuesto en el artículo 4.11 RGPD, se entiende por consentimiento del afectado toda manifestación de voluntad libre, específica, informada e inequívoca por la que este acepta, ya sea mediante una declaración o una clara acción afirmativa, el tratamiento de datos personales que le conciernen52. En estos casos se debe obtener el consentimiento tanto de la persona o personas que aparecen en el vídeo original como de la persona o personas que aparecen en el vídeo manipulado, ya que se procesan los datos personales de todas ellas. El tratamiento de los datos personales de un menor de edad mayor de catorce años únicamente podrá fundarse en su consentimiento. El tratamiento de los datos de los menores de catorce años, fundado en el consentimiento, 50 Grupo de Trabajo del Artículo 29, Dictamen 4/2007 sobre el concepto de datos personales, p. 8. 51 Parlamento Europeo, Tackling deepfakes in European Politics, op. cit., 2021, p. 38. 52 Artículo 6.1 LOPDGDD. 169 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... solo será lícito si consta el de los titulares de la patria potestad o tutela, con el alcance que determinen estos. El artículo 84.1 LOPDGDD dispone con carácter general que los padres, madres, tutores, curadores o representantes legales procurarán que los menores de edad hagan un uso equilibrado y responsable de los dispositivos digitales y de los servicios de la sociedad de la información a fin de garantizar el adecuado desarrollo de su personalidad y preservar su dignidad y sus derechos fundamentales53. Si los creadores de deepfakes no obtienen el consentimiento previo, en función de lo que establece el artículo 83.5 del RGPD y el artículo 72 LOPDGDD se considerarán infracciones muy graves, pues suponen una vulneración sustancial del principio de tratamiento de datos personales legítimo basado en el consentimiento previo del afectado y, más aún, tratándose de menores de edad. En estos casos de tratamiento de datos personales ilícito, el afectado podrá ejercitar el derecho de supresión de conformidad con el artículo 17 RGPD. El ejercicio de este derecho sólo puede solicitarlo la persona afectada, y en caso de tratarse de menores de 14 años, sus progenitores o tutores legales. Primeramente, es pertinente contactar con quien subió el contenido solicitándole su eliminación. Ante la negativa, es necesario solicitar el borrado a la red social o el portal de vídeo en que se ha publicado el deepfake, acreditando la identidad del solicitante e indicando qué enlaces son los que contienen los datos que se quieren suprimir. La plataforma debe resolver sobre el ejercicio del derecho de supresión en el plazo máximo de un mes a contar desde la recepción de la misma54. Transcurrido ese plazo sin respuesta expresa o si es insatisfactoria, ya quedaría libre la vía para interponer la correspondiente reclamación ante la Agencia Española de Protección de Datos (AEPD), acompañando la documentación acreditativa de haber solicitado la supresión ante la entidad de que se trate. Asimismo, las personas afectadas por los deepfakes que hayan sido difundidos en redes sociales y servicios equivalentes tendrían derecho al ejercicio del derecho al olvido digital. El artículo 94 LOPDGDD dispone que «Toda persona tiene derecho a que sean suprimidos los datos personales que le conciernan y que hubiesen sido facilitados por terceros para su publicación por los servicios de redes sociales y servicios de la sociedad de la información equivalentes cuando fuesen inadecuados, inexactos, no pertinentes, no actualizados o excesivos o hubieren devenido como tales por el transcurso del tiempo, teniendo en cuenta los fines para los que se recogieron o trataron, el tiempo transcurrido y la naturaleza e interés público de la información. Del mismo modo deberá procederse a la supresión de dichos datos cuando las circunstancias personales que en su caso invocase el afectado eviden53 Artículo 92 LOPDGDD. 54 Artículo 12.3 RGPD. 170 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL ciasen la prevalencia de sus derechos sobre el mantenimiento de los datos por el servicio. Se exceptúan de lo dispuesto en este apartado los datos que hubiesen sido facilitados por personas físicas en el ejercicio de actividades personales o domésticas». El derecho al olvido respecto de datos que hubiesen sido facilitados al servicio por el afectado o por terceros, durante su minoría de edad, no requiere de ningún requisito. El prestador del servicio o red social deberá proceder sin dilación a su supresión por su simple solicitud. En tales supuestos, el creador del deepfake no se podría acoger a la excepción de actividad doméstica prevista en el artículo 2.2 c) RGPD en una red social donde haya limitación de acceso y actividad personal; y, por tanto, le sería de aplicación la normativa de protección de datos, cuando incluya entre sus contenidos datos personales de terceros de carácter sensible, como son los de contenido sexual. De acuerdo con el Dictamen 5/2009 del Grupo de Trabajo del artículo 29 «los datos personales sensibles sólo pueden publicarse en Internet con el consentimiento explícito de la persona interesada o si esta misma persona ha hecho públicos estos datos». En estos casos, la AEPD en 2019, abrió lo que llamó un «canal prioritario» para solicitar la retirada exprés y urgente de material «sensible». Es decir, fotos y vídeos de carácter sexual difundidos sin la autorización de la persona que aparecía en las imágenes. Los deepfakes que representan a personas fallecidas plantean no solo desafíos jurídicos, sino también éticos55. El RGPD no se aplica a la protección de los datos personales de las personas fallecidas, pero los Estados miembros pueden establecer normas específicas al respecto56. En virtud de la LOPDGDD, el acceso a la imagen de una persona fallecida gestionada por los prestadores de la sociedad de la información corresponde a las personas vinculadas al fallecido, así como sus herederos, a menos que la persona lo haya prohibido expresamente o así lo establezca una ley57. Además, el uso de la imagen de los familiares y amigos vivos por parte del proveedor del deepfake —por ejemplo, para el entrenamiento de esta IA— también requeriría de su consentimiento. Y el artículo 3 de la LOPDGDD establece que los herederos o familiares del fallecido pueden ejercer los derechos de acceso, rectificación, supresión y oposición al tratamiento de sus datos personales, a menos que el fallecido se hubiese negado expresamente o una ley disponga lo contrario. El responsable del despliegue deberá hacer público que estos contenidos o imágenes han sido generados o manipulados de manera artificial. Adicionalmente, si el deepfake se destina a alguna de las finalidades contempladas en el Anexo III RIA, podría ser considerado un sistema de 55 Vid. Cucurull Poblet, T., «Vida más allá de la muerte: la legalidad de la resurrección digital», Revista de Derecho Civil, n.º 1, 2025. 56 Considerando 27 RGPD. 57 Artículo 96 LOPDGDD. 171 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... IA de alto riesgo, quedando sujeto a obligaciones más estrictas, incluyendo obligaciones de transparencia, supervisión humana, evaluación de riesgos y evaluación de conformidad. Tal es el caso, por ejemplo, si el deepfake utiliza datos biométricos para inferir emociones. Como hemos señalado, el RGPD otorga a las personas afectadas por el contenido de un deepfake ilegal el derecho de rectificación y el derecho de supresión, y la AEPD es responsable de garantizar y hacer cumplir dicha normativa. Sin embargo, en el contexto de los deepfakes, la vía legal para las víctimas puede ser bastante compleja. En muchos casos, les resultará imposible identificar al autor, quien a menudo opera de forma anónima. A modo de garantía, el artículo 84.2 LOPDGDD señala que la utilización o difusión de imágenes o información personal de menores en las redes sociales y servicios de la sociedad de la información equivalentes que puedan implicar una intromisión ilegítima en sus derechos fundamentales determinará la intervención del Ministerio Fiscal, que instará las medidas cautelares y de protección previstas en la Ley Orgánica 1/1996, de 15 de enero, de Protección Jurídica del Menor. 5. Medidas legislativas A nivel europeo, la DSA, además de las obligaciones de transparencia para los prestadores de plataformas y de motores de búsqueda en línea de muy gran tamaño, prevé en su artículo 16 mecanismos para minimizar la propagación de deepfakes nocivos, permitiendo que cualquier persona física o entidad notifique a las plataformas en línea la presencia en su servicio de contenidos ilícitos. Igualmente, estarán obligados a atender las órdenes de actuación que reciban en este sentido de las autoridades judiciales o administrativas, sin que en ellos descanse la obligación general de monitorización de todo el contenido alojado en sus servidores. La DSA permite exigir responsabilidades a las plataformas en línea, particularmente las redes sociales, cuando no actúen con celeridad para retirar o bloquear el acceso al contenido ilícito, en cuanto tengan conocimiento o consciencia de esa ilicitud. Las restricciones dirigidas a la retirada o el bloqueo de material en línea deberán estar basadas en una justificación suficiente, con el fin de evitar abusos y promover la transparencia. Como garantía, la medida podrá ser evaluada por órganos internos de gestión de reclamaciones, así como por medio de la resolución extrajudicial de conflictos, lo que no impide el ejercicio de la tutela judicial efectiva ante los tribunales ordinarios. Estas medidas pretenden garantizar la libertad de expresión de los creadores de contenido y, también, los derechos fundamentales de las víctimas de contenido ilícito mediante la imposición de obligaciones a las plataformas en línea sin perjuicio del reconocimiento de la libertad de empresa de estas que aparece consagrada en el artículo 16 CDFUE. 172 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL En el ámbito nacional, el gobierno de España ha presentado y remitido a la Mesa del Congreso de los Diputados el Proyecto de ley orgánica sobre la protección de los menores en los entornos digitales58. Con anterioridad se habían presentado otras proposiciones de ley con el objeto de luchar contra las simulaciones de imágenes y voces de personas generadas por medio de la IA59. Este proyecto de ley orgánica encuentra su fundamento constitucional en el de artículo 20.4 CE, así como en el artículo 39 CE, que recoge el derecho a la protección integral de la infancia. También constituye antecedente de este proyecto la Ley Orgánica 8/2021, de 4 de junio, de protección integral a la infancia y la adolescencia frente a la violencia (LOPIVI). Paralelamente, esta propuesta responde a diferentes indicadores, tanto de las instituciones europeas —la Estrategia para los derechos de la infancia 2021-2024—, como de diferentes actores nacionales, por ejemplo, el Instituto Nacional de Ciberseguridad (INCIBE). El principal objetivo de este proyecto de ley es promover, como recoge la exposición de motivos, medidas para garantizar la dignidad, el respeto a los derechos fundamentales y el interés superior del menor a través de la protección de la infancia y adolescencia en entornos digitales. En concreto: el derecho a la salud física y mental; el derecho a la educación, en nuevas tecnologías, según su edad y grado de madurez; los derechos fundamentales a la libertad de expresión e información y a recibir información veraz; el derecho al acceso a Internet seguro; los derechos fundamentales al honor, a la intimidad, a la propia imagen, al secreto de las comunicaciones y a la protección de datos personales y el derecho fundamental a no sufrir discriminación. Entre las medidas que propone la norma, encontramos diferentes categorías. En primer lugar, medidas tecnológicas, tales como obligaciones dirigidas a los proveedores tecnológicos de informar en sus productos de los posibles riesgos derivados de un uso inadecuado de las tecnologías y, de incluir sistemas de control parental en los dispositivos digitales. En segundo lugar, medidas educativas, para el fomento de las competencias digitales y el uso responsable de las tecnologías. En tercer lugar, medidas reforzadas de protección frente a la violencia de género y sexual digital, reconociendo la condición de víctimas a los efectos de la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección 58 https://www.congreso.es/public_oficiales/L15/CONG/BOCG/A/BOCG-15-A-52-1.PDF 59 Sobre la Proposición de Ley orgánica del Grupo Parlamentario Sumar de 13 de octubre de 2023 retirada en marzo de 2024 vid. Trujillo Cabrera, C., «El derecho a la propia imagen (y a la voz) frente a la inteligencia artificial», Indret: revista de análisis del derecho, n.º 1, 2024, pp. 94-95 y Jareño Leal, A., «El derecho a la imagen íntima y el Código Penal. La calificación de los casos de elaboración y difusión de deepfake sexual», op. cit., pp. 17-18. 173 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... Integral contra la Violencia de Género y de la Ley Orgánica 10/2022, de 6 de septiembre, de garantía integral de la libertad sexual, respectivamente. En cuarto lugar, medidas de carácter sanitario, con el objetivo de conocer los efectos del impacto negativo que los contenidos digitales lesivos tienen para el bienestar físico y emocional de los menores. En quinto lugar, medidas dirigidas al sector público para fomentar la colaboración público-privada mediante acciones proactivas y eficaces de información y formación sobre entornos digitales seguros para los menores de edad y sus familias. Entre las medidas legislativas incluidas en el proyecto de ley, la protección de la infancia y adolescencia en los entornos digitales puede requerir la acción por parte de las plataformas en línea a través de la interrupción de un servicio de la sociedad de la información que ofrezca acceso ilimitado a contenido gravemente perjudicial al desarrollo físico, mental y moral de los menores de edad. Para ello se propone la reforma de la Ley Orgánica del Poder Judicial y de la Ley de la Jurisdicción Contencioso-Administrativa a fin de exigir autorización judicial a las medidas de interrupción de un servicio digital que ofrezca un acceso sin límites a contenido nocivo para menores de edad o la de retirada de dicho contenido, pues tales restricciones pueden llegar a afectar a derechos fundamentales como la libertad de expresión o el derecho de información, que deben contar con esta garantía. Paralelamente este proyecto de ley reconoce la necesidad de una reforma del Código Penal. Según su exposición de motivos, algunos tipos delictivos tecnológicos dirigidos a la protección de los menores de edad ya habían sido recogidos por las últimas reformas del Código Penal, fundamentalmente a través de la LOPIVI, donde por primera vez se habla de violencia digital. A través de esta iniciativa gubernamental, primeramente, se incorpora la pena de alejamiento de los entornos virtuales, que consiste en la prohibición de acceso o de comunicación a través de redes sociales, foros, plataformas de comunicación o cualquier otro lugar en el espacio virtual, cuando el delito se comete en su seno. En segundo lugar, se aborda específicamente el tratamiento penal de los deepfakes. A tal fin se incorpora un nuevo artículo 173 bis, que sanciona a quienes, sin autorización de la persona afectada y con ánimo de menoscabar su integridad moral, difundan, exhiban o cedan su imagen corporal o audio de voz generada, modificada o recreada mediante sistemas automatizados, software, algoritmos, IA o cualquier otra tecnología, de modo que parezca real, simulando situaciones de contenido sexual o gravemente vejatorias. Las ultrafalsificaciones generalmente se difunden en el ciberespacio, con la potencialidad de permanencia que ello implica y, además, conllevan un aumento de la lesividad por la enorme dificultad de distinguir entre el contenido falso y el real, debido a la precisión de las nuevas tecnologías y por el mayor grado de veracidad que mantenemos respecto de materiales 174 INTELIGENCIA ARTIFICIAL Y PROTECCIÓN DE DATOS: DESAFÍOS EN LA ERA DIGITAL audiovisuales sobre materiales escritos60. Técnicamente, según la exposición de motivos, se opta por la sanción de la difusión de las ultrafalsificaciones de contenido sexual (las llamadas deepfakes pornográficas) o especialmente vejatorio en sede de delitos contra la integridad moral porque, en virtud del principio de consunción, se abarcarían los supuestos de lesión de la integridad moral y también los ataques contra el honor, ya que ha de tomarse en cuenta no solo la afectación a la reputación, sino también la cosificación e instrumentalización que se produce sobre la víctima, generalmente mujeres y niñas, niños y adolescentes que son tratados como objetos de consumo. También hay que recordar que la motivación para llevar a cabo estas acciones no siempre se identifica con el animus iniuriandi, pues el hecho puede deberse a otras razones como el ánimo de lucro, si dichas imágenes se utilizan en páginas o aplicaciones de contenido pornográfico. En tercer lugar, se prevé la modificación del artículo 186 del Código Penal, con la finalidad de mejorar la protección del bien jurídico libertad sexual de los menores. Y, en cuarto lugar, se introducen distintos tipos delictivos agravados que tienen que ver con el uso de identidades falsas a través de la tecnología, que facilitan la comisión de delitos contra las personas menores de edad61. En relación con el derecho fundamental a la protección de datos personales se pretende modificar la LOPDGDD para elevar de catorce años a los dieciséis años, la edad a partir de la cual las personas menores de edad pueden prestar consentimiento para el tratamiento de sus datos personales. Según la exposición de motivos, se trataría de armonizar este requisito con el establecido por la mayoría de los países de la Unión Europea, así como con el exigido en el ordenamiento jurídico nacional para los menores de edad en otras actividades o conductas. Asimismo, se propone la reforma de la Ley General de Comunicación Audiovisual para imponer obligaciones a los influencers y a las grandes plataformas de la comunicación, como la de utilizar sistemas de verificación de edad, separar los contenidos que puedan incluir escenas de pornografía o violencia gratuita o establecer enlaces a los canales de denuncias. 60 Otros ejemplos en países como Corea del Sur; Estados Unidos y Reino Unido: https:// www.xataka.com/legislacion-y-derechos/deepfakes-sexuales-no-pararan-solo-castigar-su-distribucion-hay-que-fijarse-pionera-ley-corea-sur https://www.newtral.es/deepfakes-desnudos-estados-unidos/20250321/ https://www.dw.com/es/reino-unido-penalizar%C3%A1-la-creaci%C3%B3n-de-deepfakes-sexuales/a-71236153. 61 Exposición de motivos del Proyecto de ley. 175 CAPÍTULO 5. LA DIFÍCIL CONVIVENCIA ENTRE LA INTELIGENCIA ARTIFICIAL Y LOS DERECHOS... 6. A modo de conclusión Resulta imprescindible resaltar la importancia de la dignidad humana y del respeto a los derechos fundamentales para hacer frente a los desafíos jurídicos que plantea la IA. La Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital de 23 de enero de 2023 señala que las personas constituyen el núcleo de la transformación digital de la Unión Europea. La tecnología debe servir y beneficiar a todas las personas que viven en la UE y empoderarlas para que cumplan sus aspiraciones, en total seguridad y respetando plenamente sus derechos fundamentales. Por su parte, el Convenio Marco sobre IA, Derechos Humanos, Democracia y Estado de Derecho de 17 de mayo de 2024, del Consejo de Europa persigue garantizar que las actividades realizadas dentro del ciclo de vida de los sistemas de IA sean plenamente compatibles con los derechos humanos, la democracia y el Estado de Derecho. A lo largo de estas líneas hemos dado un repaso a los diferentes roles que ocupan los sujetos implicados en el ciclo de vida de los deepfakes. Así, los productores de este contenido pueden actuar en el ejercicio legítimo de la libertad de expresión o de creación artística. No obstante, no siempre el creador de un deepfake persigue objetivos tan encomiables como contribuir a la formación de una opinión pública libre y plural. Hemos podido comprobar cómo los deepfakes pueden lesionar derechos fundamentales, al provocar desinformación por su capacidad para confundir a la audiencia y, sobre todo, alterar los procesos democráticos. También el sistema judicial puede ser blanco de esta técnica con graves consecuencias para la presunción de inocencia de la víctima de una prueba falsa. Dada su naturaleza de contenido audiovisual, es el derecho fundamental a la propia imagen el principal afectado, sobre todo cuando se emplean los atributos de la imagen o la voz sin el consentimiento de su titular. Sin embargo, la atención se ha centrado en el acceso ilimitado y asiduo de los menores de edad a esta tecnología, en ocasiones con la intención de humillar y causar vergüenza pública a las víctimas. Estas conductas llegan a constituir una manifestación de la violencia digital y sexual especialmente dirigidas contra mujeres y niñas. La mayoría de estas ultrafalsificaciones nocivas emplea datos personales como la imagen y la voz sin el consentimiento de las personas afectadas y, por tanto, lesionando el derecho fundamental a la protección de datos personales. Ante este panorama, resulta urgente e inexcusable combatir, desde el ordenamiento jurídico, el impacto negativo de los deepfakes sobre los derechos fundamentales. Una primera opción ha sido, desde la Unión Europea, la de incluir a los deepfakes entre los sistemas IA de riesgo limitado. Sin embargo, la mera imposición de la obligación de transparencia resulta insuficiente, porque el riesgo que plantean no es solamente provocar desinformación, sino que son