Realidades virtuales, daños aumentados, impactos reales: una aproximación sociolegal a la violencia sexual facilitada por la tecnología

265 REALIDADES VIRTUALES, DAÑOS AUMENTADOS, IMPACTOS REALES: UNA APROXIMACIÓN SOCIOLEGAL A LA VIOLENCIA SEXUAL FACILITADA POR LA TECNOLOGÍA. Elisa García-Mingo y Jacinto G. Lorca (Universidad Complutense de Madrid) [email protected] https://orcid.org/0000-0001-8448-1849 jacingu[email protected] https://orcid.org/0000-0003-4465-7867 I. INTRODUCCIÓN: HÍBRIDA Y DESCONOCIDA, ASÍ ES LA VIOLENCIA SEXUAL FACILITADA POR LA TECNOLOGÍA La violencia sexual facilitada por la tecnología (en adelante VSFT) es un concepto paraguas que incluye diversas formas de perpetrar comportamientos sexualmente violentos mediante tecnologías digitales (Powell y Henry, 2017) 1. La VSFT incluye comportamientos como la creación y distribución de imágenes sexualmente explícitas sin consentimiento, la difusión de chistes y memes que normalizan la violación y la promoción de actitudes que la respaldan en espacios digitales. También comprende amenazas de violencia sexual por medios digitales, la difusión pública de nombres (el doxxing) y direcciones de mujeres que “merecen ser violadas”, el acoso sexual online y el uso de aplicaciones de citas y otros espacios como medio para facilitar una agresión sexual (Henry y Powell, 2016a). 1 Todas las traducciones de este capítulo son del inglés al castellano y elaboradas por las autoras. 266 Elisa García-Mingo / Jacinto G. Lorca La emergencia de las nuevas formas de violencia sexual propias de la sociedad digital se debe a las características de las tecnologías digitales, que permiten localizar, contactar y facilitar la victimización por violencia sexual en todas sus formas. Estas tecnologías digitales además son fundamentales para entender cómo se perpetra y se experimenta la violencia sexual hoy en día porque se intensifican el acoso, la intimidación y el control posteriores a la agresión, además de generar un daño acumulativo frente a la amenaza constante de difusión (Bluett-Boyd et al., 2013: 27). Para entender estas violencias hay una serie de cuestiones que tenemos en cuenta y que creemos de interés desarrollar para entender la violencia sexual digital. En primer lugar, hay que entender que la digitalidad de la vida social ha difuminado las fronteras espaciales, produciendo lo que ha venido a llamarse el colapso contextual (Costa, 2018), concepto que viene a implicar que es imposible separar la esfera digital de la esfera física e intenta captar que muchas personas viven hoy en día sumidas en la lógica del contacto constante, que es resultado de la capacidad mejorada por la tecnología para conectarse y de la difuminación de los límites entre la vida online y la vida offline. Así, el concepto de la vida onlife de Luciano Floridi (2014; 2015) viene a ilustrar que la vida digital no es separada de la vida física, sino que ambas coexisten y se afectan mutuamente y es, desde nuestro punto de vista, crucial para entender las violencias sexuales en la sociedad digital. Por otro lado, para entender unas violencias que afectan sobre todo a adolescentes y jóvenes debemos recordar que son generaciones especialmente expuestas y conectadas, por lo que podemos empezar a pensar en los daños acumulativos debido a que su historia personal se está registrando en archivos digitales permanentes. La exposición a formas de violencia extrema, la viralización de la cultura de la violación y la presión por desarrollar una identidad digitalizada y sexualizada van a ser cuestiones claves para entender las nuevas formas de violencia sexual, especialmente cuando las median tecnologías que son tóxicas desde el diseño (Bluett-Boyd et al., 2013: 54). 1. ¿Qué hacen aquí estas sociólogas digitales? La aproximación sociolegal a la violencia sexual digital en España 1.1. Enfoque sociolegal en la VSFT En los últimos años ha quedado evidenciado que las disposiciones legales pueden diferir de la realidad cotidiana en la sociedad digital y que el 267 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... enfoque socio-legal ayuda a entender la violencia sexual, que no ocurre en un vacío, sino que está influida por normas sociales, estructuras de poder y relaciones de género. En esta línea de trabajo destacan también las investigaciones que examinan las lagunas legales y abogan por una respuesta integral del sistema de justicia penal que contemple las dimensiones digitales del abuso (Sugiura et al., 2024). Las científicas sociales nos hemos ocupado de estudiar cómo la cultura, los sistemas de género y los cambios sociales conforman las violencias sexuales contemporáneas y rastreamos las maneras en las que se normaliza la violencia sexual en la cultura y cómo se imbrica con la estructura social. El enfoque socio-legal de esta forma particular de violencia basada en el género también se ha ocupado de estudiar la impunidad socio-legal, la supervivientes de violencia sexual y (...) la relación de interdependencia entre los actores individuales y las instituciones político-legales de la policía, la fiscalía y el poder judicial (Němec, J. 2022: 140). En el caso concreto de la violencia sexual facilitada por la tecnología, este enfoque ha permitido comprender cómo operan los regímenes de género en las interacciones sociales mediadas digitalmente, desentrañando la naturaleza de estas formas de violencia emergente y también evaluando la efectividad de los mecanismos de respuesta legal e institucional existentes (Gurumurthy et al., 2019: 4). En nuestras investigaciones 2, realizadas con este enfoque y desde las bases de la Sociología Digital, hemos estudiado el proceso de digitalización de la violencia sexual, considerando cómo esta adquiere nuevas cualidades en los entornos digitales. Así, nuestra labor científica se orienta a explorar cómo la violencia sexual se transforma y adapta en diversas plataformas digitales, a identificar las nuevas características que surgen en este proceso y a examinar cómo las tecnologías digitales promueven nuevas formas de sociabilidad en el ámbito virtual. Desde nuestra tradición científica, hemos elaborado una aproximación socio legal a la violencia sexual mediada por la tecnología, utilizando conceptos provenientes de la teoría feminista, los estudios sociales de la violencia y los Estudios Sociales de la Ciencia y la Tecnología que se sustenta en cuatro pilares. Primero, trabajamos desde una aproximación feminista interseccional, que se centra en las experiencias y necesidades de las mujeres y entiende la VSFT como un fenómeno generizado, que precisa de un enfoque de género 2 Ver más en nuestra web: https://www.proyectodivisar.com/ 268 Elisa García-Mingo / Jacinto G. Lorca y de otros sistemas de opresión para entender la violencia en toda su complejidad. Segundo, usamos un enfoque posthumano, que parte de la idea de que los espacios fluidos del entorno digital disuelven las fronteras entre los cuerpos y las tecnologías (Gurumurthy et al., 2019: 4). En este sentido, nos parece preocupante que a pesar de que existe una abundante documentación sobre el impacto y los daños de la VSFT, persiste en la prensa y las personas expertas una desconexión cognitiva persistente entre lo virtual y lo corporal que se refleja también en el lenguaje que justifica tales distinciones (Brydolf-Horwitz, 2017). Tercero, usamos un enfoque cualitativo y centrado en las víctimas-supervivientes, que prioriza las narrativas de las víctimas para entender la violencia como experiencia y como proceso biográfico. Por último, en cuarto lugar, tenemos una mirada socioestructural, que analiza las estructuras sociales y las desigualdades que subyacen a la VSFT y que entiende que éstas son violencias provocadas tanto por individuos, pero en el marco de unas desigualdades estructurales relacionadas con el género, la sexualidad, la raza, la discapacidad y el estatus socioeconómico (Henry y Powell, 2016). 1.2. La caja de herramientas de la aproximación social a la violencia sexual digital En los últimos años, venimos utilizando en nuestro trabajo descriptivo e interpretativo de la VSFT algunos conceptos que son claves para elaborar una aproximación sociolegal a estas violencias: los conceptos de digitalización de la cultura de la violación y appificación de la violencia sexual, el concepto de misoginia online y el concepto de continuum offline-online de la violencia sexual digital. A continuación, pasamos a dar explicaciones sobre qué significan estos conceptos y por qué creemos que estas herramientas pueden ser de utilidad. La digitalización de la cultura de la violación (Dodge, 2016) se refiere a la forma en que las dinámicas y actitudes que normalizan la violencia sexual se trasladan y amplifican en el entorno digital. Esta transformación se manifiesta en la proliferación de contenidos que deshumanizan a las víctimas y promueven la cosificación de los cuerpos, a menudo bajo la apariencia de entretenimiento. Según Jane (2020), las plataformas digitales, como redes sociales y sitios de streaming, permiten la difusión de discursos que trivializan la violencia sexual, creando un ambiente en el que estos comportamientos pueden ser normalizados. La falta de regulación y el anonimato en el 269 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... entorno digital contribuyen a la impunidad de los agresores, dificultando la denuncia y la justicia para las víctimas (Gurumurthy et al., 2019). La misoginia digital es un fenómeno que abarca las formas de hostigamiento y violencia de género perpetuadas a través de plataformas digitales. Investigaciones han demostrado que las mujeres y personas de géneros diversos son desproporcionadamente atacadas en línea, lo que afecta a su bienestar psicológico y limita su participación en espacios digitales (Jane, 2017). Este tipo de violencia se manifiesta en la difusión de comentarios despectivos, acoso y amenazas. Según Kearl (2017), el acoso en línea no sólo deslegitima la voz de las mujeres, sino que también crea un clima de miedo que les impide participar plenamente en la vida pública y digital. El concepto de continuum de la violencia sexual implica que las distintas formas de violencia sexual (física, emocional, digital) no son eventos aislados, sino que se interrelacionan y pueden influirse mutuamente. Henry y Powell (2016) argumentan que las agresiones en línea pueden ser un precursor de la violencia física, y que las dinámicas de control y dominación ejercidas en el entorno digital pueden trasladarse a relaciones personales y físicas. Al entender la violencia sexual como un continuum, se facilita una comprensión más amplia de su naturaleza, lo que abre caminos para desarrollar estrategias de prevención y respuesta más efectivas. El impacto de lo online en la vida cotidiana es innegable y se extiende más allá de las interacciones virtuales. Los espacios digitales están entrelazados con la realidad física, lo que significa que las experiencias vividas en línea pueden tener repercusiones profundas en el mundo fuera de la pantalla. Nash y Gorman-Murray (2019) destacan que el acoso en línea puede llevar a la victimización física, y que la violencia digital puede manifestarse en dinámicas de abuso en relaciones interpersonales. Sin embargo, el entorno digital también puede ser utilizado como herramienta para organizar y movilizar comunidades contra la violencia sexual, promoviendo el activismo y la concienciación. El reconocimiento de esta interconexión es crucial para desarrollar respuestas que aborden la violencia en todas sus formas y contextos. II. VIOLENCIA DE GÉNERO FACILITADA POR LA TECNOLOGÍA A pesar de los avances en materia de denuncia y comprensión de la VSFT, los perpetradores continúan encontrando nuevas formas de humillar, avergonzar, explotar y castigar a sus víctimas, utilizando la tecnología, 270 Elisa García-Mingo / Jacinto G. Lorca más allá de las redes sociales, como herramienta para perpetrar esta violencia (Henry y Powell, 2016). Además, el capitalismo digital (también denominado capitalismo de plataformas) promueve un modelo de negocio que prioriza la rentabilidad sobre la seguridad y el bienestar de los usuarios. Las plataformas digitales a menudo diseñan sus servicios para maximizar el tiempo de uso y la interacción, lo que puede llevar a un ambiente propicio para el acoso y la explotación (5Right Foundation, 2024; CCDH, 2024). Para referirse a esto último se emplea el concepto de inseguro desde el diseño, que se refiere a la idea de que algunos productos tecnológicos se crean sin considerar adecuadamente la seguridad de sus usuarios (Bluett-Boyd et al., 2013). Este enfoque puede resultar en sistemas que no solo son vulnerables a ser mal utilizados, sino que también facilitan el abuso activamente. A este respecto, las disposiciones sociotécnicas o “affordances” pueden ofrecer oportunidades positivas para la comunicación y la socialización, aunque también pueden ser explotadas para perpetrar abusos. Así pues, la arquitectura de estas plataformas—es decir, cómo están estructuradas y organizadas—también influye en el comportamiento de los usuarios, así como la falta de mecanismos efectivos de moderación y reporte, que pueden conducir a escenarios donde las víctimas estén desprotegidas y los perpetradores no tengan que asumir las responsabilidades de sus acciones. 1. Violencias facilitadas por la inteligencia artificial El concepto de Artificial Intelligence Facilitated Abuse encapsula las distintas formas de perpetrar violencia facilitada por la inteligencia artificial (Flynn et al., 2022). Aunque es un campo incipiente y todavía por desarrollar, una de las prácticas de violencia sexual digital facilitadas por IA que más interés ha generado son los deepfakes sexuales, esto es, una forma de abuso sexual basado en imágenes que engloba la creación, difusión o amenaza de imágenes con fines coercitivos, si nos remitimos a la definición de Henry y Flynn (2019). No existe una definición compartida sobre los deepfakes sexuales, las existentes se han tendido a centrar, o bien en la tecnología desplegada para crearlos -la inteligencia artificial generativa y el aprendizaje automáticoo bien, en la naturaleza de contenido hiperrealista que genera (Wang y Kim, 2022). De este modo, una forma de definir los deepfakes sexuales puede ser refiriéndose a ellos como la manipulación digital de imaginería de resultados realistas, en las que se superpone o intercambia el rostro de una persona por 271 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... el cuerpo de otra, habitualmente en contextos sexuales o sexualizados (ver Rousay, 2023; Flynn et al., 2022; Kugler y Pace, 2021). Una característica clave de los deepfakes y distinta de formas preexistentes de abuso basado en imágenes, como la difusión de imágenes sexuales, es que no hace falta que víctima y agresor hayan mantenido una relación personal o interacción para cometer este abuso. Los agresores pueden crear los deepfakes utilizando fotos y vídeos de su objetivo (Flynn et al., 2022). La falta de estandarización de las definiciones ha conducido a una profusión terminológica para referirse a esta forma de violencia que ha sido denominada de algunas de las siguientes formas o ligadas a otros términos preexistentes en la literatura: pornografía no consentida 3 (Chesney y Citron, 2019), contenido sintético, (Rousay, 2023), abuso de imágenes alteradas digitalmente (Flynn et al., 2022), pornografía falsa involuntaria y contenido falso, este último permite distinguir según su sofisticación entre el contenido “profundo” y “superficial” (ver Maddocks, 2020). Por otra parte, pese al alarmismo que despierta el debate sobre las consecuencias de los deepfakes, las regulaciones avanzan vacilantes y despacio (Birrer y Just, 2024), y no siempre las causas tradicionales de responsabilidad civil y derecho a la intimidad suelen ser aplicables en el contexto de los deepfakes (Kugler y Pace, 2021). En Europa, la Ley de Servicios Digitales (DSA por sus siglas en inglés Digital Service Act) regula la IA según sus riesgos, y expone que el contenido manipulado audiovisual y deepfake tiene que cumplir unas normas mínimas de transparencias, así como informar a los usuarios cuando interactúan con un sistema de IA (ver Birrer y Just, 2024; Rouse, 2024). En otros países europeos como Francia y Bélgica se están considerando leyes para penalizar la distribución de pornografía deepfake, mientras que en el Reino Unido las enmiendas a la Ley de Seguridad en Línea (Online Safety Act) criminalizan la difusión de imágenes íntimas no consentidas deepfake (ver Birrer y Just, 2024). En este último caso, el 3 Conectamos estas definiciones con la propuesta de intrusiones íntimas (intimate intrusions) de la jurista escocesa Clare McGlynn (2024), con el fin de ampliarlas. Así pues, en el ejemplo propuesto por la misma autora en el que habla de compartir sin consentimiento la foto de una mujer musulmana sin su velo, argumentamos que una foto falsa elaborada bajo esta misma premisa es una forma de invasión de la privacidad e intimidad. McGlynn y otras autoras reivindican que nos aproximemos a las nociones de intimidad y sexualidad desde las sensibilidades sociales y culturales de las comunidades y regiones en las que inscriben los fenómenos, en vez de reforzar o imponer normas dominantes sobre el género, la etnia o la religión de unos contextos sobre otros. 272 Elisa García-Mingo / Jacinto G. Lorca delito se agrava cuando dichas imágenes se comparten con la intención de causar angustia o por fines de gratificación sexual. También se discute una prohibición más amplia, aunque algunas voces consideran estas enmiendas insuficientes para abordar las particularidades de las imágenes generadas por IA (Tech Policy Press, 2024). En otros países, Australia declaró la pornografía deepfake como una ofensa civil, otorgando al Comisionado de eSafety 4 el poder de exigir la eliminación de contenido de este tipo a los proveedores de servicios (ver Birrer y Just, 2024; eSafety Commisioner, 2024). Mientras que en China y algunos estados de Estados Unidos (Virginia, California, Nueva York, etc.) han promulgado leyes que criminalizan la creación, amenaza y/o difusión de medios sintéticos y ciertos tipos de deepfakes, aunque esto también ha venido acompañado de preocupaciones de que los gobiernos puedan usar esas reglas para restringir o coartar la libertad de expresión (Sheehan, 2023; Hine y Floridi, 2022). Estas medidas comparten como trasfondo la preocupación por el potencial de los deepfakes para interferir en elecciones políticas y la pornografía no consentida (Birrer y Just, 2024). También ha habido campañas en otros países solicitando su regulación, una de las más relevantes son las movilizaciones en Corea del Sur, donde se ha pedido al gobierno su actuación para sancionar y castigar estas nuevas agresiones sexuales (Rashid, 2024). Los informes de la consultora Deeptrace (Ajder et al., 2019) y Home Security Heroes (2023) han tratado de cuantificar la prevalencia del contenido deepfake en Internet, distinguiendo entre si es pornográfico o no. Ambos informes coinciden en que el contenido deepfake ha aumentado rápidamente en Internet desde finales de 2017, fecha en la que se sitúa el escándalo con las caras de celebridades en cuerpos de actrices porno en el subreddit r/deepfakes (Cole, 2019). Además de esto, observaron que la pornografía deepfake es un fenómeno que afecta casi exclusivamente a mujeres, mientras que los varones tienen mayor presencia en el contenido no pornográfico, lo que es consistente con los trabajos de Chesney y Citron (2019) y Flynn et al., 2022, entre otros. En estudios internacionales que sondean las opiniones y percepciones públicas sobre los deepfakes sexuales se constata la preocupación generalizada de la sociedad ante ellos, como demuestran los hallazgos de Kugler 4 Traducción propia de “eSafety Commissioner”. 273 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... y Pace (2021) en Estados Unidos, Fido, Rao y Harper (2022) en el Reino Unido y Gosse y Burkell (2020) en medios de comunicación angloparlantes. De este modo, los deepfakes son vistos como dañinos y merecedores de castigo. Además, en las muestras encuestadas la población está a favor de regular y criminalizar esta práctica sexual abusiva. Tanto hombres como mujeres consideran a los deepfakes sexuales como dañinos, aunque ellas más que ellos. Asimismo, Kugler y Pace (2021) observaron que los deepfakes sexuales son considerados más pervasivos y reprobables que otras formas de abuso sexual basado en imágenes, y los autores hipotizan que pueda deberse por el mayor esfuerzo que implica crear un contenido sexual falso que publicar uno real. Por otro lado, se está produciendo un incremento masivo de repositorios de código, software de acceso libre, aplicaciones, plataformas, bots y otro tipo de herramientas digitales dedicadas a la elaboración de deepfakes sexuales. Este incremento está íntimamente ligado a un mercado emergente que se lucra de esta forma de abuso (Brieger, 2024; Rousay, 2023; Timerman et al., 2023; Ajder et al., 2019; Cole, 2019). Ejemplos concretos de estas herramientas son FaceSwap, DeepFaceLab y DeepNude (Flynn et al., 2022; Gosse y Burkell, 2020). Además, estas prácticas han sido documentadas en diversas plataformas y foros en línea, como Reddit (Birrer y Just, 2024; Chesney y Citron, 2019; Cole, 2019; Massanari, 2017), Twitter-X (Pérez Dasilva et al., 2021), GitHub (Winter y Salter, 2019) y Mr.Deep Fakes (Timmerman et al., 2023). Siguiendo con lo anterior, uno de los principales ecosistemas donde se crean y comparten los deepfakes sexuales es Telegram, que cuenta con más de 50 bots identificados que permiten desvestir fotos de mujeres y niñas, sumando entre todos ellos más de 4 millones de usuarios activos cada mes (WIRED, 2024). En la investigación realizada por WIRED (2024), preguntaron a la plataforma si permitían ese tipo de contenido y les enviaron una lista con más de 75 canales de difusión de imágenes y bots desnudatorios identificados. Aunque no recibieron respuesta, Telegram eliminó dichos canales y bots. Sin embargo, y como desde WIRED (2024) recogen, y otras voces comparten (Kikerpill, 2020), la prohibición no es una solución al problema, puesto que los mismos usuarios de esos canales reinciden o migran a otros sitios más permisivos. Por otra parte, estas prácticas no son exclusivas de comunidades digitales (ver Laird, Dwyer y Woelfel, 2024; Flynn et al., 2022; Cole, 2019). El informe realizado en escuelas públicas en EEUU In deep trouble: Surfacing 280 Elisa García-Mingo / Jacinto G. Lorca todas sus formas para vigilar y acosar a mujeres; en ocasiones, estos métodos permanecen ocultos hasta que son descubiertos y, en otras ocasiones, el agresor revela intencionalmente la vigilancia, reafirmando su control y generando una atmósfera de intimidación (Harris y Woodlock, 2019). Ya hay estudios que han investigado el uso de dispositivos de espionaje encubiertos, como cámaras para niñeras, rastreadores de objetos y grabadoras de audio, para espiar y acosar a sus parejas. Algunas de las herramientas tecnológicas actuales que se utilizan para monitorear a las víctimas incluyen: dispositivos y software de Apple (iOS, iPhones, AirTags, AirPods, Apple Watches), Android (con aplicaciones como Google Maps), y plataformas de redes sociales (Instagram, Facebook, Twitter, Snapchat, Tinder). Además, el servicio de correos electrónicos, llamadas telefónicas, y aplicaciones específicas como Life360 o el uso de redes privadas virtuales (VPNs), son formas habituales de vigilar y monitorear a víctimas por parte de sus agresores (Wei et al., 2022). Chatterjee et al. (2018) establecieron una taxonomía de los tipos de apps utilizados para monitorear y trackear que las dividía en tres tipos: primero, las apps de geolocalización personal (Encuentra mi teléfono y Antirrobo; grabador automático de llamadas; sincronización automática de datos; apps de control telefónico y de seguridad personal); segundo, las apps de geolocalización mutua usadas por parejas y familias; y, tercero, las apps de geolocalización de personas subordinadas, como son las apps de control parental (ej. Webwatcher) y de control de empleados (ej. Desktime). La tecnificación de la violencia doméstica es un concepto propuesto por Lisa Sugiura para apuntar y explicar que los perpetradores emplean cada vez más la tecnología para controlar, monitorear e intimidar a las víctimas. Este concepto refleja cómo las herramientas digitales, como el software espía, el rastreo por GPS, la manipulación de redes sociales y las aplicaciones invasivas, otorgan a los abusadores un alcance sin precedentes para infundir temor y ejercer control. Estudios han evidenciado que los agresores utilizan estas tecnologías para vigilar los movimientos de las víctimas, recopilar datos privados e, incluso, humillarlas mediante la difusión pública de información sensible (Sugiura et al., 2024). Concretamente, en los últimos años se han realizado estudios sobre el uso de software espía en la violencia de pareja, mostrando una forma de monitoreo en la que el perpetrador tiene acceso físico a los dispositivos móviles, conoce las contraseñas e, incluso, puede ser el tomador de la línea y el contrato telefónico. En un estudio realizado en 2018 en la Universidad de 281 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... Nueva York, los autores del estudio concluyen que se dan tres fenómenos que contribuyen a expandir esta forma de violencia específica: primero, que hay miles de aplicaciones de espionaje disponibles en las tiendas de aplicaciones (Apple Store, Google Play…); segundo, que existen numerosísimos blogs, vídeos y foros para abusadores en los que se actualiza de formas y herramientas para espiar; tercero, que los propios desarrolladores de las apps son conocedores o fomentan el espionaje a parejas mediante estas apps; y, cuarto, que los programas anti-espionaje (antispyware) disponibles no son efectivos a la hora de detectar las aplicaciones de espionaje tecnológico o presentan múltiples defectos y problemas (Chatterjee et al. en 2018). En España es especialmente conocido el caso de A Maruxaina 14, que consistió en la grabación de mujeres orinando en la vía pública para su difusión a través de Internet. Para tomar estas imágenes de forma subrepticia, los perpetradores instalaron cámaras de infrarrojos para grabar de cerca a mujeres que evacuaban sus orines y posteriormente fueron incorporadas a determinadas páginas web dedicadas a la divulgación de contenidos de carácter erótico (Ocón, 2019). Los vídeos, que se difundieron ampliamente en redes sociales, generaron una fuerte indignación entre las víctimas y en la región. Hasta ahora, las investigaciones no han logrado identificar a los culpables, lo que ha dejado a las víctimas sin justicia y ha llevado a que el caso sea considerado un ejemplo de la impunidad que enfrentan muchas mujeres en situaciones similares . Este caso paradigmático viene a visibilizar una forma de VSFT, el uso de cámaras espía no sólo para el uso doméstico sino para perpetrar violencias sexuales contra mujeres. Este tipo de cámaras, disponibles en las principales plataformas de comercio electrónico, cuentan con lentes minúsculas, sensores de movimiento y capacidades de visión nocturna. Pese a que se comercializan para vigilar y controlar para el monitoreo incidental de intrusos, los estudios etnográficos indican que el uso se ha normalizado para vigilar y controlar todo lo que ocurre en el espacio íntimo y son dispositivos muy vinculados a la violencia doméstica cotidiana (Szakolczai, 2021). El conocido como Internet de las Cosas (IoT) son cada vez más reconocidas por generar riesgos profundos en términos de seguridad, privacidad y protección. Su amplia funcionalidad puede ser deliberadamente mal utilizada para espiar a las personas, rastrear sus movimientos, ejercer control 14 Ver más sobre el caso en: El ‘caso Maruxaina’ se agrava: halladas imágenes de víctimas practicando sexo | Sociedad | EL PAÍS 282 Elisa García-Mingo / Jacinto G. Lorca o coerción sobre ellas. Además, los sistemas de IoT carecen actualmente de configuraciones de seguridad y privacidad bien establecidas y están diseñados con la suposición de que todos los usuarios en un hogar se confían mutuamente. Esta suposición se convierte en un problema en contextos de violencia de pareja íntima, ya que permite que los sistemas de IoT faciliten el abuso. En particular, la aparición de cerraduras, cámaras y juguetes conectados a Internet ofrece nuevas oportunidades de coerción y manipulación contra las víctimas y sobrevivientes. El término gaslighting se usa para explicar la manipulación en la que una persona hace dudar a otra de su percepción de la realidad. En la actualidad, este tipo de manipulación puede llevarse a cabo con solo tocar la pantalla de un teléfono móvil, permitiendo ajustar la temperatura de una habitación a distancia o activar un hervidor para recordarle a alguien que está siendo observado (López-Neira, 2019) 15. III. DISCUSIÓN Y CONCLUSIONES En este capítulo hemos planteado una aproximación socio-legal a diferentes VSFT que deseamos que ayuden a diseñar acciones educativas y de capacitación, además de garantizar un respaldo efectivo a las víctimas-supervivientes. Con nuestro análisis también buscamos incrementar la conciencia social sobre un fenómeno emergente y en rápido aumento. Los trabajos provenientes del aparato crítico feminista se han centrado en desmontar la presunta y extendida creencia de “neutralidad” de las tecnologías digitales, lo que ha permitido denunciar las distintas consecuencias de la codificación de la cultura de la violación en el contexto del capitalismo digital, esto es, la impronta de creencias, culturas y valores sexistas, racistas y capacitistas en los medios digitales, que tradicionalmente han sido desarrollados por y para la figura ficticia del varón, blanco, occidental, autónomo y de clase media-alta (Giugni, 2023; Rama et al., 2022; Airoldi, Noble, 2018; Dodge, 2016). Así como problematizar el diseño de los medios digitales, cómo cuando deliberadamente son “tóxicos” o inseguros desde el diseño (Bluett-Boyd et al., 15 En mayo de 2018, Ross Cairns fue condenado por acosar a su exmujer, Catherine, después de hackear su hogar inteligente para espiarla. Utilizando una aplicación móvil, se conectó a la función de audio en el iPad del sistema y escuchó sus conversaciones con su madre. Este caso se considera uno de los primeros ejemplos documentados del uso de la tecnología de IoT —en este caso, un sistema inalámbrico utilizado para controlar la iluminación, la calefacción central y la alarma— como herramienta para abusar de una pareja . Ver más: https://www.bbc.com/ future/article/20200511-how-smart-home-devices-are-being-used-for-domestic-abuse 283 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... 2013), e intencionadamente incorporan características para que adolescentes y niños tengan usos más compulsivos de las aplicaciones y pasen en ellas más tiempo, a pesar de ser dañinas para su bienestar (5Rights, 2024). Además, las investigadoras que están denunciando estos diseños inseguros y dañinos están siendo perseguidas por su trabajo. Un buen ejemplo de esto es el caso de la denuncia interpuesta -y luego desestimada por un juez federal en San Franciscode Elon Musk y “X Corp” contra el Centro para Contrarrestar el Odio Digital (Center for Countering Digital Hate), tras alertar desde esta organización sin ánimo de lucro de la incitación al odio y la desinformación en Twitter-X (ver CCDH, 2024). Por otra parte, la aparición de nuevas formas de abuso sexual facilitadas por la tecnología, como algunas académicas han planteado con los deepfakes sexuales pero que se puede extender a otras, no plantean necesariamente nuevas cuestiones reglamentarias, sino que intensifica otras ya existentes (Birrer y Just, 2024: 10; Barber, 2023). Sin intervenciones sociales, políticas y regulatorias, entre otras, es probable que los riesgos asociados con el abuso facilitado por la tecnología se expandan aún más, en la medida en que la tecnología se vuelve más central en nuestras vidas (Sugiura et al., 2024). Otros fenómenos que están en el horizonte pueden venir de la mano de la industria sextech o de tecnología y robots sexuales. Dentro de estos, una deriva son los chatbots sociales o robots conversacionales, esto es, agentes que replican la interacción humana y con los que se puede interactuar mediante mensajes de texto y voz, enviar y recibir imágenes, etcétera (Depounti et al., 2023), y que están detrás del fenómeno de la creación de novias virtuales o fembots (ibidem). También comienzan a cobrar relevancia el uso de agentes sociales conversacionales como terapeutas de IA (Evans y Ringrose, en prensa) y asistencia a víctimas de violencia de género (Henry, Witt y Vasil, 2024). En este último caso, los chatbots pueden proporcionar apoyo, información y asesoramiento sin prejuicios, además de aliviar la carga de trabajo de los servicios de apoyo a la violencia sexual y de género, que a menudo están desbordados. Aunque los chatbots no sustituyen a la ayuda humana, pueden funcionar como un paso intermedio para conectar a las personas con los servicios de ayuda (Henry, Witt y Vasil, 2024). En conclusión, el avance y desarrollo de prácticas violentas facilitadas por las nuevas tecnologías intensifica debates regulatorios ya existentes y plantea otros nuevos. Además de esto, trae consigo cuestiones acerca de la responsabilidad de las tecnologías en estas agresiones, como la idea de que 284 Elisa García-Mingo / Jacinto G. Lorca son facilitadoras o incluso perpetradoras en sí mismas. En otro orden de cosas, es interesante toda la línea de trabajo centrada en estudiar aplicaciones y herramientas existentes diseñadas para detectar dispositivos encubiertos con el fin de saber si son efectivas y útiles para las víctimas (Ceccio et al., 2023). En este sentido, acabamos también con una invitación a reflexionar acerca de cómo usar la tecnología para gestionar casos que impliquen tecnologías con diseños inseguros, algoritmos y violencias. Este puede ser el caso, como se ha expuesto, con el uso de chatbots de acompañamiento de víctimas de violencia de género y sexual, que sin ser una alternativa a los servicios de apoyo humanos pueden ser un puente interesante para redirigir estas audiencias a estos servicios. IV. BIBLIOGRAFÍA 5Rights (18 de octubre de 2024). TikTok knows it is harming children. 5Rights Foundation. https://5rightsfoundation.com/ tiktok-knows-it-is-harming-children/ AIROLDI, M. (2021). Machine habitus: Toward a sociology of algorithms. John Wiley & Sons. AJDER, H., PATRINI, G., CAVALLI, F., & CULLEN, L. (2019). The state of deepfakes: Landscape, threats, and impacts. Amsterdam: Deeptrace. BBC. (2022). Female avatar sexually assaulted in Meta VR platform, campaigners say. https://www.bbc.co.uk/news/technology-61573661 BELLINI, O. (2024). “Virtual Justice: Criminalizing Avatar Sexual Assault in Metaverse Spaces,” Mitchell Hamline Law Review: Vol. 50: Iss. 1, Article 3. https://open.mitchellhamline.edu/mhlr/vol50/iss1/3 BIRRER, A., & JUST, N. (2024). What we know and don’t know about deepfakes: An investigation into the state of the research and regulatory landscape. New Media & Society, 0(0). https://doi. org/10.1177/14614448241253138 BLUETT-BOYD, N., FILEBORN, B., QUADARA, A., & MOORE, S. (2013). The role of emerging communication technologies in experiences of sexual violence: A new legal frontier? Legal Services Board. https://aifs. gov.au/sites/default/files/publication-documents/rr23_0.pdf BRYDOLF-HORWITZ, R. (2017). Virtual injustice: Technology, gendered violence and the limits of the law (T). University of British Columbia. https://open.library.ubc.ca/collections/ubctheses/24/items/1.0354476 BRYDOLF-HORWITZ, R. (2022). Embodied and entangled: Slow violence and harm via digital technologies. Environment 285 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... and Planning C: Politics and Space, 40(2), 391–408. https://doi. org/10.1177/2399654418791825 CCDH-Center for Countering Digital Hate. (25 de marzo de 2024). Elon Musk vs. Center for Countering Digital Hate: Nonprofit wins dismissal of “baseless and intimidatory” lawsuit brought by world’s richest man. Counter Hate. https://counterhate.com/blog/elon-musk-vs-ccdh-nonprofitwins-dismissal-of-baseless-and-intimidatory-lawsuit/ CECCIO, R., STEPHENSON, S., CHADHA, V., HUANG, D. Y., & CHATTERJEE, R. (2023). Sneaky spy devices and defective detectors: The ecosystem of intimate partner surveillance with covert devices. In 32nd USENIX Security Symposium (USENIX Security 23) (pp. 123–140). CHATTERJEE, R., DOERFLER, P., ORGAD, H., HAVRON, S., PALMER, J., FREED, D., LEVY, K., DELL, N., MCCOY, D., & RISTENPART, T. (2018). The spyware used in intimate partner violence. In Proceedings - 2018 IEEE Symposium on Security and Privacy (pp. 441–458). Institute of Electrical and Electronics Engineers Inc. https:// doi.org/10.1109/SP.2018.00061 CHESNEY, B., & CITRON, D. (2019). Deep fakes: A looming challenge for privacy, democracy, and national security. California Law Review, 107(6), 1753–1820. https://doi.org/10.15779/Z38RV0D15J CLEMENT, D. (2 de junio de 2022). Sex in the metaverse: Virtual body, real sexual assault. The Law Association of New Zealand. https://thelawassociation.nz/sex-in-the-metaverse-virtual-body-real-sexual-assault/ COLE, S. (2019). This horrifying app undresses a photo of any woman with a single click. Vice.com, 26 June 2019. https://www.vice.com/en/article/ kzm59x/deepnude-app-creates-fake-nudes-of-any-woman COSTA, E. (2018). Affordances-in-practice: An ethnographic critique of social media logic and context collapse. New Media & Society, 20(10), 3641–3656. DEPOUNTI, I., SAUKKO, P., & NATALE, S. (2023). Ideal technologies, ideal women: AI and gender imaginaries in Redditors’ discussions on the Replika bot girlfriend. Media, Culture & Society, 45(4), 720-736. https://doi.org/10.1177/01634437221119021 DODGE, A. (2016). Digitizing rape culture: Online sexual violence and the power of the digital photograph. Crime, media, culture, 12(1), 65-82. DOUGLAS, H.; HARRIS, B. y DRAGIEWICZ, M. (2019) Technology-facilitated Domestic and Family Violence: Women’s Experiences, The British Journal of Criminology, Volume 59, Issue 3, May 2019, Pages 551–570, https://doi.org/10.1093/bjc/azy068 286 Elisa García-Mingo / Jacinto G. Lorca eSafety Commissioner. (19 de agosto de 2024). Deepfakes: Tech trends and challenges. eSafety Commissioner. https://www.esafety.gov.au/industry/ tech-trends-and-challenges/deepfakes EVANS, A. y RINGROSE, J. (En prensa). More-than-human, more-than-digital: Postdigital intimacies as a theoretical framework for intimate therapeutics and technology-facilitated sexual violence. FLORIDI, L. (2014). The fourth revolution: How the infosphere is reshaping human reality. Oxford University Press. FLYNN, A., POWELL, A., SCOTT, A. J., & CAMA, E. (2022). Deepfakes and digitally altered imagery abuse: A cross-country exploration of an emerging form of image-based sexual abuse. The British Journal of Criminology, 62(6), 1341-1358. GIUGNI, L. (2023). Threat: Everything you should know about technology, capitalism and patriarchy. September Publishing. GURUMURTHY, A., VASUDEVAN, A., & CHAMI, N. (2019). Born digital, born free? A socio-legal study on young women’s experiences of online violence in South India. SSRN. https://doi.org/10.2139/ssrn.3873875 HARRIS, B. A., & WOODLOCK, D. (2019). Digital coercive control: Insights from two landmark domestic violence studies. The British Journal of Criminology, 59(3), 530–550. https://doi.org/10.1093/bjc/azy052 HENRY, N., & FLYNN, A. (2019). Image-based sexual abuse: Online distribution channels and illicit communities of support. Violence Against Women, 25(16), 1932-1955. https://doi.org/10.1177/1077801219863881 HENRY, N., & POWELL, A. (2016). Sexual violence in the digital age: The scope and limits of criminal law. Social & Legal Studies, 25(4), 397–418. https://doi.org/10.1177/0964663915624273 HENRY, N., WITT, A., & VASIL, S. (2024). A ‘design justice’approach to developing digital tools for addressing gender-based violence: exploring the possibilities and limits of feminist chatbots. Information, Communication & Society, 1-24. HINE, E., & FLORIDI, L. (2022). New deepfake regulations in China are a tool for social stability, but at what cost? Nature Machine Intelligence, 4(7), 608–610. https://doi.org/10.1038/s42256-022-00513-4 Home Security Heroes. (2023). State of deepfakes: Realities, threats, and impact. https://www.homesecurityheroes.com/state-of-deepfakes/ JANE, E. A. (2017). Online misogyny: A challenge for feminism. Feminist Media Studies, 17(4), 563–579. JANE, E. A. (2020). Online abuse and harassment. The international encyclopedia of gender, media, and communication, 116. KEARL, H. (2017). Stop street harassment: Making public places safe and welcoming for women. University of California Press. 287 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... KIKERPILL, K. (2020). Choose your stars and studs: The rise of deepfake designer porn. Porn Studies. https://doi.org/10.1080/23268743.2020. 1765851 KUGLER, M. B., & PACE, C. (2021). Deepfake privacy: Attitudes and regulation. Nw. U.L. Rev., 116, 611. LAIRD, E., DWYER, M., & WOELFEL, K. (2024). In deep trouble: Surfacing tech-powered sexual harassment in K-12 schools. Center for Democracy & Technology. https://cdt.org/insights/report-in-deep-trouble-surfacing-tech-powered-sexual-harassment-in-k-12-schools/ LOPEZ-NEIRA, I., PATEL, T., PARKIN, S., DANEZIS, G., & TANCZER, L. (2019). ‘Internet of Things’: How abuse is getting smarter. Safe – The Domestic Abuse Quarterly, (63), 22–26. https://doi.org/10.2139/ ssrn.3350615 MARTENS, M. A., ANTLEY, A., FREEMAN, D., SLATER, M., HARRISON, P. J., & TUNBRIDGE, E. M. (2019). It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology, 33(10), 1264-1273. MCGLYNN, C., & RIGOTTI, C. (2024). Meta-rape: Sexual violence, criminal law and the metaverse. Available online: https://www.claremcglynn.com/_files/ugd/e87dab_c2923fe035b24e47ac77cfd728b44f80. pdf MCGLYNN, C. (2024). Towards a new criminal offence of intimate intrusions. Feminist Legal Studies, 1-24. NASH, C., & GORMAN-MURRAY, A. (2019). Digital sexuality: The impact of the digital on intimate relationships. Sociology of Health & Illness, 41(2), 367–383. NĚMEC, J. (2022). Socio-legal aspects of sexual and gender-based violence survivors’ victimization in Kosovo. Peace Review, 34(2), 140–150. https://doi.org/10.1080/10402659.2022.2048178 NOBLE, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press. NSPCC. (s.f.). Virtual reality headsets: Keeping children safe. NSPCC. https://www.nspcc.org.uk/keeping-children-safe/online-safety/ virtual-reality-headsets/ PAASONEN, S., SUNDÉN, J., TIIDENBERG, K., & VIHLMAN, M. (2023). About sex, open-mindedness, and cinnamon buns: Exploring sexual social media. Social media+ society, 9(1), 20563051221147324. PATEL, N. J. (21 de diciembre de 2021). Reality or fiction? Kabuni. https:// medium.com/kabuni/reality-or-fiction-98aa0098f3b0 POWELL, A., & HENRY, N. (2017). Sexual violence in a digital age. Springer. 288 Elisa García-Mingo / Jacinto G. Lorca RAMA, I., BAINOTTI, L., Gandini, A., Giorgi, G., Semenzin, S., Agosti, C., & Romano, S. (2022). The platformization of gender and sexual identities: An algorithmic analysis of Pornhub. Porn Studies, 10(2), 154–173. https://doi.org/10.1080/23268743.2022.2066566 RASHID, R. (13 de septiembre de 2024). From spy cams to deepfake porn: Fury in South Korea as women targeted again. The Guardian. https:// www.theguardian.com/world/2024/sep/13/from-spy-cams-to-deepfake-porn-fury-in-south-korea-as-women-targeted-again ROUSAY, V. (2023). Sexual deepfakes and image-based sexual abuse: Victim-survivor experiences and embodied harms (Master’s thesis, Harvard University). ProQuest Dissertations and Theses Global. ROUSE. (4 de septiembre de 2024). AI-generated deepfakes: What does the law say? https://rouse.com/insights/news/2024/ai-generated-deepfakes-what-does-the-law-say#:~:text=Under%20the%20EU%20AI%20 Act,deepfake%20content%20is%20also RUSSELL, S. (3 de enero de 2024). Metaverse: First-person woman experiences sexism in virtual reality. The Times. https://www.thetimes.com/ article/metaverse-first-person-woman-sexism-technology-smw72fx6l SALES, N. J. (5 de enero de 2024). A girl was allegedly raped in the metaverse. Is this the beginning of a dark new future? The Guardian. https://www.theguardian.com/commentisfree/2024/jan/05/ metaverse-sexual-assault-vr-game-online-safety-meta SCHULENBERG, K., FREEMAN, G., LI, L., & BARWULOR, C. (2023). “Creepy towards my avatar body, creepy towards my body”: How women experience and manage harassment risks in social virtual reality. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW2), 1-29. https://doi.org/10.1145/3610027 SERRA, L. (28 de septiembre de 2023). ¿Qué hacemos con el caso de los menores de Almendralejo? ctxt, contexto y acción. https:// ctxt.es/es/20230901/Firmas/44146/laia-serra-perello-almendralejo-deep-fake-no-consentido-violencia-inteligencia-artificial-porno-sintentico.htm SHEEHAN, M. (2023). China’s AI regulations and how they get made. Carnegie Endowment for International Peace. Available at: https://carnegieendowment.org/2023/07/10/ china-s-ai-regulations-and-how-they-get-made-pub-90117. SOTO IVARS, J. (13 de febrero de 2022). La violación en un mundo virtual, sin cuerpos ni entrepiernas. El Confidencial. https://www.elconfidencial.com/cultura/2022-02-13/ meta-zuckerberg-agresion-sexual-violacion-acoso_3374305/ 289 Realidades virtuales, daños aumentados, impactos reales: una aproximación ... SUGIURA, L., BUTTON, M., NURSE, J. R., TAPLEY, J., SAGLAM, R. B., HAWKINS, C., FREDERICK, B., & BLACKBOURN, D. (2024). The technification of domestic abuse: Methods, tools and criminal justice responses. Criminology & Criminal Justice. https://doi. org/10.1177/17488958241266760 SumOfUs/Ekō. (2022). Metaverse: Another cesspool of toxic content. https:// www.eko.org/images/Metaverse_report_May_2022.pdf SZAKOLCZAI, J. M. (2021). ‘What have you caught?’: Nannycams and hidden cameras as normalised surveillance of the intimate. In The Technologisation of the Social (pp. 139-152). Londres, Routledge. Tech Policy Press. (10 de octubre de 2023). The UK’s Online Safety Act is not enough to address nonconsensual deepfake pornography. https://techpolicy.press/the-uks-online-safety-act-is-not-enough-to-address-nonconsensual-deepfake-pornography/ The Guardian. (17 de enero de 2022). ‘Virtual reality is genuine reality’ so embrace it, says philosopher. https:// www.theguardian.com/technology/2022/jan/17/ virtual-reality-is-genuine-reality-so-embrace-it-says-us-philosopher The Institution of Engineering and Technology (IET). (19 de abril de 2019). Generation VR. The IET. https:// www.theiet.org/media/press-releases/press-releases-2022/ press-releases-2022-april-june/19-april-2022-generation-vr WANG, S., & KIM, S. (2022). Users’ emotional and behavioral responses to deepfake videos of K-pop idols. Computers in Human Behavior, 134. https://doi.org/10.1016/j.chb.2022.107305 WEI, M., ZENG, E., KOHNO, T., & ROESNER, F. (2022). Anti-privacy and anti-security advice on TikTok: Case studies of technology-enabled surveillance and control in intimate partner and parent-child relationships. In Eighteenth Symposium on Usable Privacy and Security (SOUPS 2022) (pp. 447–462). WIRED. (15 de octubre de 2024). Millions of People Are Using Abusive AI ‘Nudify’ Bots on Telegram. https://www.wired.com/story/ ai-deepfake-nudify-bots-telegram/