Cuestiones conceptuales previas: Inteligencia Artificial, Algoritmos y Machines Learning

INVESTIGACIÓN Y GÉNERO Proyectos y Resultados en Estudios de las Mujeres María Elena García-Mora y Ana María De la Torre-Sierra (Eds.) Universidad de Sevilla 2022 VIII Congreso de Investigación y Género. Reflexiones sobre investigación para avanzar en igualdad. Universidad de Sevilla, 2022. Reservados todos los derechos. El contenido de esta obra está protegido por la ley, que establece penas de prisión y/o multas, además de las correspondientes indemnizaciones por daños y perjuicios, para quienes reprodujeren, plagiaren, distribuyeren o comunicaren públicamente, en todo o en parte, una obra literaria, artística o científica, o su transformación, interpretación o ejecución artística fijada en cualquier tipo de soporte o comunicada a través de cualquier otro medio, sin la preceptiva autorización. I.S.B.N: 978-84-09-41805-3 395 JUSTICIA E INTELIGENCIA ARTIFICIAL EN CLAVE DE GÉNERO 1 Arruti Benito, Sara 2 CUESTIONES CONCEPTUALES PREVIAS: INTELIGENCIA ARTIFICIAL, ALGORITMOS Y MACHINE LEARNING Contextualización y significado de la Inteligencia Artificial El imparable avance tecnológico ha generado una verdadera metamorfosis en nuestra forma de vivir, de trabajar y de relacionarnos los unos con los otros. En este contexto, hemos asistido a la denominada 4.0 Revolución Industrial caracterizada por la aparición y la fusión de nuevas tecnologías –el blockchain, el big data, la robótica…– que están eliminando las líneas entre lo físico, lo digital y lo biológico 3 . En esta nueva sociedad completamente digitalizada, se ha ido gestando lo que conocemos como Inteligencia Artificial 4 (en adelante, IA). En cuanto a terminología se refiere, definir la IA no es tarea fácil, debido al carácter complejo, evolutivo y variable de las tecnologías que la configuran. No obstante, en el ámbito del Consejo de Europa, el Grupo de Expertos de Alto Nivel en IA 5 ha consensuado una definición de los sistema de IA como “…sistemas de software (y posiblemente también hardware) diseñados por humanos que, dado un objetivo complejo, actúan en la dimensión física o digital, percibiendo su entorno a través de la adquisición de datos, interpretando datos estructurados o no estructurados recopilados, razonando sobre el conocimiento o procesando la información, derivada de estos datos, y decidiendo cuál es la mejor acción a tomar para lograr un objetivo dado” 6 . En este sentido, aunque no exista aquiescencia sobre la definición de este fenómeno, se divisa un denominador común que convierte la IA en una combinación compleja de tecnologías que agrupan datos, algoritmos y capacidad informática con el objeto de intentar emular en funcionamiento de la inteligencia humana 7 . Es 1 La presente comunicación está vinculada a la Tesis Doctoral “Análisis de la perspectiva de género en la estructura y en la actividad del Poder Judicial”, bajo la dirección y supervisión de Ixusko Ordeñana Gezuraga, Profesor Titular de Derecho Procesal de la Universidad del País Vasco (UPV/EHU). 2 Doble graduada en Derecho y Administración de Empresas y Doctoranda del programa “Derechos Humanos, Poderes Públicos, Unión Europea: Derecho Público y Privado” de la Universidad del País Vasco, [email protected] 3 A pesar de que aparentemente nos encontramos ante una disciplina nueva y novedosa, se sostiene que el concepto de inteligencia artificial data de 1955, cuando John McCarthy y su grupo, Marvin Minsky, Nathanial Rochester y Claude Shannon idearon un proyecto que se basaba en la posibilidad de crear maquinas que pudieran realizar tareas a través de una programación previa que imitara las redes neuronales de forma similar al pensamiento humano. Véase, Solar Cayón, José Ignacio (2019): La inteligencia artificial jurídica. El impacto de la innovación tecnológica en la práctica del Derecho y el mercado de servicios jurídicos, Aranzadi, Pamplona. 4 Para mayor profundización sobre la complejidad y la trascendencia de la 4.0 Revolución Industrial, véase Schwab, Klaus (2017): The Fourth Industrial Revolution, Crown Business Publishing, Nueva York. 5 La Comisión Europea creó en 2018 un grupo de Expertos de Alto Nivel en IA que tiene como objetivo general apoyar la aplicación ética de los sistemas de IA. Este grupo de expertas y expertos entienden que los Derechos Fundamentales son la columna vertebral de la programación de estos sistemas. 6 Comisión Europea (2019). A definition of AI: Main capabilities and scientific disciplines, Bruselas, p.6. Documento electrónico, https://www.aepd.es/sites/default/files/2019-12/ai-definition.pdf, consultado: 18/04/2022. 7 Comisión Europea (2019). A definition of AI: Main capabilities and scientific disciplines, Bruselas, p.6. Documento electrónico, https://www.aepd.es/sites/default/files/2019-12/ai-definition.pdf, consultado: 18/04/2022. 396 decir, un sistema de IA –en términos generales–es un algoritmo que hace recomendaciones, predicciones o adopta decisiones para un conjunto de objetivos previamente programados 8 . Por tanto, los sistemas de IA dependen, por un lado; de un algoritmo configurado de antemano y, por otro lado; de un extenso conjunto de datos de datos que nutre dicho sistema. Funcionamiento de los algoritmos y el Machine Learning En esta línea, resulta determinante conocer someramente el funcionamiento y desarrollo de un algoritmo para poder comprender su alcance discriminatorio. Los algoritmos son series de ecuaciones matemáticas que se van entrelazando para proporcionar un resultado 9 . Su funcionamiento se basa en el empleo aleatorio de un gran conjunto de datos (Smart data) que, bajo un modelo matemático, establecen patrones de correlación entre ellos. Estos patrones de correlación son lo que permiten al algoritmo realizar apreciaciones, predicciones y adoptar decisiones sobre el fin para el que se ha programado. Por tanto, la finalidad de un algoritmo no es adoptar una decisión justa, equitativa, objetiva y verdadera, sino establecer correlaciones, buscar patrones lógicos, entre los datos ofrecidos. En este contexto, cobra especial relevancia el Machine Learning o los sistemas de aprendizaje automático, por el particular impacto discriminatorio que puede derivar de su funcionamiento y de su aplicación en la práctica judicial. Estos sistemas son algoritmos muy complejos y sofisticados que tienen la capacidad de aprender de sí mismos. Pueden ser increíblemente eficaces a la hora de predecir comportamientos y establecer patrones, no obstante; dicha eficacia confronta con un problema de difícil solución: su funcionamiento evoluciona hasta desarrollar una inteligencia autónoma y singular, incomprensible para la mente humana 10 . En esta línea, se deben mencionar lo que se conoce como cajas negras o black boxes 11 . Este tipo de sistemas, a diferencia de las cajas blancas, no permiten destripar el algoritmo y comprender las decisiones que ha adoptado. Esta característica presenta un enorme desafío en cuanto a la garantía de los derechos fundamentales de las personas. Particularmente, desde el derecho y desde la perspectiva de género, como remarcaremos, se requiere una mayor atención a estos sistemas de cajas negras, dado que pueden convertirse en herramientas con un potencial discriminatorio enormemente alto contra las mujeres, con la agravante de que dicho trato no pueda explicarse. 8 Conviene puntualizar que, con el objeto de centrarnos en el debate jurídico, dejaremos a un lado las precisiones técnicas y utilizaremos las palabras algoritmos y sistemas de IA para referirnos al mismo concepto. 9 Comisario de Derechos Humanos del Consejo de Europa (2019): Unboxing Artificial Intelligence: 10 steps to protect Human Rights, p.24. Documento electrónico, https://rm.coe.int/unboxing-artificial-intelligence-10-steps-to-protect- human-rights-reco/1680946e64, consultado: 19/04/2022. 10 Borges Blázquez, Raquel (2021): “El sesgo de la máquina en la toma de decisiones en el proceso penal”, IUS ET SCIENTIA, Vol.6, Nº2, p.58. 11 La noción de caja negra se refiere a la inexplicabilidad de los pasos a través de los cuales el sistema de IA ha llegado a una decisión. El algoritmo conforme va evolucionando y editándose a sí mismo, va tomando en cuenta diferentes variables y va asignando diferentes pesos a cada variable a medida que analiza su grado de importancia en los patrones que percibe. De esta manera, llega un momento en el que no somos capaces, incluidos quienes han diseñado el sistema, de reconocer los patrones que se han empleado para llegar al resultado. Véase, O´Donnel, Renata M. (2019): “Challenging racist predictive policing algorithms under the equal protection clause”, New York University Law Review, Vol. 9, Nº3, p.551. 397 INTELIGENCIA ARTIFICIAL EN CLAVE DE GÉNERO: BRECHA DIGITAL, SESGOS Y DISCRIMINACIÓN LGORÍTMICA Una vez esbozadas las líneas conceptuales sobre las que se basa la presente contribución, es necesario realizar una revisión crítica de los mismos desde la perspectiva de género. En este sentido, nos interesa hacer un análisis desde la experiencia de las mujeres, es decir, introduciendo la mirada y la experiencia del género femenino en este nuevo mundo algorítmico, para ver, detectar y corregir -en este ordentodas las formas en las que la IA puede contribuir a perpetuar y a reforzar la discriminación contra las mujeres 12 . Este análisis resulta aún más necesario, teniendo en cuenta nuestra tendencia a pensar que la tecnología, y en este caso los algoritmos, son instrumentos matemáticos caracterizados por la lógica, la objetividad y la neutralidad, produciendo, por ende, resultados presuntamente racionales e imparciales. En primer lugar, es necesario recordar que el conocimiento y el quehacer humano registrado a lo largo de nuestra historia, se ha construido para y desde el hombre. Desde esta perspectiva androcéntrica 13 , tomando como paradigma de lo humano únicamente al varón, se han diseñado todos los vestigios del conocimiento humano (historia, arte …), invisibilizando los deseos, necesidades y experiencias de la mitad de la humanidad, las mujeres. La Ciencia y la Tecnología, así como el Derecho, no se encuentran al margen de lo descrito. En este contexto, es necesario remarcar que la IA se ha configurado en una sociedad que parte de una desigualdad estructural entre hombres y mujeres, donde predomina la subordinación de la mujer y las relaciones asimétricas de poder. Bajo este paradigma, la creación y diseño de los sistemas de IA no presentan un diseño neutral en términos de género. Dicha afirmación se advierte, por un lado, en la brecha digital de género existente en el ámbito de la IA, y, por otro, en la existencia de sesgos de género que dan lugar a una nueva modalidad de trato discriminatorio– la discriminación algorítmica por razón de género-. Brecha digital de género La IA es un campo donde predomina la participación y la mirada del género masculino. Muestra de ello son los últimos datos que arroja el “Global Gender Gap Report 2021” 14 , donde se establece que más del %75 de los profesionales de la IA son hombres. Esta brecha de género se engrosa si tenemos en cuenta la especialización por roles de género. Concretamente, en un estudio que ha realizado recientemente el Instituto de la Mujer, se ha puesto de manifiesto que las mujeres son relegadas a puestos de menor responsabilidad y menor retribución (análisis de datos, procesamiento de lenguaje natural y estructuras de datos, recuperación de información…). Muestra de ello es que apenas un 12% de las 12 Puntualizamos que, aunque partamos de la experiencia de un sujeto específico, la perspectiva de género no pretende la centralidad del género femenino en el sentido de construir una mirada que se erija como única y aplicable a la totalidad de los seres humanos. El análisis de género, pone al descubierto como el hombre y lo masculino son el referente de la mayoría de las explicaciones de la realidad en detrimento de los derechos de las mujeres y de los valores asociados con lo femenino, y sugiere nuevas formas de construir los géneros que no estén basadas en la discriminación. 13 Sobre la diferencia de la perspectiva androcéntrica y las género-sensitivas, véase, Facio, Alda, Fríes, Lorena (1999): Género y Derecho, LOM ediciones, Santiago de Chile. 14 World Economic Forum (2021): Global Gender Gap Report 2021, Suiza, p.60. Documento electrónico, https://www.weforum.org/reports/global-gender-gap-report-2021, consultado 20/04/2022. 398 personas que participan en el desarrollo de este tipo de innovaciones con capacidad de decisión de alto nivel sean mujeres o solo el 11% de las personas que programan código fuente (escriben software) 15 . Estos datos ponen en evidencia que los sistemas de IA se diseñan con una infrarrepresentación del género femenino, desde una mirada unidimensional (masculina) que no abarca la diversidad de la sociedad, lo que contribuye, entre otras razones, a la aparición de sesgos de género que penetran en dichos sistemas. La discriminación algorítmica de género: El problema de los sesgos. Para abordar la problemática de la discriminación algorítmica, se debe partir de la raíz de este fenómeno: la falsa neutralidad y objetividad de los algoritmos. Aunque suele presumirse que los sistemas de IA son neutros y deciden objetivamente, no debemos olvidar que la creación de estos sistemas parte de la acción humana 16 . La base de datos que sustenta todo sistema de IA, la crea una persona que se inserta en un determinado contexto social. Ello implica que estos algoritmos corran el riesgo de reflejar los sesgos –raciales, de clase, de género, de orientación sexual…– de aquellas personas que los diseñan 17 . En esta línea, requieren especial atención los sesgos de género, es decir, aquellas nociones preconcebidas o estereotipos que perjudican a una persona en función de su género, sea directa o indirectamente, dando lugar a resultados discriminatorios (en la mayoría de casos en contra de las mujeres). No obstante, la problemática no termina aquí, puesto que, como veremos infra, son diversas las fases y las razones por las que un sesgo perjudicial puede integrarse en los sistemas de IA y dar lugar a un trato discriminatorio, en este caso, en función del género. Fases donde se puede dar la discriminación algorítmica a) Momento inicial de delimitar el tema y definir el objetivo: En un estadio inicial, antes de recoger y seleccionar los datos que nutrirán el algoritmo, es posible que los sesgos, en general, y los de género, en particular, interfieran en el momento inicial de determinar el tema y objeto para el que se programa el sistema de IA. Por ejemplo, en el ámbito jurídico, si queremos crear un algoritmo que tiene como propósito valorar la credibilidad de la declaración de una víctima de violencia de género en un proceso penal, tendremos que tener presente la abundante jurisprudencia del Tribunal Supremo en esta materia (en cuanto a la valoración del retraso en denunciar, la víctima como testigo cualificado, criterios de valoración de la declaración de aquélla como única prueba de cargo...), para delimitar el tema y el objetivo adecuadamente. b) Selección de los datos: 15 Para mayor profundización véase, Instituto de la Mujer (2020): Mujeres y digitalización. De las brechas a los algoritmos, Catálogo de Publicaciones de la Administración General del Estado, Madrid, p. 59-60. Documento electrónico,https://www.inmujeres.gob.es/diseno/novedades/M_MUJERES_Y_DIGITALIZACION_DE_LAS_BRECH AS_A_LOS_ALGORITMOS_04.pdf, consultado 20/04/2022 16 De similar manera lo apunta, Eguíluz Castañeira, Josu Andoni (2020): “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, Estudios de Deusto, Vol.6, Nº2, p.330. 17 En este sentido, se debe puntualizar que estos sesgos (indeseados), no son un error del sistema tecnológico o un daño colateral del mismo, sino que son parte y consecuencia de la sociedad en la que vivimos. Precisamente, habitamos en un sistema social basado en la desigualdad, diseñada y estructurada a partir de ella. Por lo tanto, los algoritmos que se alimentan de estos datos que se insertan en este contexto social, irremediablemente estarán impregnados de sesgos que reflejan dicha desigualdad. 399 En un segundo estadio, nos encontramos ante la recolecta y selección de datos que nutrirá el sistema de IA. Esta fase es extremadamente peligrosa en cuanto a la incorporación de sesgos de género, puesto que los datos son un reflejo del rol que la humanidad ha asignado a la mujer en los diferentes ámbitos del quehacer social 18 . Luego, la segunda precaución que debemos adoptar es la selección de los datos, con el objeto de no crear una base de datos sesgada, que reproduzca los estereotipos de género fruto del sexismo imperante de nuestra sociedad 19 . Así, siguiendo con el ejemplo anterior, si seleccionamos como variable la tardanza en denunciar, estaremos creando una base de datos estereotipada, puesto que estaríamos introduciendo una variable que deviene de un perjuicio o estereotipo de género, basado en el comportamiento que debería adoptar una mujer al ser víctima de violencia de género. El algoritmo será entrenado con dicha variable y aprenderá que la tardanza en denunciar es relevante a la hora de valorar la credibilidad del testimonio de la víctima. De esta manera, otorgará un alto nivel de credibilidad a las víctimas que no tarden en denunciar y, en contraposición, un bajo nivel a las que no son capaces, y, atemorizadas, tardan años en denunciar 20 . Asimismo, además de introducir variables bajo nociones preconcebidas de la realidad, es necesario señalar que se pueden crear bases de datos no representativas, mayoritariamente por infrarrepresentación del género femenino, por la malnutrición de datos históricos que excluyen a las mujeres. Muestra de ello son los conjuntos de datos que utilizan los sistemas de contratación personal en el ámbito empresarial. Estas bases de datos, alimentadas por información histórica sobre contratación, contienen escasas referencias del género femenino. De esta manera, reproducen el estereotipo de la mujer relegada al ámbito privado y doméstico, menoscabando el derecho a la igualdad de trato y de oportunidades de hombres y mujeres en el ámbito laboral 21 . El especial impacto de género de los sistemas de aprendizaje automático y las cajas negras El problema de la incorporación de los sesgos o estereotipos en los sistemas de IA, no termina en la creación de bases de datos sesgadas; los nuevos y novedosos algoritmos de autoaprendizaje, el denominado Machine Learning, exacerba el alcance discriminatorio de estos sistemas. Es determinante entender, que estos algoritmos predicen, pero no explican, y que además pueden encontrar relaciones entre el resultado final que se quiere medir y datos como la edad, el género, la nacionalidad… incluso, emplear datos sin haberlos pedido 22 . Por tanto, el efecto discriminatorio de esta modalidad algorítmica es tan inalcanzable como su naturaleza misma, puesto que, el algoritmo puede desarrollar 18 De similar manera lo expresa, Martínez Garay, Lucía (2018). “Peligrosidad, algoritmos y due process: El caso State v. Loomis, Revista de Derecho Penal y Criminología, Nº20, p.496. 19 Borges Blázquez, Raquel (2021): “Inteligencia artificial y perspectiva de género: programar, investigar y juzgar con filtro morado”, Revista General de Derecho Procesal, Nº55, p.25. 20 Este ejemplo lo mencionan, Martínez García, Elena, Borges Blázquez, Raquel, Simó Soler, Elisa (2021): “Inteligencia artificial y perspectiva de género en la justicia penal”, Diario La Ley, Nº47, p.6. Creemos pertinente resaltar que esta base de datos no podría ser legítima en nuestro ordenamiento jurídico, ya que existe una doctrina muy consolidada en cuanto a que la tardanza en denunciar no puede suponer una merma de la credibilidad de la víctima. Hemos optado por este ejemplo para visibilizar el gran alcance y efectos que devienen de la creación de bases de datos sesgadas, en detrimento de los derechos humanos de las mujeres. 21 Un caso que muestra perfectamente la discriminación algorítmica fundada en bases de datos no representativas lo encontramos en un algoritmo que creó Amazon para utilizarlo en la contratación personal. Los diseñadores del algoritmo emplearon datos de personas que habían prestado funciones en los diez años anteriores en la empresa. La mayoría de estas personas eran hombres, por tanto, la base de datos contenía una sobrerrepresentación del género masculino. De esta manera, el sistema aprendió que ser mujer era equivalente a ser una mala candidata para la empresa, dando lugar a la discriminación algorítmica por razones de género. De manera similar destaca este ejemplo, Soriano Arnanz, Alba, Simó Soler, Elisa (2021): “Machine Learning y Derecho: aprendiendo la (des) igualdad”, en Barona Vilar, Silvia (Ed.): Justicia algorítmica y neuroderecho: una mirada multidisciplinar, Tirant lo Blanch, Valencia, p.194, al analizar el desarrollo y puesta en funcionamiento de algoritmos discriminatorios. 22 Pérez Estrada, Miren Josune (2020): “El uso de los algoritmos en el proceso penal y el derecho a un proceso con todas las garantías”, en Barona Vilar, Silvia (Ed.): Claves de la justicia penal: Feminización, Inteligencia artificial, Supranacionalidad y Seguridad, Tirant lo Blanch, Valencia, p.239. 400 decisiones discriminatorias sin que podamos identificar la variable que las ha generado. En consecuencia, la opacidad de este tipo de sistema de IA, tiene un impacto de género particular, dado que la imposibilidad de secuenciar el proceso de la decisión, imposibilita la detección y la posterior corrección de los sesgos de género que impregnan estos sistemas de IA. LA INTELIGENCIA ARTIFICIAL Y LA JUSTICIA La irrupción de la Inteligencia Artificial en la Justicia: de la ejustice al juez robot Los sistemas de IA mencionados supra, además de modificar sustancialmente aspectos de nuestra vida cotidiana, de igual forma, han generado un cambio de paradigma en el ámbito jurídico. Las nuevas tecnologías ya forman parte de nuestras relaciones jurídicas y paralelamente, se han ido conformando mecanismos de gestión (e-justice) y solución de conflictos basados en estas nuevas herramientas “inteligentes” (sistemas de IA predictivos y decisorios). La “justicia algorítmica” es ya una realidad con las oportunidades y riesgos que ello conlleva. Sin subestimar las ventajas y oportunidades que suponen estas nuevas herramientas en los procesos judiciales 23 , nuestra labor se centrará en analizar las amenazas que supone para los derechos fundamentales de las mujeres y, en especial, para el derecho a la igualdad y la no discriminación (art. 14 CE), un uso despersonalizado e insensible al género de estos instrumentos. En esta línea, la reciente propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la IA, publicado el 21 de abril de 2021, ha calificado la aplicación de estos sistemas en el entorno jurídico como de alto riesgo, en virtud de los derechos y garantías que pueden resultar menoscabados 24 . Modelos de aplicación de los sistemas de IA en la Justicia En la aplicación de los sistemas de IA para la resolución de conflictos, se divisan dos modalidades: los sistemas de IA predictivos o asistenciales y los decisorios. Los primeros se utilizan como elemento de apoyo en la labor jurisdiccional. Es decir, las decisiones que se fundamenten en sistemas de IA se emplean como complemento de la decisión judicial. En el ordenamiento jurídico español, un ejemplo de sistema de IA predictivo o asistencial, lo encontramos en materia de delitos de violencia de género: el Sistema de Seguimiento Integral en Casos de Violencia de Género (en adelante, VioGén) 25 . Concretamente, este modelo predictivo utiliza algoritmos para valorar el riesgo de revictimización, con el objeto de adoptar medidas de protección para la víctima 26 . Es preciso remarcar que este sistema para valorar el riesgo de violencia contra las mujeres es un sistema 23 Entre otras, desde una dimensión procedimental, la IA presenta una utilidad indiscutible para darles solución a los tres grandes problemas que menoscaban la eficiencia de nuestro sistema judicial: la excesiva burocratización, la tardanza en la tramitación, y la escasez de recursos. Para ahondar en las ventajas de la IA en el proceso judicial, véase, Nieva Fenoll, Jordi (2018): Inteligencia artificial y proceso judicial, Marcial Pons, Madrid. 24 La Comisión Europea determina y enumera en qué casos puede la aplicación de la IA suponer un peligro a una autoridad judicial en la investigación, interpretación y aplicación de la Ley. Véase, Comisión Europea (2021): Proposal for a regulation laying down harmonised rules on artificial intelligence, Bruselas, COM (2021) 206 final, Anexo III. Documento electrónico, https://eur-lex.europa.eu/legalcontent/EN/TXT/?uri=CELEX:52021PC0206, consultado 21/04/2022. 25 Esta herramienta se creó en el año 2007, en virtud de los mandatados contenidos en los 31.3 y 32 de la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género. 26 González Álvarez, José Luis, López Ossorio, Juan José y Muñoz Rivas, Marina (2018): La valoración policial del riesgo de violencia contra la mujer pareja en España - Sistema VioGén, Ministerio del Interior, pp. 18-19. 401 complementario y asistencial, dado que el agente policial no tiene que aceptar acríticamente el resultado de la evaluación riesgo. El agente puede - y debe– modificar el riesgo apreciado, si aprecia que hay razones que inducen a una estimación errónea del mismo, justificando los motivos de su actuación. De lo contrario, estaría dejando la valoración del riesgo a la mera decisión de un algoritmo, menoscabando el derecho fundamental de las mujeres a vivir en un mundo sin violencia de género. No obstante, la función decisoria de los sistemas de IA implica sustituir al ser humano y que sea la inteligencia artificial quien juzga el litigio 27 . En este sentido, nos referimos a instrumentos de IA que, no solo permiten complementar la tarea decisoria del juez, sino que se emplean como herramientas sustitutivas de la labor judicial, una suerte de robotización jurisdiccional (juez robot). Esta despersonalización del sistema judicial 28 reviste una vital importancia y trascendencia en el amparo de la igualdad de género, dado que como veremos infra, los sistemas de IA pueden convertirse en mecanismos reproductores de desigualdad por los sesgos existentes en los mismos. Por esta razón, es necesario que se prime la labor argumentativa e interpretativa del juez, para poder aplicar el derecho al caso concreto y no adoptar resoluciones que mermen los derechos fundamentales, en general, y los de las mujeres, en particular. Aplicando los sistemas de IA en el proceso judicial: ¿herramienta productora o garante de la igualdad de género? Un ejemplo muy clarificador sobre los riesgos potenciales del uso de los sistemas de IA con funciones decisorias en el proceso judicial penal, en detrimento de los derechos fundamentales de las mujeres, lo encontramos en la sentencia de la Sala Contencioso Administrativa de la Audiencia Nacional (en adelante, AN) de 30 de septiembre de 2020. El caso se basa en la deficiente –por no decir nula– protección que otorgaron las Fuerzas de Seguridad del Estado a una mujer que solicitó una orden de protección. Los agentes de la Guardia Civil realizaron a la víctima el cuestionario de cribado del sistema VioGén (VPR), resultando la estimación del riesgo baja. Los agentes, limitándose a la valoración del riesgo apreciado por el sistema VioGén, calificaron el riesgo como “no apreciado”. A pesar de existir indicios para reevaluar dicha estimación –el marido tenía antecedentes de maltrato en su país de origen, la madre del agresor había presenciado episodios de violencia, …. – mediante las actuaciones que los agentes estimasen oportunas y pertinentes, no se modificó y, mediante Auto de 17 de septiembre de 2016, el Juzgado de Primera Instancia e Instrucción nº2 de San Lucar la Mayor, se acordó denegar la orden de protección. Un mes más tarde, la víctima, que la decisión de un algoritmo enmudeció y desprotegió, fue asesinada por su marido. En este sentido, la AN apreció un funcionamiento negligente de la Guardia Civil “al no ponderar con rigor el riesgo real al que estuvo sometida la víctima, dejándola sin la protección debida, que podía haber evitado la tragedia final” 29 . Por ello, estimando que se daban los requisitos para exigir la responsabilidad patrimonial 30 , condenó al Ministerio del Interior a reparar los daños causados, por el funcionamiento anormal de los servicios policiales. Este caso evidencia la ausencia de perspectiva de género en la implementación de los sistemas de IA. Por un lado, 27 Martín Diz, Fernando (2021). “Modelos de aplicación de Inteligencia Artificial en Justicia”, en Barona Vilar, Silvia (Ed.): Justicia algorítmica y neuroderecho: una mirada multidisciplinar, Tirant lo Blanch, Valencia, p.81 28 En este sentido, Barona Vilar, Silvia (2019): “Cuarta revolución industrial (4.0) o ciberindustria en el proceso penal: revolución digital, inteligencia artificial y el camino hacia la robotización de la justicia”, Revista Jurídica Digital UANDES, Vol.3, N°1, p.10, habla de una “merma ineludible en la capacidad decisoria del juez, cercenando el razonamiento lógico deductivo desplegado en la formulación de la sentencia”. 29 SAN 2350/2020, de 30 de septiembre de 2020, FJ nº3. Disponible en: https://www.poderjudicial.es/search/AN/openDocument/8b1fed1c777df625/20201015 30 Dichos requisitos se fijan, entre otras, en la STS 540/2016, de 19 de febrero y en la STS 4942/2014 de 5 de diciembre.