Injustice by algorithm: predictive policing and profiling systems in the police and judicial field in Spain

Sistemas policiales predictivos y de perfilamiento en el ámbito policial y judicial en España Algoritmos y desigualdad: Autora: Naiara Bellio Colaboradores: Ana Valdivia & Javier Sánchez Monedero Traducción: Aurora Ali & Najim M. Ouled Editores: Griff Ferris & Sofia Lyall Diseño y maquetación: Isabel Muriedas AlgoRace & Statewatch Límites de la investigación Límites de la investigación La fase de investigación correspondiente a este informe concluyó en diciembre de 2023. Por motivos de organización, la publicación se ha visto pospuesta hasta la fecha actual. En consecuencia, la información que aquí se presenta se basa en entrevistas y en análisis documentales realizados hasta finales de 2023, sin contemplar actualizaciones posteriores de los sistemas estudiados ni la adopción de nuevas disposiciones normativas. En consecuencia, el informe no analiza la implementación ni los efectos del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial, así como las modificaciones introducidas en la normativa previa. Cabe mencionar que algunos de los sistemas analizados han podido experimentar modificaciones tras la finalización de la fase de investigación. A modo de ejemplo, el sistema VioGén fue actualizado a una nueva versión a comienzos de 2025; RisCanvi fue objeto de una auditoría en 2024; y VeriPol dejó de estar operativo a finales de 2024. Dichas modificaciones no han sido incorporadas al presente informe. Por otra parte, para evitar posibles confusiones derivadas del paso del tiempo, se ha optado por omitir los nombres de las personas entrevistadas, dado que algunas de ellas ya no desempeñan las funciones que ostentaban en el momento en que se realizaron las entrevistas, en 2023. Por último, señalar que las citas literales recogidas en este informe expresadas por expertos/as que han participado o participan en el diseño, desarrollo y/o revisión de los sistemas analizados, son una traducción al español de la versión original del informe (inglés). 3 Siglas y acrónimos Términos y definiciones Resumen ejecutivo Introducción Metodología Obstrucción y deficiencias estructurales en materia de transparencia Policía “predictiva”: sistemas de predicción geográfica del delito Sistema “Predictivo” de Apoyo a las Decisiones de Patrullaje Policial (o Smart Patrolling) — P3-DSS EUROCOP DataWeb Policía “predictiva”: sistemas de “predicción” individual, perfilación y evaluación de riesgos VioGén EPV-R Perfilamiento de agresores sexuales VeriPol CAMINS Sistemas de videovigilancia y reconocimiento de imágenes Prisiones: sistemas automatizados de elaboración de perfiles y “predicción” DRAVY RISCANVI Bases de datos a. ABIS b. ADEXTTRA c. ADPASFIL Conclusiones Bibliografía Índice Índice 5 7 9 12 13 15 16 17 19 23 24 24 30 35 36 40 41 44 44 48 53 55 56 58 59 62 4 Siglas Término en inglés Denominación en castellano ADM Automated decision-making systems Sistemas de toma de decisiones automatizada AI Artificial intelligence Inteligencia artificial AGI Artificial general intelligence Inteligencia artificial general P3-DSS Predictive Police Patrolling Decision Support System Sistema predictivo de apoyo a la decisión en el patrullaje policial EPV-R Intimate Partner Femicide and Severe Violence Assessment Escala de Predicción del Riesgo de Violencia Grave contra la Pareja ABIS Automated Biometric Identification System (formerly SAID) Sistema automatizado de identificación biométrica (antes SAID) SAID Automated System for Fingerprint Identification Sistema automático de identificación dactilar ADEXTTRA Foreigner registration database Base de datos de extranjería ADPASFIL Passports and migration database Base de datos de pasaportes y migración EU AI Act European Union Artificial Intelligence Act Reglamento de Inteligencia Artificial de la Unión Europea FOIA Freedom of Information Access Acceso a la información pública OSINT Open source intelligence Inteligencia de código abierto GDPR General Data Protection Regulation Reglamento general de protección de datos Siglas y acrónimos Siglas y acrónimos 5 VPR Police Risk Assessment Valoración policial del riesgo VPER Evolution of the Police Risk Assessment Valoración policial de la evolución del riesgo EBA Protection of Women and Households (digital platform in the Basque Country) Sistema contra la Violencia Doméstica y de Género, EBA (Emakumeen eta Etxekoen Babesa en euskera, Protección de las Mujeres y los Hogares), País Vasco. ANPR Automated Number Plate Recognition Reconocimiento automático de matrículas CCTV Closed Circuit Television Circuito cerrado de televisión DRAVY Detection of violent jihadist radicalisation Detección de radicalismo violento de naturaleza yihadista LSIR Level of Service Inventory-Revised Nivel de Inventario de Servicio Revisado IFRS INTERPOL’s Face Recognition System Sistema de reconocimiento facial de INTERPOL NIE Foreigner Identification Number Número de identidad de extranjero 6 Términos y definiciones Términos y definiciones Inteligencia artificial El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo define un sistema de inteligencia artificial (en adelante IA) como: “...un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales.” 1 Algoritmo No existe una definición única y universalmente aceptada del término “algoritmo”. Sin embargo 1 Artículo 3, apartado 1, del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#art_3 2 Propuesta de Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial, COM(2021)206 final, de 21 de abril de 2021 https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206 3 Cambridge Dictionary, ‘Machine learning’, https://dictionary.cambridge.org/dictionary/english/machine-learning 4 Cabinet Office et al. (2021). Ethics, Transparency and Accountability Framework for Automated Decision-Making. GOV.UK. El presente informe parte de esta definición, pese a que existen múltiples aproximaciones para delimitar qué entendemos por IA y sus sistemas. Conviene destacar que la práctica totalidad de las herramientas algorítmicas y automatizadas empleadas por los cuerpos de seguridad y por los órganos jurisdiccionales en España no utilizan IA en sentido estricto. Aunque algunos integran técnicas de aprendizaje automático —subárea de la IA— (véase más adelante), la mayor parte se fundamenta en métodos estadísticos clásicos y se encuadra, de forma más precisa, dentro de los sistemas de toma de decisiones automatizada (véase más adelante). 2 Aprendizaje automático El Diccionario de Cambridge define el aprendizaje automático como «el proceso por el que los ordenadores mejoran su capacidad para llevar a cabo tareas mediante el análisis de nuevos datos, sin que sea necesario proporcionar instrucciones en forma de programa; así como el estudio del diseño y uso de sistemas informáticos capaces de realizar dicho aprendizaje». 3 Sistema de toma de decisiones automatizada La Oficina para la IA del Reino Unido define los sistemas de toma de decisiones automatizadas como aquellos que adoptan “decisiones de forma completamente automatizada —sin intervención del juicio humano—“, así como aquellos que “incorporan procesos de toma de decisiones automatizadas —para respaldar el criterio humano—.” 4 7 5 Stone, Harold S. (1971), Introduction to Computer Organization and Data Structures, McGraw-Hill, Inc., USA. 6 MIT Technology Review (2021), "What is an 'algorithm'? It depends on whom you ask", 26 de febrero de 2021, disponible en: https://www.technologyreview.com/2021/02/26/1020007/what-is-an-algorithm/ 7 AI Now Institute (2023), "Biometric Surveillance Is Quietly Expanding: Bright-Line Rules Are Key", 11 de abril de 2023, disponible en: https://ainowinstitute.org/publication/biometric-surveillance-is-quietly-expanding#footnote-25 8 Amnesty International, We Sense Trouble: automated discrimination and mass surveillance in predictive policing in the Netherlands, 2020, Index: EUR 35/2971/2020, https://www.amnesty.org/en/wp-content/uploads/2021/05/EUR3529712020ENGLISH.pdf Datos biométricos Los datos biométricos son generalmente considerados como una categoría de "datos personales sensibles". Según el AI Now Institute, “la mayoría de los enfoques legales para regular la biometría adoptan una definición restrictiva, basada en la capacidad de la información corporal para confirmar o establecer la identidad oficial de una persona”. No obstante, estas definiciones no incluyen otros tipos de información corporal que, aunque no están orientados a la confirmación de la identidad, pueden revelar datos personales sensibles, tales como la frecuencia cardíaca, la sudoración o el análisis de la marcha. 7 Policia predictiva Se distinguen dos tipos principales de policía predictiva: la orientada a la ubicación y la orientada a la persona. Amnistía Internacional define los sistemas de policía predictiva como: “…programas informáticos que emplean datos y modelos algorítmicos para evaluar el riesgo de que se cometa un delito. Estos sistemas calculan puntuaciones de riesgo que, supuestamente, reflejan la probabilidad de que una persona o un grupo sea o llegue a ser víctima o perpetrador [orientada a la persona], o que un lugar específico se convierta en escenario de un crimen futuro [policía predictiva orientada a la ubicación]. A partir de estas puntuaciones generadas por el sistema, la policía toma medidas preventivas o reactivas, enfocando sus esfuerzos en las ubicaciones, individuos o grupos considerados de 'alto riesgo'”. 8 embargo, una definición común establece que un algoritmo es: "un conjunto de reglas que definen de manera precisa una secuencia de operaciones". En el contexto de la estadística y el aprendizaje automático, se entiende como el conjunto de instrucciones que un sistema informático sigue para aprender y extraer patrones a partir de los datos. 5 6 8 Resumen ejecutivo Resumen ejecutivo En toda España, las autoridades policiales y del sistema judicial penal han comenzado a implementar sistemas basados en datos y toma de decisiones automatizada (ADM), así como sistemas de inteligencia artificial (IA), para apoyar la toma de decisiones en las fuerzas de seguridad y en las prisiones. Estos sistemas, que a menudo se desarrollan e implementan de manera rápida, con poca transparencia o trascendencia pública, varían desde métodos avanzados de análisis computacional, que en ocasiones emplean IA y aprendizaje automático, hasta métodos básicos de análisis de datos y bases de datos no automatizadas. Se trata de sistemas que influyen en decisiones reales y pueden tener consecuencias graves dentro del sistema judicial penal, como la vigilancia y monitoreo policial, interrogatorios, registros, multas y sentencias más severas, así como decisiones relacionadas con la libertad condicional, inmigración y bienestar social. Los sistemas predictivos empleados en el ámbito policial y judicial tienden a afectar de manera desproporcionada a determinados grupos y comunidades, incluyendo mujeres, personas migrantes y racializadas, no nacionales, y aquellas pertenecientes a clases trabajadoras. a. Hallazgos clave Este informe cubre algunos de los principales sistemas de toma de decisiones automatizada y bases de datos que han sido o están siendo utilizados por las fuerzas policiales y las prisiones en España. Para cada sistema, se proporciona información sobre su propósito, los datos empleados y los impactos en personas y lugares. La primera sección del informe se centra en los sistemas predictivos desarrollados por la policía, incluyendo: sistemas de predicción del delito enfocados en la ubicación, que supuestamente predicen dónde y cuándo ocurrirá un delito; y sistemas de predicción del delito, perfilamiento y evaluación de riesgos centrados en la persona, que supuestamente predicen la probabilidad de que un individuo cause daño o violencia en el futuro. Los sistemas de “predicción” del delito basados en la localización geográfica que cubre este informe son: El Sistema Predictivo de Apoyo a la Decisión en el Patrullaje Policial (P3-DSS) y EuroCop. Estos sistemas se utilizan para “predecir” delitos en determinadas ubicaciones e identificar las “zonas calientes” del crimen con el fin de asignar patrullas policiales o concentrar los recursos en áreas específicas. El P3-DSS se probó por parte de la Policía Nacional, mientras que algunas aplicaciones de EuroCop se continúan usando por policías locales. Estos sistemas se basan en datos históricos sobre delitos, los cuales, en muchos casos, reflejan sesgos estructurales existentes en el sistema de justicia y penal, lo que conduce a un exceso de vigilancia y control de comunidades marginalizadas y racializadas. 9 2 Policía “predictiva”: sistemas de Policía “predictiva”: sistemas de “predicción” geográfica del delito “predicción” geográfica del delito El uso de sistemas automatizados de toma de decisiones y de predicción y perfilamiento basados en datos para la identificación de ubicaciones con supuesta actividad delictiva ha sido documentado en diversos cuerpos policiales de Europa. Programas como PAVED y el Risk Terrain Modelling en Francia, otros sistemas similares en el Reino Unido, Delia de KeyCrime en Italia o SKALA en Alemania constituyen solo algunos ejemplos de modelos algorítmicos empleados para perfilar zonas geográficas e identificar supuestos “puntos críticos” de criminalidad. Muchos de estos sistemas se inspiran en programas desarrollados previamente en Estados Unidos, donde las estrategias de policía predictiva comenzaron a expandirse de forma generalizada. Aunque los sistemas de “predicción” geográfica se implementaron inicialmente en Estados Unidos, los modelos actualmente utilizados en Europa presentan dinámicas similares. Estos sistemas analizan datos territoriales, principalmente provenientes de registros policiales sobre delitos o presuntos delitos cometidos en un área determinada. También incorporan otros tipos de información, como datos sobre identificaciones, cacheos o controles policiales, e incluso, en ocasiones, datos no policiales como estadísticas socioeconómicas, nacionalidades o características demográficas de las zonas. A partir de estos datos, los sistemas generan predicciones sobre las ubicaciones en las que es más probable que se produzcan delitos o sobre los niveles de riesgo asociados a determinadas áreas. Dado que estos modelos se basan en datos históricos de criminalidad, tienden a centrarse en aquellas zonas donde previamente se ha registrado una mayor actividad delictiva. Como consecuencia, los barrios clasificados como más conflictivos son objeto de una vigilancia más intensiva por parte de las fuerzas policiales, lo que se traduce en un control más estricto de sus residentes. Este fenómeno suele afectar de manera desproporcionada a comunidades racializadas, comunidades en situación de vulnerabilidad o zonas con menor nivel socioeconómico y recursos limitados. En España, los sistemas de predicción geográfica y los modelos de optimización de patrullas están integrados en numerosos cuerpos policiales. La Policía Nacional y la Guardia Civil operan en todo el territorio nacional, mientras que la Policía Local y las policías municipales actúan en el ámbito de sus respectivas localidades y provincias. Asimismo, los Mossos d'Esquadra y la Ertzaintza ejercen sus competencias en las comunidades autónomas de Cataluña y del País Vasco, respectivamente. Cada cuerpo policial mantiene un grado significativo de autonomía, lo que implica que, aunque comparten determinadas operaciones e información, funcionan en distintos niveles jerárquicos y, por tanto, emplean sistemas, bases de datos y modelos de análisis propios. 14 15 16 17 18 14 La Quadrature du Net (2023), “PREDICTIVE POLICING IN FRANCE: AGAINST OPACITY AND DISCRIMINATION, THE NEED FOR A BAN”, https://www.laquadrature.net/en/2024/01/18/predictive-policing-in-france-against-opacity-and-discrimination-the-need-for-aban/#:~:text=Predictive%20policing%20is%20thus%20still,as%20part%20of%20its%20prerogatives 15 KeyCrime, “Delia”, https://keycrime.com/about-us 16 North Rhine-Westphalia Police, @Project SKALA@, https://polizei.nrw/artikel/projekt-skala-predictive-policing-in-nrw-ergebnisse 17 Fair Trials. ‘Automating Injustice: The use of Artificial Intelligence and automated decision-making systems in criminal justice in Europe’, https://www.fairtrials.org/articles/publications/automating-injustice 18 ProPublica (2016), ‘Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks’, 23 May 2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing ; The Markup (2021), ‘Crime Prediction Software Promised to Be Free of Biases. New Data Shows It Perpetuates Them’, 2 Dec 2021, https://themarkup.org/prediction-bias/2021/12/02/crimeprediction-software-promised-to-be-free-of-biases-new-data-shows-it-perpetuates-them 16 Figura 1: DPPU: Unidad de Prepro cesamiento de Datos (Data Preprocessing Unit); CRFU: Unidad de Prevención de Riesgos Penales (Criminal Risk Forecasting Unit); PSOU: Unidad de Optimización del Sector de Patrullas (Patrol Sector Optimization Unit). Contenido en un P3-DSS. La primera versión del sistema se entrenó utilizando 105.755 informes de robos registrados entre 2008 y 2012. Para su desarrollo, se tuvieron en cuenta diversos factores, como el aislamiento de ciertas áreas (la distancia entre los distintos distritos), los datos censales (ya que los distritos deben coincidir con las asignaciones de patrullas), la hora del día y el número de patrullas. El sistema asignó una distribución óptima de los recursos policiales a cada uno de los barrios de la ciudad. "La solución encontrada por el algoritmo siempre mejora los resultados, con una mejora media del 10%", afirmó una de las ingenieras que trabajó en el modelo, la Dra. Lara QuijanoSánchez. El estudio práctico dividió a la población residente en la Comunidad de Madrid en diferentes grupos demográficos: españoles, ciudadanos de la UE, ciudadanos no pertenecientes a la UE y grupos correspondientes a cada continente. Para cada grupo, se calculó su "objetivo de contacto policial", es decir, la proporción del tiempo total de patrullaje asignado a cada grupo en función de su tamaño, en relación con la población total del territorio. A partir de la configuración real de las patrullas, se evaluó si un grupo poblacional recibía más o menos atención policial que la prevista según su "objetivo de contacto policial". La conclusión fue que “existe un equilibrio entre la eficiencia de las patrullas y la equidad racial 19 Los mismos investigadores participaron en el desarrollo de VeriPol, un sistema predictivo destinado al análisis de denuncias policiales, que se analiza en detalle más adelante en este informe 20 Camacho-Collados, M., & Liberatore, F. (2015). A decision support system for predictive police patrolling. Decision support systems, 75, 25-37, https://www.sciencedirect.com/science/article/abs/pii/S0167923615000834 21 “Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. By Lara Quijano-Sánchez, Ph.D by the Politechnic School of the Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE a) Sistema “Predictivo” de Apoyo a las Decisiones de Patrullaje Policial (o Smart Patrolling) — P3-DSS Uso: Predi cción geográfica del crimen Fecha de creación : 2015 En 2015, la Policía Nacional probó un sistema “predictivo” de apoyo a las decisiones de patrullaje policial, conocido como P3-DSS. Fue desarrollado por un exinspector de policía, matemático, y dos investigadores en ingeniería informática y ciencia de datos. El objetivo de P3-DSS es identificar franjas temporales y localizaciones con mayor probabilidad de que se produzcan delitos en el futuro. 20 19 21 17 e información, funcionan en distintos niveles jerárquicos y, por tanto, emplean sistemas, bases de datos y modelos de análisis propios. racial”, y que reducir la eficiencia del algoritmo del 78% al 75% mejoraría drásticamente la tasa de equidad racial calculada. Según Quijano-Sánchez, el modelo debería probarse en distintas zonas con características poblacionales diversas, por ejemplo, en ciudades con “mayor segregación racial”: 22 Hasta la fecha de publicación de este informe, los investigadores trabajan en una actualización del modelo que busque incorporar una mayor equidad territorial, racial y en la distribución de la carga de trabajo. “Aunque el modelo previo establece configuraciones eficientes para las patrullas, no tiene en cuenta la equidad racial ni asegura que la presencia policial sea equitativa entre los distintos grupos de población”, explica Quijano-Sánchez. El artículo sobre el sistema, publicado por Quijano-Sánchez y sus dos colegas en 2023, admite que “los delitos denunciados están influenciados por sesgos de selección derivados de las tasas desiguales de denuncia de delitos entre grupos socioeconómicos y áreas geográficas”. En los últimos años, diversas investigaciones en Estados Unidos se han centrado en analizar la tendencia de los programas geográficos de “predicción” del crimen a clasificar como más peligrosos los vecindarios con alta concentración de poblaciones racializadas o de personas con menores ingresos. Investigaciones adicionales, basadas en experimentos realizados en Chicago, concluyen que el mapeo predictivo del crimen “no supone una aplicación más precisa de la fuerza policial, sino que legitima la criminalización generalizada de los distritos racializados”. Esto implica que, aunque la policía ha recurrido a este tipo de software con la intención de hacer sus operaciones más objetivas, en realidad ha reforzado y exacerbado los sesgos estructurales en la policía, la justicia penal y la sociedad en su conjunto. Este mismo problema se presenta en España. Movimientos antirracistas y organizaciones de derechos fundamentales han denunciado de forma reiterada y sistemática las prácticas policiales discriminatorias, como las detenciones y registros basados en perfiles raciales, en los que las fuerzas de seguridad del Estado fundamentan sus acciones en criterios raciales y no objetivos. La policía en España detiene y registra de forma desproporcionada a personas en función de su apariencia racial, étnica o religiosa, un fenómeno ampliamente documentado en diversos estudios. Por ejemplo, las personas provenientes del continente africano y de los países del este de Europa tienen más probabilidades de ser detenidas y registradas que los ciudadanos españoles. Son estos datos, que reflejan sesgos estructurales de tipo racial, socioeconómico y otros, los que alimentan y operan los sistemas de mapeo del crimen geográficos y de "puntos calientes" o "hotspots" predictivos. 22 Ibid 23 Ibid 24 Ibid 25 Liberatore, F., Camacho-Collados, M., & Quijano-Sánchez, L. (2023). Towards social fairness in smart policing: Leveraging territorial, racial, and workload fairness in the police districting problem. Socio-Economic Planning Sciences, 87, 101556, https://www.sciencedirect.com/science/article/pii/S0038012123000563#sec5 26 The Markup,(2021), ‘Crime Prediction Software Promised to Be Free of Biases. New Data Shows It Perpetuates Them”, December 2 2021, https://themarkup.org/prediction-bias/2021/12/02/crime-prediction-software-promised-to-be-free-of-biases-new-data-shows-it-perpetuates-them 27 J efferson, B. J. (2018). Predictable policing: Predictive crime mapping and geographies of policing and race. Annals of the American Association of Geographers, 108(1), 1-16, https://www.tandfonline.com/doi/full/10.1080/24694452.2017.1293500 28 Rights International Spain y Open Society Justice Initiative (2019), “Under Suspicion: The Impact of Discriminatory Policing in Spain”, Report: https://www.justiceinitiative.org/uploads/21ac6560-639d-461c-a6b7-06822ad1c07e/under-suspicion-the-impact-of-discriminatory-policing-inspain-20190924.pdf ; Video: https://www.justiceinitiative.org/voices/under-suspicion-the-impact-of-discriminatory-policing-in-spain “Una pequeña reducción de la eficiencia conduce a un enorme aumento de la igualdad racial (...). A pesar de su actividad, este modelo conlleva un dilema ético ya que implica reducir intencionalmente la eficiencia de las operaciones de patrulla, lo que puede conducir a más delitos en el futuro”. 23 24 26 25 27 28 18 La policía comenzó a utilizar los productos de EuroCop tras una colaboración con la Universidad Jaume I, ubicada en Castellón, en la Comunidad Valenciana. En 2014, un grupo de académicos inició el desarrollo de modelos matemáticos que supuestamente “predicen” un aumento en las tasas de actividad delictiva, basándose en los datos generados por la policía. La empresa financió la investigación a través de lo que la universidad denominó la “Cátedra EuroCop”. Este financiamiento se extendió hasta 2020, momento en el cual EuroCop ya había vendido la tecnología a las fuerzas policiales. 29 Arenas-García L y García-España E, (2022), “Police stop and search in Spain: an overview of its use, impacts and challenges”, https://indret.com/wp-content/uploads/2022/07/1715.pdf 30 El Salto. ‘El Estado policial español 2.0: tecnologías de empresas privadas para vigilar a los ciudadanos’. 4 de febrero de 2021. https://www.elsaltodiario.com/tecnologia/estado-policial-espanol-2.0-empresas-privadas--vigilar-ciudadanos 31 EuroCop, ‘Eurocop systems’ , https://www.eurocop.com/sistemas-de-Eurocop/ b) EUROCOP Uso: Predi cción geográfica del crimen Fecha de creación : su desarrollo comenzó en 2014 EuroCop es una empresa privada con sede en Madrid que se dedica al desarrollo y comercialización de tecnología policial. Su catálogo de productos abarca desde radares convencionales hasta software predictivo que clasifica los barrios según sus supuestas tasas de criminalidad. En las últimas dos décadas, EuroCop ha firmado más de 100 contratos con administraciones públicas para suministrarles tecnología de predicción geográfica de delitos. Solo en 2023, la empresa participó en un número similar de licitaciones. 30 29 registradas que los ciudadanos españoles. S Son estos datos, que reflejan sesgos estructurales de tipo racial, socioeconómico y otros, los que alimentan y operan los sistemas de mapeo del crimen geográficos y de "puntos calientes" o "hotspots" predictivos. 31 Figura 2: diagrama de los diferentes sistemas proporcionado por EuroCop 19 “Cátedra EuroCop”. En el momento de elaboración de este informe, se entrevistaron a policías locales que utilizaban una de las aplicaciones de Eurocop no basada en inteligencia artificial, sino en modelos estadísticos de predicción. Par a 2023, el software de “predicción” geográfica de delitos de EuroCop ya se utilizaba en siete regiones: Alicante Andalucía Canarias Castilla y León Comunidad de Madrid Comunidad Valenciana Galicia En la Comunidad de Madrid, casi todas las comisarías han estado utilizando la plataforma de “predicción” del delito durante casi una década. Los modelos geográficos de “predicción” de la delincuencia de EuroCop se basan en datos similares para configurar un mapa de “puntos calientes” en una ciudad determinada. El programa utiliza datos proporcionados por la policía para identificar áreas donde se producen los delitos más comunes, como robos violentos o no violentos, hurtos y robos de vehículos. Posteriormente, emplea métodos estadísticos para identificar patrones y realizar una “predicción” sobre los lugares en los que es más probable que ocurran delitos en el futuro. “Cada tres a seis meses se realiza un análisis del seccionamiento generado por el sistema [...] y en función de estos resultados se planifica la asignación de recursos de la Policía Local”, señala Leonardo Lafuente, ex inspector de la Policía Local de Rivas Vaciamadrid, uno de los primeros municipios en implementar el software predictivo de EuroCop. Con base en estas “predicciones”, la Policía Local lleva a cabo medidas de vigilancia, recopilación de información, prevención del delito y control de seguridad en colaboración con la Guardia Civil. Esto puede incluir, por ejemplo, la asignación de patrullas a calles específicas consideradas “puntos calientes” o el envío de unidades móviles a barrios determinados. Datos y criterios Según los agentes de policía entrevistados, todos los datos relacionados con un delito se introducen en el sistema y se obtienen principalmente de las denuncias presentadas. Estos datos incluyen: la calle donde ocurre la infracción; la hora del día; la fecha; el número de personas implicadas; si hubo heridos; el tipo de delito, etc. Esta información se recopila especialmente a través de llamadas telefónicas a líneas de emergencia: unas 20.000 entradas al año. Según los agentes de policía entrevistados, todos los datos relacionados con un delito son introducidos en el sistema, los cuales provienen principalmente de las denuncias presentadas. Estos datos incluyen, entre otros: 32 De acuerdo con una entrevista realizada a agentes de policía locales. 33 Entrevista realizada el 25 de agosto de 2023. 32 33 20 Según los agentes de policía entrevistados, todos los datos relacionados con un delito son introducidos en el sistema, los cuales provienen principalmente de las denuncias presentadas. Estos datos incluyen, entre otros: D e cara a entrenar un modelo predictivo de este tipo, un matemático que colaboró en la Cátedra EuroCop con la policía asegura que se utilizaron datos de llamadas de emergencias recibidas entre 2011 y 2020 en la Comunidad Valenciana: 34 Entrevista realizada el 10 de marzo de 2023 . 35 Ministerio del Interior. Balance trimestral de criminalidad. https://estadisticasdecriminalidad.ses.mir.es/publico/portalestadistico/portal/balances.html 36 Entrevista realizada el 23 de agosto de 2023 37 elDiario.es. 31 de diciembre de 2022. ‘La Cañada Real, un barrio en (auto)construcción frente al estigma, el abandono y la presión inmobiliaria’: https://www.eldiario.es/sociedad/canada-real-barrio-auto-construccion-frente-estigma-abandono-presion-inmobiliaria_1_9830859.html La aplicación de Eurocop usada por la policía local también utiliza estadísticas oficiales sobre criminalidad proporcionadas por el Ministerio del Interior, que sirven para entrenar al programa para establecer las ponderaciones deseadas, y datos estadísticos de la Guardia Civil, que luego se combinan con la base de datos policial que cada municipio crea para registrar delitos en su zona. La base de datos generada por el sistema contiene “datos personales protegidos o altamente protegidos”, según un exfuncionario. Junto al nombre y DNI de la víctima de un delito, se registran datos relacionados con su situación sanitaria y social: “Se identifican a las personas implicadas junto con toda la información que pueda ser útil para esclarecer lo sucedido o para informar a los servicios asistenciales si fuera necesario”, declaró. Por ejemplo, en el caso de un intento de suicidio, cualquier condición de salud mental u otros datos psicológicos y sanitarios se registrarían en la base de datos. El mismo agente afirmó que, aunque estos datos son registrados, supuestamente no todos son utilizados para la “predicción” de delitos: “No queremos analizar la tipología de la persona que comete el delito, sino el tipo de delito y el área donde se comete”. Las áreas identificadas por el programa no son públicas, y los departamentos de policía suelen no conservar datos históricos sobre ellas. Impacto 35 “Lo entrenas con un historial de datos y luego lo validas con la información del último año. Una vez que haces eso, irás al futuro (donde no puedes probarlo porque aún no existe); por eso necesitas las variables que forman parte del historial. ¿Cómo predecir el futuro? Lo que sabes, lo sabes y lo que no sabes, lo predices”. 34 21 Como se ha señalado en los estudios anteriormente mencionados realizados en Estados Unidos, el uso de sistemas de “predicción” geográfica del delito ha contribuido a reforzar la discriminación sistémica contra grupos racialmente minorizados y socialmente desfavorecidos. En el caso de Rivas Vaciamadrid, un exinspector de la Policía Local señala que el barrio con más probabilidades de ser identificado como “punto crítico” por el sistema de EuroCop es la Cañada Real, un distrito marginado en las afueras de Rivas y de la Comunidad de Madrid, donde viven alrededor de 20.000 personas en condiciones de extrema precariedad, incluso sin acceso regular a servicios básicos como el suministro eléctrico. 36 37 En relación con esta cuestión, el matemático implicado en la coordinación de la “Cátedra EuroCop”, sostiene que, aunque los sesgos discriminatorios de estos programas podrían corregirse a nivel de datos, el riesgo de discriminación persiste en la práctica: Los Mossos d'Esquadra de Cataluña utilizan un programa similar de “predi cción” geográfica de la delincuencia denominado DataWeb. No obstante, en el momento de la redacción de este informe, dicho software se encontraba en proceso de actualización, por lo que apenas se pudo obtener información detallada. Según un departamento interno de los Mossos d'Esquadra, el modelo es anterior al de EuroCop. Se alimenta de datos extraídos de las denuncias registradas, que incluyen nombres, direcciones, números de teléfono, afiliaciones y, además, información relacionada con el 38 Entrevista realizada el 10 de marzo de 2023. 39 Ibid. 40 Ibid. 41 De acuerdo con la entrevista realizada en marzo de 2023. En el momento de elaboración de este informe, cientos de municipios continúan utilizando la aplicación de EuroCop, que ha introducido varias actualizaciones del sistema. Los investigadores que participaron en la creación de lo s modelos siguen adaptándolos y perfeccionándolos, aunque ya no reciben datos actualizados de las fuerzas policiales. Esto implica que los modelos operan fundamentalmente sobre datos históricos de varios años de antigüedad. El mismo matemático afirma, “si tienes un modelo que ha estado entrenándose durante ocho años, lo que haces es compararlo con datos reales de los dos últimos años para validarlo. Si encuentras que tiene una precisión del 89 %, es suficiente. Por eso no necesitamos nuevos datos policiales”. Hasta la fecha de elaboración de este informe, la policía tampoco ha evaluado la precisión ni la eficacia del sistema por su parte. Según el matemático entrevistado, el éxito del algoritmo se fundamenta en su viabilidad teórica; sólo podría considerarse efectivo evaluando los resultados en términos de prevención y disuasión del delito por parte de las fuerzas policiales. A pesar de la falta de datos exhaustivos que permitan valorar el rendimiento real del algoritmo, los nuevos modelos de EuroCop estaban destinados a ser comercializados en países de América Central, como Colombia, México y Ecuador, donde las concepciones de criminalidad, las tasas delictivas y sus causas difieren sustancialmente de las existentes en España. El grupo de investigación de la Universitat Jaume I que trabajó en el desarrollo del modelo recibió una oferta de contrato para construir un modelo en Ecuador que permitiera analizar datos a escala nacional: si se había producido un homicidio, el tipo de arma utilizada o en qué zonas podían ocurrir distintos tipos de muertes. Para ello, el Ministerio del Interior facilitó datos sobre homicidios, asesinatos, sicariatos y feminicidios. 39 “Se produce un sesgo cuando decimos que determinada zona es conflictiva y se llevan más patrullajes allí. Desde un punto de vista matemático se puede corregir. Desde el punto de vista social, es mucho más complicado no tener prejuicios porque vives en determinadas zonas que se consideran más conflictivas”. 38 40 41 22 c) DataWeb 42 Mossos D’Esquadra, “Mapa delincuencial” , https://mossos.gencat.cat/ca/els_mossos_desquadra/indicadors_i_qualitat/dades_obertes/Visors_altres_dades/visor-de-dades/ 43 Ibid direcciones, números de teléfono, afiliaciones y, además, información relacionada con el delito, como el lugar donde supuestamente tuvo lugar el incidente, el tipo de delito o arresto, así como la fecha y la hora. Prácticamente todos los datos empleados por el programa están disponibles en el portal de datos abiertos de los Mossos d'Esquadra, el cual recoge información sobre múltiples tipologías delictivas, incluidos homicidios y delitos relacionados, lesiones, delitos contra el orden público, delitos contra la seguridad colectiva, delitos contra las relaciones familiares, delitos contra la Constitución, entre otros. 42 43 Figura 3: Mapa criminal que delimita las localidades de Cataluña según el número y tipo de delitos y las fechas en que se produjeron. 23 3 Policía “predictiva”: sistemas de “predicción” Policía “predictiva”: sistemas de “predicción” individual, perfilación y evaluación de riesgos individual, perfilación y evaluación de riesgos En España, los organismos encargados de hacer cumplir la ley utilizan sistemas de toma de decisiones automatizadas (ADM) y herramientas basadas en datos para llevar a cabo la “predicción” de conductas y la perfilación de individuos. Estas tecnologías se emplean principalmente para evaluar el “riesgo” de violencia o daño, aunque también se han desarrollado sistemas destinados a la detección de denuncias falsas, entre otros fines. Estos sistemas consisten fundamentalmente en modelos estadísticos que analizan variables sobre una persona (como edad, género, nacionalidad o antecedentes de contacto con la policía), facilitadas por los cuerpos policiales u otros organismos, y que, a partir de estos datos, generan un resultado específico. Dicho resultado puede consistir, por ejemplo, en la estimación de la probabilidad de que ocurra un evento futuro o en la determinación de un nivel de riesgo asociado a una conducta determinada. Las variables se contrastan con información personal incorporada en el sistema, que puede incluir datos identificativos, información sociodemográfica (edad, género, nacionalidad), número de hijos, estado civil, nivel de ingresos, historial médico, antecedentes penales, relaciones familiares, entre otros aspectos. El sistema interpreta y cruza toda esta información para producir un resultado que será utilizado en los procesos de toma de decisiones. Como consecuencia, las personas objeto de estos sistemas quedan sometidas a un análisis constante de los datos que las caracterizan, tanto de su vida pasada como de su situación actual, así como de su entorno de relaciones personales. El objetivo es determinar y "predecir" su comportamiento, su “nivel de riesgo” o su supuesta “criminalidad”. Todo ello puede acarrear repercusiones relevantes en el ámbito de la justicia penal. Los sistemas de toma de decisiones automatizadas y basados en datos utilizados por los cuerpos de seguridad pueden influir en actuaciones tales como el incremento de la vigilancia o el seguimiento, la práctica de registros o identificaciones, la imposición de sanciones, la realización de interrogatorios o incluso detenciones. Asimismo, sus resultados pueden llegar a condicionar decisiones relevantes en etapas posteriores del proceso penal, como la determinación de penas, la concesión de la libertad condicional o la clasificación penitenciaria. Este apartado analiza algunos de los sistemas algorítmicos y de análisis de datos más conocidos utilizados en España. La mayoría de ellos son implementados por los cuerpos policiales y tienen como finalidad principal apoyar la toma de decisiones, si bien en ocasiones sus resultados también se emplean en procedimientos judiciales. a) VioGén Uso: Sistema de evaluación de riesgos de violencia de género Fecha de creación : 2007 24 Propósito y resultado VioGén es uno de los sistemas de evaluación de riesgos más reconocidos en España. Es utilizado por la Policía Nacional y su titularidad corresponde al Ministerio del Interior. Su finalidad principal es evaluar el riesgo que afronta una víctima de violencia de género tras la interposición de una denuncia. Se articula a través de una plataforma informática en la que la policía gestiona la información relativa a los casos de violencia de género, incluyendo tanto las denuncias como las valoraciones policiales de riesgo (en adelante, VPR). La última versión del protocolo VPR (VPR 5.0), implementada en 2019, consta de un cuestionario de 35 elementos que cuantifican diferentes factores de riesgo: antecedentes de violencia en la pareja, características del agresor, circunstancias relacionadas con menores, y otros factores considerados agravantes del caso. Los agentes marcan cada indicador dependiendo de si está presente (Sí) o no (No) cuando recogen el testimonio de la víctima, y lo complementan con la información adicional que recogen sobre el caso. Si la respuesta no es clara, algunos de los elementos incluyen la opción “No responde/No sé”. Por ejemplo, cuando la víctima no sabe si el agresor tiene antecedentes por agresiones físicas o por violencia de género, o no puede confirmar si ha mostrado comportamientos controladores en los últimos meses. La opción “Sin respuesta/No sé” también se aplica a preguntas que los agentes tal vez no puedan conocer de antemano, como si la víctima tiene hijos a su cargo. Una vez completado el cuestionario, comienza un proceso más largo que implica el análisis de más datos por parte de los agentes para asignar determinadas medidas de protección, acordes con el nivel de riesgo identificado. La puntuación de riesgo asigna una de las siguientes categorías: sin riesgo, bajo, medio, alto y extremo. Una puntuación baja significa que la policía llevará un seguimiento de la víctima a través de llamadas telefónicas, por ejemplo, mientras que una puntuación de riesgo extremo puede implicar que la policía controle la casa de la víctima o asigne patrullas de seguridad para garantizar su protección. El progreso del caso se evalúa a través de otro cuestionario, denominado Valoración Policial de la Evolución del Riesgo (VPER). Según sus creadores, “opera de forma totalmente autónoma, con su propio algoritmo, y es capaz de producir predicciones utilizando un conjunto mixto de indicadores (riesgo-protección) para evaluar la probabilidad de reincidencia y, al mismo tiempo, monitorear los cambios a lo largo del tiempo”. 44 Área de Violencia de Género, Estudios y Formación del Ministerio del Interior. ‘Guía de aplicación del formulario VFR5.0-H en la valoración forense del riesgo’, https://www.otrosi.net/wp-content/uploads/2021/02/GUIA-VALORACION-DEL-RIESGO-FORENSE.pdf 45 Secretaría de Estado de Seguridad. Instrucción nº 7/2016. https://violenciagenero.igualdad.gob.es/profesionalesInvestigacion/seguridad/protocolos/pdf/Instruccion7_2016.pdf 46 Ministry of Interior (2018), ‘La valoración policial del riesgo del riesgo de violencia contra la mujer pareja en España’, September 2018, https://www.interior.gob.es/opencms/pdf/archivos-y-documentacion/documentacion-y-publicaciones/pub 45 44 46 25 64 Entrevista realizada el 14 de febrero de 2023. 65 Según un documento interno proporcionado por un juez en el País Vasco. 64 “Cada vez que recibimos nueva información, realizamos una nueva evaluación del riesgo; la puntuación puede coincidir con la anterior o no, pero generalmente aumenta. Posteriormente, esa puntuación se añade a la evaluación realizada por la Jefatura de Operaciones en el domicilio de la víctima y a la llevada a cabo en la comisaría tras la denuncia. Así, contamos con al menos cuatro evaluaciones de riesgo durante las primeras horas de un caso”. A lo largo de los años, la Ertzaintza ha comenzado a utilizar esta herramienta para detectar posibles casos de violencia vicaria, así como indicios de intentos de suicidio por parte del agresor. Este análisis se realiza observando los parámetros relacionados con la violencia, la presencia de niños en el caso y otros datos personales y de salud de los involucrados. Esta información se incluye en los informes entregados a los jueces. Un exjuez de instrucción que trabajó en casos de violencia de género en la región confirmó que recibía un documento con la calificación de la evaluación de riesgo en cada informe. Explicó que, en 2023, la policía incorporó una explicación más detallada sobre el sistema de puntuación, que incluía una lista con los 20 ítems evaluados por EPV-R. Junto a cada ítem, se añadía una “S” (Sí) o una “N” (No), según estuviera o no presente la variable en el caso. Datos y criterios EPV-R es solo uno de los componentes que se integran en la plataforma digital EBA de la Ertzaintza, la cual gestiona toda la información relacionada con los expedientes. En particular, la Ertzaintza recoge información sobre las víctimas o “personas afectadas por situaciones de violencia doméstica y/o de género”, así como sobre los presuntos agresores y personas que han sido condenadas. La plataforma también almacena datos de los miembros de la Ertzaintza y de los oficiales de policía implicados en el caso. “El propósito de realizar una evaluación del nivel de riesgo que enfrenta la víctima es implementar las medidas de protección personal adecuadas a cada caso y momento, con el fin de prevenir nuevas agresiones y garantizar su adecuada protección”. 65 El hecho de que la puntuación no pueda disminuir constituye un sesgo intrínseco en el sistema, ya que implica que está estructurado para favorecer siempre el incremento de la puntuación de riesgo, lo que aumenta la probabilidad de que se asigne una evaluación de alto riesgo a un individuo. Mediante el uso de estas evaluaciones y el análisis de la información contenida en el perfil de la víctima y el agresor registrado en la plataforma EBA ― que incluye datos personales y de salud, estado civil e informes de los funcionarios ― la Ertzaintza asigna las medidas de protección correspondientes a la víctima. A diferencia de otros sistemas de toma de decisiones automatizadas empleados en el ámbito policial, la puntuación generada por EPV-R también se incluye en los informes que los jueces reciben en los casos judiciales de violencia de género en el País Vasco. Estos informes incluyen una notificación explícita de que se ha utilizado EPV-R para calcular la puntuación de riesgo: 32 Ertzaintza y de los oficiales de policía implicados en el caso. La Ertzaintza registra la siguiente información sobre las personas involucradas: datos identificativos; fotografías; características personales; datos de salud “cuando sean necesarios debido a la naturaleza del caso”; información relacionada con la comisión de delitos penales; medidas adoptadas; y detalles sobre la gestión de acciones policiales, incluyendo posesión de armas. Estos datos se almacenan en EBA junto con la información recopilada a través de EPV-R durante la entrevista a la víctima. EPV-R, al igual que otras herramientas automatizadas de evaluación de riesgos, ha sido desarrollado bajo la supervisión de psicólogos. Sus creadores trabajaron estrechamente con la Ertzaintza para definir y afinar los parámetros que deben analizarse. Según su investigación, la edad media de los presuntos agresores de violencia de género es de 37 años, mientras que la de las víctimas es dos años menor. Además, esta investigación señala que la tasa de migración entre los presuntos agresores es del 30%, lo que implica que aproximadamente uno de cada tres agresores es extranjero. Es importante señalar que esta evaluación podría estar sesgada en función de las tasas de denuncia de personas de diferentes etnias y orígenes ante la policía. Los creadores del sistema también apuntan que el 28% de las víctimas no son de nacionalidad española, sino que provienen de América Latina, África (principalmente de Marruecos) y Europa del Este (principalmente de Rumanía). Impacto La Ertzaintza declaró en 2023 que, desde 2011, cuando comenzó a utilizar la versión revisada de la herramienta, ninguna víctima bajo su protección ha sido asesinada. Esta afirmación hace referencia al conjunto del protocolo, que incluye la gestión realizada a través de la plataforma EBA, y no solo a la aplicación del sistema EPV-R. En cuanto al desempeño del cuestionario, un estudio preliminar realizado en 2022 por las investigadoras Ana Valdivia y Cari Hyde-Vaamonde, junto con el juez Julián García, concluyó que en el 53% de los casos, el sistema asignaba un riesgo bajo a situaciones que en realidad habían sido clasificadas como de alto riesgo. Según García, la combinación de datos utilizada en EPV-R puede presentar problemas debido a la manera subjetiva en que se analizan: "Las preguntas de la herramienta otorgan un alto valor al uso de armas o a los signos de violencia física, por lo que el resultado no es tan fiable en los casos donde esta circunstancia no estaba documentada", comenta. Relató el caso de una mujer que estaba siendo acosada por su pareja: el hombre se sentaba frente a su casa y perturbaba al hijo de la víctima por las noches, lo que provocó problemas de salud mental en el menor. García decidió otorgar una orden de protección y clasificó el riesgo como alto, pero el sistema EPV-R le asignó una puntuación baja en ese caso particular. 66 Ertzaintza. ‘EBA. Data controller’. https://www.ertzaintza.euskadi.eus/lfr/documents/62347/4519349/4.+EBA.pdf/6a372e0e-66a4-bde6-1c6f1abca3acb950?t=1639567729630 67 Echeburúa, E., Amor, P. J., Loinaz, I., & De Corral, P. (2010). Escala de Predicción del Riesgo de Violencia Grave contra la pareja-Revisada-(EPV-R). Psicothema, 22(4), 1054-1060, https://www.psicothema.com/pdf/3840.pdf 68 Valdivia, A., Hyde-Vaamonde, C., & García-Marcos, J. (2022). Judging the algorithm: A case study on the risk assessment tool for gender-based violence implemented in the Basque country. arXiv preprint arXiv:2203.03723, https://arxiv.org/abs/2203.03723 66 67 68 33 en los casos donde esta circunstancia no estaba documentada", comenta. Relató el caso de una mujer que estaba siendo acosada por su pareja: el hombre se sentaba frente a su casa y perturbaba al hijo de la víctima por las noches, lo que provocó problemas de salud mental en el menor. García decidió otorgar una orden de protección y clasificó el riesgo como alto, pero el sistema EPV-R le asignó una puntuación baja en ese caso particular. Este argumento también es respaldado por Ana Valdivia, investigadora del Oxford Internet Institute e integrante de AlgoRace, y colaboradora de este informe, quien señala que “el problema radica en cuantificar medidas demasiado subjetivas”. Por ejemplo, al examinar patrones de crueldad o celos: 69 AlgorithmWatch (2023). ‘Basque Country: how an algorithm to assess the risk of gender-based violence sees people from “different cultures”’. 30 March 2023, https://algorithmwatch.org/en/basque-country-gender-violence-algorithm/ 70 Ibid. 71 Ibid. 72 Ibid. Cada una de las preguntas y puntos de datos es susceptible de un análisis subjetivo y no siempre puede ser respondida de forma categórica. Esto implica que los datos pueden verse influenciados por sesgos individuales, institucionales y estructurales. Un claro ejemplo de ello es que el sistema utiliza datos que discriminan a los migrantes y a personas de ciertas nacionalidades. Una de las preguntas del cuestionario indaga sobre el origen del agresor y de la víctima: “¿El agresor o la víctima es inmigrante?”. La inclusión de tales datos resulta discriminatoria, ya que una respuesta afirmativa a esta pregunta podría aumentar la puntuación de “riesgo” y, por ende, influir en los resultados de manera discriminatoria contra los migrantes. Oskar Fernández, miembro de la Ertzaintza, explicó en 2023 que este ítem no aplica a todos los extranjeros, sino a aquellos “que tienen una cultura distinta a la occidental”. El ejemplo que puso fue que una persona de Francia o del País Vasco francés no sería considerada extranjera en la mayoría de los casos, y que la decisión sobre la aplicación de este ítem recae en los agentes encargados de entrevistar a cada víctima. “Solo se aplicaría en aquellos casos en los que culturalmente se tenga una concepción diferente a la europea sobre la relación de pareja”. No existe una metodología estandarizada que los funcionarios deban seguir al incluir la variable de nacionalidad en la evaluación general del riesgo, ni una lista específica de países considerados más riesgosos que otros para ser consultada por los oficiales. Esto significa que la decisión de asignar más puntos de riesgo al etiquetar a una persona como “inmigrante” o no, es subjetiva y depende en gran medida de las suposiciones culturales y los prejuicios inconscientes del agente. Tampoco existe una definición clara de lo que se entiende por “pareja europea”: ¿se consideraría más probable que una persona de nacionalidad rumana represente un riesgo superior que una británi 71 72 69 70 “Cuando el puntaje de corte es 10, el número de falsos negativos es mayor que el de verdaderos positivos. Esto significa que la herramienta de evaluación tiene más probabilidades de clasificar como no graves casos que en realidad son graves, lo que podría implicar una subestimación de los casos.” 34 superior que un a británica? Esta ambigüedad interpretativa cuestiona la premisa de que el uso de un programa algorítmico o automatizado para tomar decisiones sobre casos de violencia de género (o cualquier otro tipo de evaluación) garantiza un proceso más objetivo. La inclusión de esta variable aumenta la probabilidad de discriminación hacia personas de orígenes racializados y de la mayoría global. En 2023, la Guardia Civil trabajaba en una herramienta estadística destinada a perfilar a los “potenciales sospechosos” de agresiones sexuales y a predecir las zonas en las que podrían encontrarse. El propósito era disponer de datos preliminares antes de iniciar una investigación, con el fin de asistir a psicólogos y criminólogos en la delimitación de la búsqueda de posibles agresores, en aquellos casos en los que la víctima aún no hubiera identificado al agresor. La sección de Policía Judicial de la Guardia Civil, en colaboración con un investigador de la Universidad Complutense, definió cinco perfiles de presuntos agresores y cinco tipos predominantes de agresiones, basados en datos históricos extraídos de los registros policiales. Estos perfiles fueron los siguientes: 1.Extranjeros menores de 25 años o de entre 20 y 32 años, sin antecedentes penales ni infracciones administrativas, que residan a más de un kilómetro del lugar del crimen. 2.Extranjeros con infracciones de tráfico que vivan a menos de un kilómetro del lugar del crimen (sin especificación de edad). 3.Españoles menores de 25 años que residan a menos de un kilómetro de la víctima, con antecedentes policiales (por delitos no violentos ni sexuales), pero con infracciones administrativas. 4.Españoles de entre 32 y 40 años con antecedentes de violencia no sexual e infracciones administrativas, que vivan lejos del lugar del crimen. 5.Hombres menores de 25 años o mayores de 40 años con antecedentes de delitos sexuales que vivan cerca del lugar del crimen, sin problemas de adicciones. El programa tenía como objetivo cotejar estos perfiles (junto con otros asociados al tipo de delito) con la información proporcionada por la víctima, para generar una estimación del área en la que podría encontrarse el agresor y el perfil con el que podría coincidir. Expertos que han colaborado anteriormente con el Ministerio del Interior sostienen que la creación de una herramienta predictiva efectiva para la identificación de agresores sexuales requeriría una cantidad de datos significativamente mayor a los que se recogen en las declaraciones policiales. En investigaciones previas sobre violencia de género, se ha trabajado con datos sobre el desarrollo de la agresión; sin embargo, estos académicos afirman que, para construir un perfil preciso y viable, 73 El Pais. ‘Inteligencia artificial para atrapar a los violadores’. 28 de febrero de 2023, https://elpais.com/sociedad/2023-02-28/inteligencia-artificialpara-atrapar-a-los-violadores.html 74 Ibid c) Perfilamiento de agresores sexuales Uso: Predicción de la identidad de los agresores sexuales Fecha de creación : en creación 73 74 35 para construir un perfil preciso y viable, también deben incluirse variables personales y psicológicas. Entre estas se encuentran la edad, la nacionalidad, problemas de salud mental, discapacidades, datos de filiación y antecedentes penales, entre otros. El Ministerio del Interior declinó proporcionar más detalles sobre la herramienta tras una solicitud de transparencia, justificando que el sistema se encontraba en una fase preliminar y, por lo tanto, no era información de interés público. Solo confirmaron que la herramienta empleaba regresión logística, una técnica supervisada de aprendizaje automático, y que, al momento de redacción de este informe, no había sido "utilizada" ni "probada" por Fuerzas y Cuerpos de Seguridad más allá de la Guardia Civil. Propósito y resultado VeriPol es un sistema algorítmico empleado por la Policía Nacional con el fin de detectar denuncias falsas en casos de robos, hurtos y carterismo. Este sistema de “procesamiento de lenguaje natural” examina los textos de las denuncias y actúa como un detector de mentiras. Fue diseñado con el objetivo principal de “prevenir” el fraude originado por denuncias falsas y ofrecer a los agentes una evaluación rápida sobre la veracidad de una denuncia. VeriPol es un sistema sin precedentes, reconocido internacionalmente como tal. La Policía Nacional comenzó a utilizarlo en 2018 y, hasta 2023, era el único cuerpo de seguridad con acceso a la herramienta. Si bien el sistema estaba inicialmente previsto para ser implementado también en Guardia Civil, hasta la fecha no se ha llevado a cabo. Este programa fue desarrollado por los mismos profesionales responsables de otros sistemas empleados por la policía española, tales como VioGén y los sistemas de patrullaje inteligente. VeriPol fue creado por un matemático ex oficial de policía y dos informáticos especializados en el ámbito de la policía “predictiva”. El funcionamiento de VeriPol es el siguiente: una persona denuncia un robo, hurto o caso de carterismo. El agente que recibe la denuncia toma notas detalladas sobre el incidente y somete el texto al programa. El software evalúa la probabilidad de que la denuncia sea verdadera o falsa y proporciona orientación a los agentes sobre el curso de acción a seguir en caso de que decidan investigar el posible delito. No se dispone de información o estadísticas sobre la frecuencia con la que la policía sigue o no las indicaciones del algoritmo. Una denuncia solo se considera “falsa” cuando el denunciante admite que ha mentido. Esto implica que, en teoría, la mera aplicación del algoritmo no determina que una persona sea acusada de hacer una denuncia falsa. 75 Información basada en entrevistas realizadas con académicos/as para la elaboración de este informe. 76 Nature ‘Police use a computer to expose false testimony’. 30 de mayo de 2018, https://www.nature.com/articles/d41586-018-05285-9 c) VeriPol Uso: Identificación de las denuncias falsas Fecha de creación : 2017 75 76 36 VeriPol fue sometido a pruebas piloto en 2017 en dos ciudades españolas: Murcia y Málaga, situadas en el sureste y sur de España, respectivamente. Según los desarrolladores del sistema, el proyecto piloto resultó en un aumento significativo en la resolución de casos de denuncias falsas: un 839,4% en Murcia y un 303,6% en Málaga. El estudio derivado de este piloto concluyó que el sistema detectaba correctamente las denuncias falsas en un 90% de los casos. Según datos proporcionados por e l Ministerio del Interior en 2020, VeriPol clasifica aproximadamente una de cada 20 denuncias como “simulaciones de delito”, es decir, falsas denuncias. Este delito, conocido en España como simulación de delito, ocurre cuando una persona informa a la policía sobre un crimen que no ha tenido lugar. El sistema está instalado en cerca de 240 comisarías, cubriendo casi la totalidad de las comisarías del país en 2023. Datos y criterios VeriPol fue entrenado con 1.122 denuncias presentadas a la policía en 2015. De ellas, 588 fueron clasificadas como falsas y 534 como reales por un agente que las revisó durante los dos años siguientes. Sin embargo, no todos esos casos se habían resuelto, lo que implica que el modelo se construyó basándose en suposiciones realizadas por el oficial de policía encargado de su revisión, dado que se desconocía la “proporción real de denuncias falsas”. El modelo inicial que sustenta VeriPol también fue entrenado con datos extraídos de testimonios presentados en hoteles, restaurantes y clínicas de salud. Estos incluyeron reseñas falsas o quejas sobre estafas. Para validar el modelo, los científicos proporcionaron una submuestra de 659 informes a dos nuevos agentes. Tras evaluar los informes, concluyeron que, aunque ambos oficiales obtenían resultados similares, VeriPol "superaba significativamente a los expertos humanos", logrando una mejora de más del 15% en comparación con el Evaluador 1 y más del 20% frente al Evaluador 2”. Los creadores de VeriPol apuntan que el algoritmo tiende a cometer errores al clasificar los informes verdaderos como falsos. La ratio de falsos positivos de VeriPol es del 9,54%, lo que significa que, por cada diez denuncias analizadas por el sistema, una es incorrectamente clasificada como falsa. 77 Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE 78 Quijano-Sánchez, L., Liberatore, F., Camacho-Collados, J., & Camacho-Collados, M. (2018). Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police. Knowledge-Based Systems, 149, 155-168, https://www.sciencedirect.com/science/article/abs/pii/S095070511830128X?via%3Dihub 79 AlgorithmWatch. 27 de octubre de 2020. ‘Spanish police plan to extend use of its lie-detector while efficacy is unclear’. https://algorithmwatch.org/en/spain-police-VeriPol/ 80 Quijano-Sánchez, L., Liberatore, F., Camacho-Collados, J., & Camacho-Collados, M. (2018). Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police. Knowledge-Based Systems , 149 , 155-168, https://www.sciencedirect.com/science/article/abs/pii/S095070511830128X?via%3Dihub 81 Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE 82 Ibid. 78 81 77 79 80 82 37 Técnicamente, VeriPol no procesa datos personales, ya que únicamente analiza el texto de la denuncia redactada por el agente que atiende al denunciante. Además, el modelo se construyó a partir de un conjunto de denuncias ano nimizadas, prev iamente analizadas y verificadas por la policía, con el fin de evitar sesgos en los resultados. VeriPol ha categorizado determinadas palabras como indicativas de denuncias “verdaderas” o “falsas”. Así, la aparición de términos como “sacar”, “empujar”, “seguro”, “espalda” (en referencia a la parte del cuerpo), “abogado”, “día”, “bolso de mano”, “delito grave”, “doscientos”, “casco”, “teléfonos móviles”, “hombro” o menciones a ropa de color “negro” tendería a asociarse a informes falsos. Por el contrario, referencias a términos como “autobús”, “matar”, “colgante”, “tomado”, “robado”, “placa” (matrícula), “oficial”, “cuello”, “cadena” o “hall de entrada” aumentarían la probabilidad de que el algoritmo clasificase el informe como verdadero. Respecto a las descripciones físicas de los presuntos agresores, palabras como “rostro”, “barba”, “cabello”, “moreno/piel oscura”, “delgado”, “edad”, “chino” o “masculino” tiende a asociarse a denuncias consideradas verdaderas por el sistema. Impacto Diversos estudios han evidenciado que los sistemas de procesamiento del lenguaje natural (PLN) tienden a reproducir los sesgos sociales reflejados en el lenguaje que utilizamos. Por ejemplo, una investigación sobre un sistema de PLN basado en textos de Google News mostró que términos como “blancos” se asociaban a “parlamentario”, “defensor”, “legislador” y “abogado”, mientras que “minorías” se vinculaba a “mayordomo” y “futbolista”. Otros estudios han puesto de manifiesto que estos sistemas presentan dificultades para captar las variaciones lingüísticas entre distintos grupos étnicos, lo que da lugar a interpretaciones erróneas y clasificaciones inadecuadas de los discursos. 83 A Field et al, (2021), “A Survey of Race, Racism, and Anti-Racism in NLP”, Association for Computational Linguistics, https://aclanthology.org/2021.acl-long.149 84 T. Bolukbasi et al,(2016) ‘Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings’, NIPS, h ttps://proceedings.neurips.cc/paper_files/paper/2016/file/a486cd07e4ac3d270571622f4f316ec5-Paper.pdf 85 S L Blodgett and B O'Connor (2017), “Racial Disparity in Natural Language Processing: A Case Study of Social Media African-American English”, https://arxiv.org/pdf/1707.00061 83 84 Experimentos. Exactitud. Sensibilidad. Especificidad Resultados de VeriPol obtenidos mediante validación cruzada de dejar uno fuera. Figura 6: Aplicaciones de la IA y la Ciencia de Datos en la Policía: 7 años de colaboración con laPolicía Española”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. 85 38 Algunos críticos de VeriPol sostienen que la diversidad lingüística del castellano no puede quedar adecuadamente reflejada en el modelo, dado que en España coexisten múltiples dialectos, con vocabularios y expresiones propios de cada región y subregión. Asimismo, advierten de que la población migrante residente en el país, que puede presentar distintos niveles de dominio del idioma, tampoco estaría suficientemente representada. Además, se señala que las muj eres podrían mostrar una mayor re ticencia o dificultad para describir situaciones de conflicto ante un agente policial. Los desarrolladores de VeriPol afirman no haber detectado sesgos relacionados con el origen étnico o el género en el funcionamiento del sistema. Una de las razones que podría explicar esta afirmación es que el algoritmo no analiza las características personales de los denunciantes, sino únicamente el texto redactado por el agente. No obstante, como se ha indicado anteriormente, la asociación de determinados términos relativos a ciertos grupos poblacionales, incluidos aquellos vinculados a la etnicidad, sugiere que el sistema reproduce sesgos sociales y estructurales implícitos en el lenguaje. No existe un control estricto sobre el modo en que los agentes formulan los textos de las denuncias. Aunque se establece que todos los funcionarios que utilizan la herramienta reciben formación específica, sigue existiendo un margen considerable de subjetividad en la redacción de los informes. Investigaciones posteriores han revelado que no todos los agentes han recibido la capacitación adecuada. Así, por ejemplo, las directrices internas instruyen a los agentes a comenzar la mayoría de las oraciones con la conjunción “que”, lo que provoca que la estructura sintáctica de las denuncias no se corresponda con el uso habitual del castellano. Además, la decisión de incluir u omitir ciertos detalles, según el criterio del agente, puede incidir en la evaluación posterior realizada por el software. Varios funcionarios manifestaron su disconformidad respecto a la falta de formación efectiva para el uso de la herramienta tras su implantación. Algunos señalaron que la capacitación recibida se limitó a un “enfoque teórico” que no llegó a integrarse en la práctica diaria , mientras que otros afirmaron no haber recibido ninguna formación específica. Según confirmó a Civio el Gabinete Técnico de la Dirección General de Policía, VeriPol dejó de estar operativo en octubre de 2024. Desde el Ministerio de Interior señalaron la carencia de validez en procedimientos judiciales como motivo principal. 86 El País. 9 de marzo de 2021. ‘VeriPol, el polígrafo “inteligente” de la policía, puesto en cuestión por expertos en ética de los algoritmos’. https://elpais.com/tecnologia/2021-03-08/veripol-el-poligrafo-inteligente-de-la-policia-puesto-en-cuestion-por-expertos-en-etica-de-losalgoritmos.html 87 Quijano-Sánchez, L (2022), ‘Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police’,. Lara QuijanoSánchez, Ph.D by the Politechnic School of the Universidad Autónoma de Madrid, 25 January 2022, https://www.youtube.com/watch? v=z8uBNNPtUmE 88 AlgorithmWatch (2020), ‘Spanish police plan to extend use of its lie-detector while efficacy is unclear’, 27 October 2020, https://algorithmwatch.org/en/spain-police-veripol/ 89 La Voz de Galicia. 30 de agosto de 2020. ‘La comisaría de Vigo lleva dos años sin usar la “máquina de la verdad”’. https://www.lavozdegalicia.es/noticia/vigo/vigo/2020/08/30/comisaria-vigo-lleva-dos-anos-usar-maquina-verdad/0003_202008V30C1991.htm 90 Civio (2025): ‘La Policía Nacional deja de usar VeriPol, su IA estrella para detectar denuncias falsas’. https://civio.es/transparencia/2025/03/19/la-policia-nacional-deja-de-usar-veripol-su-ia-estrella-para-detectar-denuncias-falsas/ 86 88 87 89 90 39 CAMINS es un protocolo de evaluación de riesgos que los Mossos d’Esquadra introdujeron en 2017, tras los atentados terroristas perpetrados en las ciudades de Barcelona y Cambrils. En 2023, momento en el que se llevó a cabo este estudio, el sistema analítico CAMINS no incorporaba modelos matemáticos que tomaran decisiones automatizadas. Se trataba, más bien, de un programa de evaluación que generaba datos susce ptibles de ser empleados en un modelo predictivo o que, eventualmente, podrían automatizarse. En entrevistas realizadas a agentes y a un inspector de los Mossos d’Esquadra, se explicó que el procedimiento de evaluación de riesgos de CAMINS consistía en una investigación de campo basad a en entrevistas a personas que mantenían algún tipo de relación con los individuos responsables del atentado. El objetivo del protocolo era comprender los factores que propiciaron su proceso de radicalización e identificar perfiles susceptibles de ser utilizados en futuros análisis y en el diseño de medidas preventivas. 91 Entrevista realizada el 18 de octubre de 2023. e) CAMINS Uso: Evaluación de riesgos individual (no automatizada) Fecha de creación : 2017 “Tras analizar toda la información recopilada, aplicamos un esquema inicial basado en un modelo conceptual que distingue entre factores que predisponen a las personas a la radicalización violenta y aquellos que las vinculan activamente con determinadas narrativas ideológicas, ofreciéndoles sentido, pertenencia o legitimación. Extraemos una serie de conclusiones, aunque se trata de un trabajo que no responde a estándares científicos.” 91 Como consecuencia, se inició una colaboración con investigadores de la Universidad de Córdoba para desarrollar un modelo analítico que integrase dos enfoques metodológicos: por un lado, el análisis del lenguaje; y, por otro, la identificación de acontecimientos significativos en la vida de estos individuos que pudieran haber supuesto un punto de inflexión en su proceso de radicalización violenta. Este trabajo se llevó a cabo mediante “me ta-análisis y el análisis de los conjuntos de datos de la universidad”, centrados en dimensiones de “carácter psicológico, social y conductual”. Entre los elementos analizados se incluían: edad y sexo; nacionalidad; religión; nivel educativo; antecedentes de salud física y mental; relaciones familiares durante la infancia y la adolescencia, incluyendo aspectos relativos a la estructura familiar; existencia de situaciones de abuso; trayectoria migratoria y posibles traumas asociados; 40 momentos de primer contacto con narrativas violentas de carácter “extremista” (en este caso, de orientación “yihadista”); y si la persona se identificaba o no con alguna confesión religiosa. Según explicaba un ins pector de los Mossos d’Esquadra: Propósito y resultado Además de los modelos de “predicción” delictiva centrados en ubicaciones concretas o en individuos, varias localidades de la Comunidad de Madrid utilizan sistemas de videovigilancia que incorporan software de reconocimiento de imágenes. Estos sistemas tienen dos finalidades principales: el reconocimiento automático de matrículas (ANPR, por sus siglas en inglés) p ara controlar los vehículos que acceden o salen de zonas en las que se ha registrado actividad delictiva; y la identificación de personas sospechosas de haber participado en un delito. Las imágenes se obtienen mediante sistemas de circuito cerrado de televisión (CCTV) instalados 92 Entrevista realizada el 18 de octubre de 2023. 93 Entrevista realizada el 18 de octubre de 2023. 94 European Parliament. ‘Jihadist terrorism in the EU since 2015’. 21 September 2021. https://www.europarl.europa.eu/news/en/headlines/security/20180703STO07127/jihadist-terrorism-in-the-eu-since-2015 “Un ejemplo real sería el de un joven que nunca ha mostrado interés por la religión, pero que de forma repentina comienza a interesarse por el islam y accede a propaganda yihadista, creyendo que ese contenido refleja lo que es la religión musulmana. Una posible intervención consistiría en ofrecerle una visión moderada del islam que le permita comprender el significado real de lo que está viendo. Otra posibilidad sería intervenir en el ámbito familiar”. 92 Como ocurre en otros países, muchas de las personas sospechosas de radicalización o de haber cometido atentados terroristas nacen en el país en cuestión, en este caso, en Cataluña. Según datos de la Unión Europe a, en torno al 60 % de los autores de atentados “yihadistas” poseían la ciudadanía del país donde tuvo lugar el ataque. No obstante, los perfiles de personas presuntamente “radicalizadas” carecen de una base empírica sólida, debido a la escasez de casos de radicalización violenta disponibles para entrenamiento. La búsqueda de patrones que permitan anticipar comportamientos futuros, a partir de cantidades reducidas de datos, da lugar a modelos ineficientes e imprecisos. El propio inspector señalaba: “No tenemos previsto utilizar modelos matemáticos [para detectar la radicalización] porque no se trata de una perfilación tradicional. La radicalización violenta es un fenómeno demasiado complejo y profundamente interior como para establecer perfiles de forma sencilla. Cuando hablo de ‘perfil’, me refiero a algo más consistente que afirmar que se trata de un hombre de entre 20 y 40 años. Trabajamos en identificar patrones que puedan resultarnos útiles, pero no en el sentido del perfilamiento criminológico, como puede entenderse en el caso de asesinos en serie u otros delitos”. 93 94 f) Sistemas de videovigilancia y reconocimiento de imágenes Uso: Monitorización y vigilancia Utilizado por: Policía Local 41 La mayor preocupación que esto suscita radica en que obtener una puntuación de alto riesgo determina el trato que recibirán estas personas en prisión, a las que se les puede aplicar medidas de aislamiento o incomunicación, medidas de control y seguimiento, o imponer un régimen más duro en prisión o incluso una pena más larga: “[la forma en que la normativa entiende la radicalización] abre dos posibles líneas de acción que [...] se mueven entre la búsqueda de la reeducación y la reinserción social en un sentido amplio y [...] la inocuidad de la persona”. El autor concluye: 114 SAguerri, J. C., & Abad, C. F. (2021). La orden de servicios 3/2018: ¿un instrumento para medir el riesgo de radicalismo violento en prisión? Estudios Penales y Criminológicos, 41, 361-413, https://revistas.usc.gal/index.php/epc/article/view/6724 114 “Resulta especialmente preocupante que bajo una lógica preventiva –es decir, de actuar contra una amenaza que aún no lo es– la figura del radical se construye a partir de factores que, siendo puramente subjetivos, tienen un impacto directo en la moral, ideología y religiosidad del recluso”, concluyen los autores. Dado que el objetivo principal de DRAVY es evaluar la radicalización “yihadista”, es esencialmente discriminatorio porque se centra casi exclusivamente en personas musulmanas y de origen musulmán. El sistema está diseñado para atacar el “yihadismo”, un término a su vez basado en estereotipos occidentales discriminatorios. Al igual que con otros sistemas investigados en este informe, después de cuatro meses de investigaciones, el Ministerio del Interior denegó nuestras solicitudes de entrevista a los autores de los estudios que validan el modelo (la mayoría de ellos trabajaban en 2023 para la Secretaría de Estado de Seguridad, así como para la Secretaría de Instituciones Penitenciarias). b) RISCANVI Uso: Sistema de evaluación del riesgo de reincidencia penitenciaria Fecha de creación : 2010 48 Propósito y resultado RisCanvi fue implementado en el sistema penitenciario autonómico de Cataluña en 2010. La iniciativa partió del Departamento de Justicia de la Generalitat, con el objetivo de incorporar un sistema algorítmico de evaluación de riesgos que facilitara a los equipos profesionales la “predicción” del riesgo de reincidencia entre las personas privadas de libertad. A diferencia de un único cuestionario, RisCanvi se articula como un protocolo complejo. De forma periódica —habitualmente cada seis meses— un equipo de aproximadamente 750 profesionales del Departamento de Justicia, pertenecientes a distintas disciplinas (psicología, trabajo social, educación y criminología jurídica), realiza entrevistas a las personas internas. Este equipo cuenta con la facultad de reducir el intervalo entre evaluaciones cuando lo considera oportuno. Los resultados de estas entrevistas se introducen posteriormente en el algoritmo de RisCanvi, que genera una puntuación de riesgo clasificada en tres niveles: bajo, medio o alto. Para ello, RisCanvi se basa en un modelo estadístico determinista que analiza un amplio conjunto de variables. El sistema cuenta con dos versiones: RisCanvi-S (modelo de cribado) y RisCanvi-C (modelo completo). RisCanvi-S, compuesto por 10 variables, se aplica de forma generalizada a toda la población penitenciaria. En cambio, RisCanvi-C, con un total de 43 variables, se utiliza con menor frecuencia debido a su elevado coste temporal. Su aplicación se reserva, principalmente, para los casos en los que el modelo de cribado identifica un riesgo alto o cuando los evaluadores determinan la necesidad de llevar a cabo una valoración más exhaustiva. A la hora de “predecir” el riesgo de reincidencia de una persona, el modelo RisCanvi-S tiene en cuenta las siguientes variables: Si la persona presenta antecedentes de violencia y la edad a la que comenzaron; su situación económica; Y la existencia o no de una red de apoyo familiar o social. En cuanto al análisis de la conducta de la persona evaluada, el modelo considera, entre otros aspectos: Si muestra una respuesta limitada a tratamientos psicológicos y/o psiquiátricos; si cuenta con antecedentes de autolesiones o intentos de autolesión; y si ha incurrido en infracciones en el entorno penitenciario, tales como fugas, incumplimientos de permisos, o presenta actitudes hostiles y/o favorables al delito. RisCanvi-S también valora la existencia de antecedentes de consumo de sustancias o de alcohol. Por su parte, el modelo completo RisCanvi-C incorpora varios de los factores ya mencionados y, además, pone especial énfasis en los siguientes elementos: Papel que desempeñó la violencia en el delito cometido; el nivel de formación académica del recluso; su historial laboral; sus relaciones sociales y entorno asociativo; y la presencia de patologías de salud mental o trastornos de la personalidad. 115 Andrés‐Pueyo, A., Arbach‐Lucioni, K., & Redondo, S. (2018). The RisCanvi: a new tool for assessing risk for violence in prison and recidivism. Handbook of recidivism risk/needs assessment tools, 255-268. https://onlinelibrary.wiley.com/doi/abs/10.1002/9781119184256.ch13 115 49 RisCanvi-C profundiza, además, en el análisis de las relaciones del infractor con su entorno familiar y amistoso, prestando especial atención a la posible existencia de antecedentes penales entre dichas personas allegadas. Tanto RisCanvi-S como RisCanvi-C se apoyan, además de en los distintos puntos de datos específicos de cada modelo, en cuatro parámetros comunes que están presentes en todas las evaluaciones: la edad, el género, la nacionalidad y el tipo de situación penitenciaria (es decir, si la persona evaluada ha sido condenada o se encuentra en prisión preventiva). Estas variables se consideran fijas y se aplican con independencia de la versión del modelo utilizado. Si bien las ponderaciones de las variables fijas permanecen constantes, las asignadas al resto de los datos varían en función de los criterios analizados por el algoritmo. Las descripciones de dichas variables, así como las ponderaciones asignadas a cada una dentro del sistema, son accesibles públicamente. La puntuación de riesgo generada por el algoritmo no se limita a la reincidencia general, también abarca variedad de comportamientos y escenarios, entre los que se incluyen: reincidencia violenta; daño autoinfligido; violencia hacia otros internos o dentro de las instalaciones; e incumplimiento de los permisos penitenciarios. A partir de la puntuación de riesgo resultante de la combinación de estos factores, el departamento de evaluación determina las condiciones a imponer a la persona evaluada, como su elegibilidad para el traslado a otro centro penitenciario o la concesión de la libertad condicional. En ciertos casos, las puntuaciones también se incorporan a informes remitidos a jueces encargados de resolver la excarcelación o no de la persona. Según el jefe del Servicio de Rehabilitación de la Dirección General de Asuntos Penitenciarios, la puntuación generada por el algoritmo coincide con la valoración del equipo d e evaluación “en el 95 % de los casos, si no más”. RisCanvi fue desarrollado principalmente por uno de los psicólogos que también participó en el diseño del sistema VioGén. El diseño del algoritmo se basó en gran medida en el modelo canadiense Level of Service Inventory-Revised (LSIR, por sus siglas en inglés), que se centra en la evaluación de los riesgos asociados a la reincidencia. Sin embargo, los creadores de RisCanvi han rechazado cualquier semejanza con la herramienta de evaluación de riesgos COMPAS, utilizada en Estados Unidos, la cual ha sido objeto de controversia debido a que se ha demostrado que genera evaluaciones imprecisas y sesgadas, especialmente en lo que respecta a discriminación racial. 116 Departamento de Justicia de la Generalitat. ‘Manual d’aplicació del protocol de valoració RisCanvi’. https://justicia.gencat.cat/web/.content/home/ambits/reinsercio_i_serveis_peni/manual-aplicacio-protocol-avaluacio-riscanvi.pdf y https://cejfe.gencat.cat/web/.content/home/recerca/opendata/presons/reincidencia-2014/variables_reincidencia_penitenciaria_2014.pdf 117 AlgorithmWatch, ‘In Catalonia, the RisCanvi algorithm helps decide whether inmates are paroled’, 25 de mayo de 2021. https://algorithmwatch.org/en/riscanvi/ 118 Lemay, M (2019), ‘Understanding Canada’s Algorithmic Impact Assessment’, 11 June 2019 Tool, https://towardsdatascience.com/understanding-canadas-algorithmic-impact-assessment-tool-cd0d3c8cafab 116 117 118 50 ha demostrado que genera evaluaciones imprecisas y sesgadas, especialmente en lo que respecta a discriminación racial. Hasta el año 2023, RisCanvi no emplea IA. En 2021, el Departamento de Justicia de Cataluña expresó que estaban considerando la posibilidad de incorporar técnicas de aprendizaje automático en el sistema, pero al momento de redactar este informe, el algoritmo no había experimentado actualizaciones en ese sentido. Datos y criterios En 2021, el jefe de la Dirección General de Asuntos Penitenciarios dijo que RisCanvi se utilizaba para evaluar el riesgo a nivel individual y, por tanto, no era necesario disponer de datos agregados para evaluar el algoritmo. Esto significa que no se recogían activamente datos sobre cómo funciona RisCanvi según las cuatro variables fijas de edad, sexo, nacionalidad o tipo de internamiento. Según el informe oficial de tasa de reincidencia de 2020, la mayoría de las personas (70,8%) evaluadas por RisCanvi obtienen una puntuación baja. Este informe muestra que la tasa general en 2020 fue del 21,1%. Entre los hombres se sitúa en el 21,2%, mientras que entre las mujeres es del 20%. En cuanto a la nacionalidad, los datos disponibles muestran que el 20,4% de los presos reincidentes son españoles; el 24,1% de la UE; el 3,2% del resto de Europa; el 21,1% del Magreb; el 26,1% del resto de África; el 1,59% de América del Sur y Central; y el 27,6% de Asia. A día de hoy, la tasa de reincidencia de los españoles y la de otras nacionalidades es prácticamente igual: el 20,4% en el primer caso y el 22,2% en el segundo. El informe oficial de 2014 sobre tasa de reincidencia que aportaba datos sobre el desempeño de RisCanvi decía que el sistema es capaz de detectar casi 8 de cada 10 personas que reinciden; los 2 restantes serían falsos negativos, es decir, personas que sí reincidieron, pero que no fueron identificadas por el programa. El sistema también podría, según los mismos datos, señalar como no reincidentes a 6 de cada 10 personas que no reinciden. Las 4 personas restantes serían consideradas falsos positivos: individuos que no reincidieron pero que fueron identificados por el sistema como de riesgo medio o alto. Impacto Según los responsables del algoritmo, la tasa de falsos positivos no se encuentra entre sus prioridades. Consideran que los falsos negativos son el problema más importante, es decir, aquellos individuos a los que se les asigna una puntuación baja de riesgo pero que resultan ser más peligrosos de lo inicialmente evaluado. "De un falso negativo [...] todo el mundo toma conciencia. Afecta la legitimidad del sistema, es una cuestión política. Un falso positivo es una injusticia para el recluso. ¿Pero quién se entera? Ellos, su familia... Nadie más", explicó a La Vanguardia el magistrado de la Audiencia Provincial de Girona (Cataluña), Daniel Varona. El hecho 119 AlgorithmWatch, ‘In Catalonia, the RisCanvi algorithm helps decide whether inmates are paroled’, 25 de mayo de 2021. https://algorithmwatch.org/en/riscanvi/ 120 Centro Catalán de Estudios Jurídicos y Formación Especializada. 2023. ‘Tasa de reincidencia penitenciaria’: https://cejfe.gencat.cat/web/.content/home/recerca/cataleg/crono/2023/taxa-reincidenciapenitenciaria/Taxa_reincidencia_penitenciaria_2020_RESUMEN_EJECUTIVO_ESP.pdf 121 Ibid 122 La sensibilidad del algoritmo es del 77%, mientras que la especificidad es del 57%. 120 121 119 122 51 injusticia para el recluso. ¿Pero quién se entera? Ellos, su familia... Nadie más", explicó a La Vanguardia el magistrado de la Audiencia Provincial de Girona (Cataluña), Daniel Varona. El hecho de que los presos puedan ser etiquetados erróneamente como de alto riesgo, lo que conlleva consecuencias punitivas, constituye una grave injusticia. Además, pone de manifiesto la falta de responsabilidad en el uso del sistema. Varios estudios que intentan demostrar el éxito del algoritmo se han centrado en su desempeño según edad, nacionalidad y género. Un estudio reciente del Centro de Estudios Jurídicos y Formación Especializada de Cataluña concluye: “Los modelos son más precisos para los extranjeros que para los españoles y no hay diferencias significativas en los subgrupos de edad”. Este estudio se enfocó en el desempeño de RisCanvi según la edad y nacionalidad. Los autores señalaron: “Existe una disparidad en el número medio de evaluaciones, lo que demuestra que, en promedio, se realiza un número menor de evaluaciones para los extranjeros y los presos de mayor edad”. Esto significa que los presos con ciudadanía española son evaluados con mucha más frecuencia que los “extranjeros”, lo que también implica que es más probable que su nivel de riesgo disminuya, lo que podría llevar a una modificación de su pena de prisión, a diferencia de los evaluados no españoles. Otro estudio evaluó los puntos de datos utilizados en RisCanvi en función de otras características socioeconómicas. Reveló que los reincidentes con antecedentes de empleo y finanzas inestables, así como aquellos que, en algunos casos, carecen de apoyo familiar o social y/o tienen familiares o padres con antecedentes penales, reciben puntuaciones de riesgo más altas. En este contexto, uno de los creadores del algoritmo indicó que el nivel de riesgo de un individuo afgano no se evaluaría de la misma forma si fuera analfabeto que si tuviera una carrera en ingeniería industrial. Un análisis estadístico más reducido de los resultados y el rendimiento de RisCanvi destacó que el algoritmo “ofrece buenos resultados al detectar no reincidentes”, pero tiene un rendimiento “muy deficiente” a la hora de predecir la reincidencia. En línea con otros experimentos, el análisis demostró que los delincuentes con nacionalidad española reciben puntuaciones de riesgo más altas que los no nacionales. El estudio también encontró que los problemas de salud mental y los antecedentes de uso de sustancias “aumentan claramente la tasa de reincidencia”. Dado que las puntuaciones de riesgo generadas por RisCanvi a menudo se entregan a los jueces para respaldar las decisiones de libertad condicional, existe una solicitud generalizada entre los representantes legales de mayor transparencia respecto al papel que desempeña RisCanvi en los procesos judiciales, particularmente en decisiones relacionadas con los permisos, la libertad condicional y otros aspectos. 123 La Vanguardia. ‘Un algoritmo impreciso condiciona la libertad de los presos’. 7 de diciembre de 2021. https://www.lavanguardia.com/vida/20211206/7888727/algoritmo-sirve-denegar-permisos-presos-pese-fallos.html 124 Karimi-Haghighi, M., & Castillo, C. (marzo de 2021). Efficiency and fairness in recurring data-driven risk assessments of violent recidivism. En Proceedings of the 36th Annual ACM Symposium on Applied Computing (pp. 994-1002), https://chato.cl/papers/karimi_haghighi_castillo_2021_efficiency_fairness_temporal_recurring.pdf 125 Ibid 126 AlgorithmWatch, ‘In Catalonia, the RisCanvi algorithm helps decide whether inmates are paroled’, 25 May 2021. https://algorithmwatch.org/en/riscanvi/ 127 Briz-Redón, A., & Montes, F. (octubre de 2022). ‘Análisis de los resultados del protocolo RisCanvi’. Universidad de Valencia, https://www.uv.es/montes/informe%20riscanvi/informe.pdf 124 126 123 125 127 52 RisCanvi en los procesos judiciales, particularmente en decisiones relacionadas con los permisos, la libertad condicional y otros aspectos. Todavía no está claro hasta qué punto los sistemas automatizados influyen en los procesos judiciales en general. La literatura académica muestra que, por un lado, en muchos casos los jueces no siguen las evaluaciones de riesgo algorítmicas si estas no se alinean con su propia perspectiva. Por ejemplo, un juez con prejuicios raciales podría desacreditar la puntuación de riesgo del algoritmo si esta difiere de su propio juicio en un caso que involucra a una persona racializada. Otro estudio observó que la mayoría de los entrevistados mantuvieron su decisión original a menos que el algoritmo predijera que la persona volvería a delinquir, en cuyo caso cambiaron su respuesta para alinearla con la del sistema. 128 Green, B., & Chen, Y. (2019). The principles and limits of algorithm-in-the-loop decision making. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1-24, https://scholar.harvard.edu/files/bgreen/files/19-cscw.pdf 129 Grgić-Hlača, N., Engel, C., & Gummadi, K. P. (2019). Human decision making with machine assistance: An experiment on bailing and jailing. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1-25, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3465622 130 Valdivia, A., & Tazzioli, M. (junio de 2023). Datafication Genealogies beyond Algorithmic Fairness: Making Up Racialised Subjects. In Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (pp. 840-850). https://doi.org/10.1145/3593013.3594047 129 128 5 Bases de datos Bases de datos Además de los sistemas de toma de decisiones automatizadas descritos en este informe, las autoridades también dependen de bases de datos para tomar decisiones. Esta sección analiza las fuentes de información clave y las bases de datos utilizadas por la Policía Nacional. Es fundamental entender su función y el origen de la información que contienen para evaluar si comprometen o vulneran los derechos de las personas. Se supone que solo los grupos de personas autorizadas dentro de la Policía Nacional pueden acceder a estas bases de datos, de acuerdo con las leyes de privacidad y protección de datos. Sin embargo, el acceso a la información sobre estas bases de datos y fuentes de información es difícil, ya que generalmente contienen datos personales y sensibles. Muchos sistemas de toma de decisiones automatizadas ―incluidos los mencionados en este informe― son objeto de críticas por reforzar sesgos y causar perjuicios a las personas debido a fallos en el diseño, la producción o el uso. No obstante, el sesgo no solo se origina en el diseño o la implementación defectuosa de un algoritmo. También puede surgir de las bases de datos debido al origen y tipo de datos que contienen. Es importante resaltar que el uso de bases de datos por sí solo puede dar lugar a prácticas discriminatorias. Por ejemplo, si la información de un individuo en una base de datos está desactualizada, este podría ser arrestado erróneamente. En España, se han producido detenciones erróneas de personas migrantes debido a que los registros en las bases de datos gestionadas por las autoridades policiales y los funcionarios no estaban debidamente actualizados. Esta sección explora tres bases de datos principales utilizadas en España por la policía y las autoridades encargadas de hacer cumplir la ley: ABIS (Sistema Automatizado de Identificación Biométrica, anteriormente conocido como SAID); 130 53 Nombre de la base de datos Objetivo Grupo de personas afectadas Datos almacenados Uso ABIS Almacenar huellas dactilares Personas detenidas por delitos y migrantes detenidos por la ley de migración española Alfanuméricos (ID, nombre y apellidos, género, etc.), biometría e imágenes Investigación policial ADEXTTRA Almacenar informes y documentos burocráticos de migrantes Migrantes (incluidos menores) en el territorio español Alfanuméricos (nombre y apellidos, género, puesto de trabajo, etc.), biometría, audios e imágenes Comprobaciones administrativas sobre el estatus migratorio e investigación policial ADPASFIL Almacenar información sobre pasaportes Ciudadanos españoles que emiten pasaporte, solicitantes de asilo y personas apátridas Alfanuméricos (ID, nombre y apellidos, dirección, nacionalidad), biometría e imágenes Comprobaciones administrativas, verificaciones sobre el estatus migratorio e investigación policial 131 EURODAC: Utilizado para almacenar datos biométricos y biográficos de solicitantes de asilo, migrantes indocumentados y personas en proceso de deportación. 132 ETIAS: El Sistema Europeo de Información y Autorización de Viajes procesará y almacenará las solicitudes de "autorización de viaje" de nacionales de países no pertenecientes a la UE que deseen visitar el área Schengen y que no requieran un visado para hacerlo. 133 EES: El Sistema de Entrada/Salida se utilizará para el registro biométrico de todos los cruces de fronteras externas del área Schengen por parte de nacionales de países no pertenecientes a la UE. 134 Statewatch. ‘Frontex and interoperable databases. Knowledge as power?’. Febrero de 2023, https://www.statewatch.org/media/3725/frontexand-interoperable-databases-report.pdf ADEXTTRA (base de datos de registro de extranjeros); y ADPASFIL (base de datos de pasaportes y migración). Estas bases de datos contienen información sobre una amplia gama de grupos poblacionales, incluyendo datos sensibles como huellas dactilares, antecedentes penales e imágenes de detenidos. Algunas alimentan sistemas de IA como los sistemas de reconocimiento facial usados por la Policía Nacional (véase sección sobre ABIS). ABIS, ADEXTTRA y ADPASFIL son bases de datos nacionales, lo que significa que no son interoperables y no están vinculadas con otras bases de datos europeas, como EURODAC, ETIAS. o el Sistema de Entrada/Salida (EES ). Sin embargo, la información contenida en ellas se comparte con policías de otros Estados miembros de la UE y con administraciones públicas que soliciten acceso, como las autoridades fiscales, la Seguridad Social o los Ministerios de Presidencia o Asuntos Exteriores. 132 131 133 134 Tabla 1: Bases de datos relevantes utilizadas por la Policía Nacional. 54 135 Valdivia, A., Aradau, C., Blanke, T., & Perret, S. (2022). Neither opaque nor transparent: A transdisciplinary methodology to investigate datafication at the EU borders. Big Data & Society, 9(2), 20539517221124586. https://journals.sagepub.com/doi/10.1177/20539517221124586 136 Según las respuestas recibidas a través de solicitudes de transparencia al Ministerio del Interior. 137 Ibid 138 Ministerio del Interior. ‘Registro de actividad de tratamientos del Ministerio del Interior’. Actualizado en octubre de 2023, https://www.interior.gob.es/opencms/pdf/servicios-al-ciudadano/participacion-ciudadana/proteccion-de-datos-de-caracter-personal/tutela-de-losderechos/Registro_de_Actividades_de_Tratamiento_del_Ministerio_del_Interior.pd f ABIS son las siglas en inglés de “Sistema Automatizado de Identificación Biométrica”. Se refiere a un estándar internacional de programas que realizan reconocimiento facial u otro tipo de reconocimiento biométrico. En España, el software en el que se apoya esta base de datos lo proporciona la empresa francesa Thales, muy conocida en la industria biométrica. La policía española utiliza el algoritmo “Cogent” para identificar a las personas registradas en la base de datos ABIS, anteriormente denominada SAID. Cambió su nombre a ABIS poco después de que se incorporara el programa Cogent. Las iniciales anteriores significaban “Sistema Automático de Identificación Dactilar”. Contenía principalmente huellas dactilares de personas detenidas y tenían acceso todas las fuerzas y cuerpos de seguridad: Policía Nacional, Guardia Civil, Ertzaintza, Mossos d’Esquadra y Policía Regional de Navarra. Los datos también se compartían con autoridades europeas. En 2023, la base de datos ABIS contenía alrededor de 5 millones de fotografías de personas que habían sido detenidas o señaladas como sospechosas por las fuerzas de seguridad. Imágenes faciales frontales tomadas por Policía Nacional y Guardia Civil. La oficina de Sistemas de Información y Comunicación para la Seguridad del Ministerio del Interior afirma que la base de datos no registra datos demográficos: “La base de datos ABIS no utiliza calibraciones de diversidad demográfica y funciona con un sistema de comparación que utiliza únicamente la comparación de datos de ojos y nariz, independientemente de la nacionalidad del sujeto, no incluida en el procesamiento”. Los datos biométricos tanto de adultos como de menores se registran independientemente de si son ciudadanos españoles o no. Supuestamente, no hay transferencia internacional de datos sobre menores, aunque el Ministerio del Interior afirma que “organizaciones policiales de otros países” y “organizaciones internacionales” están entre las categorías de posibles destinatarios. En la mayoría de los casos, las huellas dactilares se recogen y registran digitalmente mediante el protocolo Livescan, el mismo que utilizan bases de datos europeas como EURODAC. Alrededor del 5% de las huellas dactilares no se incluyen mediante Livescan, sino que se toman con tinta y después se escanean manualmente. Esto se da en puestos fronterizos ubicados en puntos de las Islas Canarias que no tienen electricidad, por ejemplo, lo que supone que la calidad no sea tan alta como la de los datos obtenidos mediante Livescan y podría dar lugar a identificación errónea o a ninguna identificación. Todo el sistema ―el programa informático Cogent junto con la base de datos ABIS― se utiliza para la prevención, investigación y detección de delitos, y especialmente para identificar a los sospechosos involucrados. Esto incluye la prevención de amenazas a la seguridad pública, tal y 135 a) ABIS 136 137 138 55 139 Según las respuestas recibidas a través de la presentación de solicitudes FOIA . 140 Interpol. ‘Facial recognition’, https://www.interpol.int/How-we-work/Forensics/Facial-Recognition 141 RTVE. 2 de octubre de 2023. ‘Reconocimiento facial’, https://www.rtve.es/play/audios/memoria-de-delfin/reconocimiento-facial-1hora/6977564/ 142 Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng 143 Business Insider. 26 de diciembre de 2022. ‘Interior reconoce que no ha consultado a la AEPD sobre el algoritmo de reconocimiento facial que está entrenando para la policía’, www.businessinsider.es/interior-no-ha-consultado-aepd-antes-construir-ia-policial-1173474 144 Reclaim Your Face: https://reclaimyourface.eu y como lo señala el Ministerio del Interior. El sistema ABIS puede combinar sus propios archivos con el Sistema de Reconocimiento Facial de INTERPOL (IFRS), alimentado por la información proporcionada por casi 180 países. Todo tipo de imágenes se procesan a través del sistema ABIS para que la policía pueda verificarlas. Un ejemplo proporcionado por la Policía Científica, que trabaja con el software de reconocimiento facial, es el de las grabaciones de vídeo de un robo en un banco. Al parecer, estas imágenes pueden ser enviadas a la policía para ser procesadas con su software. El sistema recibe las imágenes y, tras hacer una comprobación cruzada con la base de datos, ofrece una lista de alrededor de 40 a 50 candidatos para posibles coincidencias. El agente encargado debe entonces revisar las opciones y decidir si la persona que buscan coincide con alguno de los resultados. A diferencia de un sistema de reconocimiento facial en vivo, el algoritmo Cogent se utiliza para realizar una búsqueda retrospectiva, lo que elude las restricciones más estrictas sobre el reconocimiento facial establecidas en el Reglamento de IA de la UE. Mientras que el reglamento pr ohíbe algunos usos del reconocimiento facial en vivo, en 2023 la Agencia Española de Protección de Datos aún debe evaluar si el algoritmo Cogent puede utilizarse de esta manera, dado que no fue consultada cuando el sistema se probó por primera vez. La nueva base de datos ABIS se alimentó con la información contenida en la base de datos predecesora, SAID. Ahora, además de las huellas dactilares, incluye fotografías de estas personas y de otros sospechosos recopilados por la policía. Existen amplias demandas internacionales para prohibir el uso del reconocimiento facial por parte de la policía, siendo la campaña Reclaim Your Face la más destacada, ya que considera esta tecnología defectuosa y un factor que aumenta el riesgo de detenciones injustas. 139 140 142 141 143 144 ADEXTTRA es la base de datos que contiene información sobre ciudadanos extranjeros, ciudadanos extracomunitarios en situación irregular o ciudadanos españoles afectados por las leyes de extranjería. La policía consulta esta base de datos cuando realiza detenciones y controles de identidad, por ejemplo, para comprobar el estatus legal de una persona, ya que esta base de datos contiene toda la información sobre el historial de migración de las personas incluidas en ella. En ADEXTTRA, la policía registra el nombre de una persona, su fecha y lugar de nacimiento, sexo, los nombres de sus padres, número de teléfono y correo electrónico. También se registra el número de DNI y pasaporte, el número de la seguridad social y el Número de Identificación de Extranjero (NIE), que esencialmente funciona como una identificación para los no nacionales con residencia en el país. y b) ADEXTTRA 56 145 Ministerio del Interior. ‘Registro de actividad de tratamientos del Ministerio del Interior’. Actualizado en octubre de 2023, https://www.interior.gob.es/opencms/pdf/servicios-al-ciudadano/participacion-ciudadana/proteccion-de-datos-de-caracter-personal/tutela-de-losderechos/Registro_de_Actividades_de_Tratamiento_del_Ministerio_del_Interior.pdf 146 Dirección General de la Policía. ‘Predisposiciones técnicas para la contratación de servicios de mantenimiento de aplicaciones policiales 20202022’ , https://contrataciondelestado.es/wps/wcm/connect/070db1fd-c9b7-4b0d-ae91-b9ac6c6ecaab/DOC20200818140525PPT+v2+0.pdf? MOD=AJPERES Junto a estos datos, la policía recopila una extensa lista de información socioeconómica: nacionalidad, estado civil, profesión y actividades laborales, si el individuo posee propiedades o activos, sus ingresos y rentas, así como información sobre convivencia, detenciones extrajudiciales, conducta y antecedentes penales. La base de datos también almacena una gran cantidad de datos biométricos, incluyendo fotografías, huellas dactilares y muestras de voz. ADEXTTRA también recoge datos sobre menores, en su mayoría biométricos e identificables, además de información sobre el lugar donde reside el menor (que incluye albergues y la mención de la organización pública encargada de su cuidado) y las personas con las que arribaron al país. En el caso de los menores, también se registran datos físicos y fisiológicos, como informes forenses destinados a determinar su edad o si presentan tatuajes o "marcas y deficiencias físicas y psicológicas". La información contenida en ADEXTTRA se comparte con otros departamentos de policía y todas las oficinas de la administración pública que intervienen en la burocracia migratoria. La información relativa a los adultos también se transfiere a organizaciones como Interpol, Europol o el Sistema de Información Schengen (SIS II). Los datos sobre menores se comparten con otras oficinas de inmigración europeas o responsables de menores no acompañados. ADEXTTRA es consultada por los sistemas de la Oficina de Migración para actualizar información sobre pequeñas embarcaciones y número de migrantes que transport an; otros tipos de “movimientos migratorios ilegales”; e información sobre procesos que involucran a menores repatriados, menores bajo tutela u otra condición de extranjería; procedimientos, como deportaciones y devolución de migrantes a su país de origen. Como se mencionó anteriormente, ADEXTTRA también se utiliza para identificar a los migrantes y verificar su estatus en el país. La policía puede detener a las personas con apariencia "extranjera" y pedirles su documentación. La policía tiene la capacidad de arrestar a alguien y ponerlo bajo custodia si considera que las pruebas documentales presentadas son inadecuadas (por ejemplo, fotocopias) o si sospecha que pueden ser falsificadas, lo cual a veces depende de una decisión subjetiva. Durante este proceso, se verifican los datos almacenados en ADEXTTRA. El problema que puede surgir es que los documentos se muestran en la base de datos en orden cronológico, por lo que es posible que no sea evidente de inmediato para el funcionario que la situación de un individuo es regular. Esto significa que un agente podría suponer que la persona está en situación irregular y arrestarla, en lugar de revisar la base de datos con mayor detenimiento. Como afirma un miembro de la Delegación del Gobierno: 145 146 57 Secretaría de Estado de Seguridad. Instrucción nº 7/2016. https://violenciagenero.igualdad.gob.es/profesionalesInvestigacion/seguridad/protocolos/ pdf/Instruccion7_2016.pdf Ministerio del Interior. ‘La valoración policial del riesgo del riesgo de violencia contra la mujer pareja en España’, https://www.interior.gob.es/opencms/pdf/archivos-ydocumentacion/documentacion-y-publicaciones/publicaciones-descargables/seguridadciudadana/La_valoracion_policial_riesgo_violencia_contra_mujer_pareja_126180887.pdf#% 5B%7B%22num%22%3A453%2C%22gen%22%3A0%7D%2C%7B%22name%22%3A%22Fit %22%7D%5D Bayona, J. Z. (2014). Violencia contra la mujer: marco histórico evolutivo y predicción del nivel de riesgo (Tesis doctoral, Universidad Autónoma de Madrid), https://dialnet.unirioja.es/servlet/tesis?codigo=43479 Ministerio del Interior. ‘Datos estadísticos VioGén’. Septiembre de 2023. https://www.interior.gob.es/opencms/pdf/servicios-al-ciudadano/violencia-contra-lamujer/estadisticas/2023/Estadistica-Septiembre-2023.pdf Éticas Research. ‘The external audit of the VioGen system’. 8 de marzo de 2022, https://eticasfoundation.org/wp-content/uploads/2022/03/ETICAS-FND-The-ExternalAudit-of-the-VioGen-System.pdf Ministerio del Interior. ‘Registro de actividad de tratamientos del Ministerio del Interior’. Actualizado en octubre de 2023, https://www.interior.gob.es/opencms/pdf/servicios-alciudadano/participacion-ciudadana/proteccion-de-datos-de-caracter-personal/tutela-delos-derechos/Registro_de_Actividades_de_Tratamiento_del_Ministerio_del_Interior.pdf López-Ossorio, J. J., Álvarez, J. L. G., Pascual, S. B., García, L. F., & Buela-Casal, G. (2017). Risk factors related to intimate partner violence police recidivism in Spain. International Journal of Clinical and Health Psychology, 17(2), 107-119, https://dialnet.unirioja.es/metricas/documentos/ARTREV/6001491 La Moncloa. ‘El Sistema VioGén supera los seis millones de valoraciones de riesgo a víctimas de violencia de género’. 19 de mayo de 2023. https://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/interior/Paginas/2023/190 523-sistema-viogen-victimas-violencia-genero.aspx El País. ‘VioGén: visita a las tripas del algoritmo que calcula el riesgo de que una mujer sufra violencia machista’. 10 de abril de 2022, https://elpais.com/tecnologia/2022-0410/viogen-visita-a-las-tripas-del-algoritmo-que-calcula-el-riesgo-de-que-una-mujer-sufraviolencia-machista.html Eticas Research. ‘The external audit of the VioGen system’. 8 de marzo de 2022, https://eticasfoundation.org/wp-content/uploads/2022/03/ETICAS-FND-The-ExternalAudit-of-the-VioGen-System.pdf Ertzaintza. ‘Violencia de género’, https://www.ertzaintza.euskadi.eus/lfr/web/ertzaintza/violencia-de-genero Según documentación interna aportada por un juez que actuó en el País Vasco. Ertzaintza. ‘EBA. Data controller’. https://www.ertzaintza.euskadi.eus/lfr/documents/62347/4519349/4.+EBA.pdf/6a372e0e66a4-bde6-1c6f-1abca3acb950?t=1639567729630 Echeburúa, E., Amor, P. J., Loinaz, I., & De Corral, P. (2010). Escala de Predicción del Riesgo de Violencia Grave contra la pareja-Revisada-(EPV-R). Psicothema, 22(4), 1054-1060, https://www.psicothema.com/pdf/3840.pdf Valdivia, A., Hyde-Vaamonde, C., & García-Marcos, J. (2022). Judging the algorithm: A case study on the risk assessment tool for gender-based violence implemented in the Basque country. arXiv preprint arXiv:2203.03723, https://arxiv.org/abs/2203.03723 64 AlgorithmWatch. ‘Basque Country: how an algorithm to assess the risk of gender-based violence sees people from “different cultures”’. 30 de marzo de 2023, https://algorithmwatch.org/en/basque-country-gender-violence-algorithm/ Ibid. El País. ‘Inteligencia artificial para atrapar a los violadores’. 28 de febrero de 2023, https://elpais.com/sociedad/2023-02-28/inteligencia-artificial-para-atrapar-a-losvioladores.html Ibid. Según entrevistas realizadas sobre el tema para la elaboración del informe. Nature ‘Police use a computer to expose false testimony’. 30 de mayo de 2018, https://www.nature.com/articles/d41586-018-05285-9 Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE Quijano-Sánchez, L., Liberatore, F., Camacho-Collados, J., & Camacho-Collados, M. (2018). Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police. Knowledge-Based Systems, 149, 155-168, https://www.sciencedirect.com/science/article/abs/pii/S095070511830128X?via%3Dihub AlgorithmWatch. 27 de octubre de 2020. ‘Spanish police plan to extend use of its liedetector while efficacy is unclear’. https://algorithmwatch.org/en/spain-police-VeriPol/ Quijano-Sánchez, L., Liberatore, F., Camacho-Collados, J., & Camacho-Collados, M. (2018). Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police. Knowledge-Based Systems, 149, 155-168, https://www.sciencedirect.com/science/article/abs/pii/S095070511830128X?via%3Dihub Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE Ibid. Applications of AI and Data Science in Policing: 7 years of collaborations with the Spanish Police”. Por Lara Quijano-Sánchez, Doctorado por la Escuela Politécnica de la Universidad Autónoma de Madrid. https://www.youtube.com/watch?v=z8uBNNPtUmE AlgorithmWatch. 27 de octubre de 2020. ‘Spanish police plan to extend use of its liedetector while efficacy is unclear’. https://algorithmwatch.org/en/spain-police-VeriPol/ La Voz de Galicia. 30 de agosto de 2020. ‘La comisaría de Vigo lleva dos años sin usar la “máquina de la verdad”’. https://www.lavozdegalicia.es/noticia/vigo/vigo/2020/08/30/comisaria-vigo-lleva-dos-anosusar-maquina-verdad/0003_202008V30C1991.htm El País. 9 de marzo de 2021. ‘VeriPol, el polígrafo “inteligente” de la policía, puesto en cuestión por expertos en ética de los algoritmos’. https://elpais.com/tecnologia/2021-0308/VeriPol-el-poligrafo-inteligente-de-la-policia-puesto-en-cuestion-por-expertos-en-eticade-los-algoritmos.html Statewatch. ‘Frontex and interoperable databases. Knowledge as power?’. Febrero de 2023, https://www.statewatch.org/media/3725/frontex-and-interoperable-databasesreport.pdf Según las respuestas recibidas a través de la presentación de solicitudes FOIA. Ibid. 65 Ministerio del Interior. ‘Registro de actividad de tratamientos del Ministerio del Interior’. Actualizado en octubre de 2023, https://www.interior.gob.es/opencms/pdf/servicios-alciudadano/participacion-ciudadana/proteccion-de-datos-de-caracter-personal/tutela-delos-derechos/Registro_de_Actividades_de_Tratamiento_del_Ministerio_del_Interior.pdf Según las respuestas recibidas a través de la presentación de solicitudes FOIA. Interpol. ‘Facial recognition’, https://www.interpol.int/How-we-work/Forensics/FacialRecognition RTVE. 2 de octubre de 2023. ‘Reconocimiento facial’, https://www.rtve.es/play/audios/memoria-de-delfin/reconocimiento-facial-1hora/6977564/ Business Insider. 26 de diciembre de 2022. ‘Interior reconoce que no ha consultado a la AEPD sobre el algoritmo de reconocimiento facial que está entrenando para la policía’, www.businessinsider.es/interior-no-ha-consultado-aepd-antes-construir-ia-policial1173474 Ministerio del Interior. ‘Registro de actividad de tratamientos del Ministerio del Interior’. Actualizado en octubre de 2023, https://www.interior.gob.es/opencms/pdf/servicios-alciudadano/participacion-ciudadana/proteccion-de-datos-de-caracter-personal/tutela-delos-derechos/Registro_de_Actividades_de_Tratamiento_del_Ministerio_del_Interior.pdf Dirección General de la Policía. ‘PRESCRIPCIONES TÉCNICAS PARA LA CONTRATACIÓN DE SERVICIOS DE MANTENIMIENTO DE APLICACIONES POLICIALES 2020-2022’, https://contrataciondelestado.es/wps/wcm/connect/070db1fd-c9b7-4b0d-ae91b9ac6c6ecaab/DOC20200818140525PPT+v2+0.pdf?MOD=AJPERES Sainz de la Maza Quintanal, E. (2015). “Ultima ratio”: el proceso de expulsión de inmigrantes en situación irregular en España, https://docta.ucm.es/entities/publication/769b2a6c-8db4-4e2f-8fbe-623cb7c9ce6c Ibid Ministerio del Interior. ‘I Plan Estratégico en Materia de Personas Desaparecidas 20222024’. https://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/interior/Documents/2022/ 090322_I_Plan_Estrategico_Personas_Desaparecidas_22-24.pdf Valdivia, A., & Tazzioli, M. (2023, June). Datafication Genealogies beyond Algorithmic Fairness: Making Up Racialised Subjects. In Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (pp. 840-850). https://doi.org/10.1145/3593013.3594047 Civio (2025): ‘La Policía Nacional deja de usar VeriPol, su IA estrella para detectar denuncias falsas’. https://civio.es/transparencia/2025/03/19/la-policia-nacional-deja-deusar-veripol-su-ia-estrella-para-detectar-denuncias-falsas/ 66 Este informe ha sido elaborado por Naiara Bellio con la colaboración de Ana Valdivia y Javier Sánchez Monedero. Editado por AlgoRace, Griff Ferris y Sofia Lyall. Traducido por Aurora Ali y Najim M. Ouled Diseño y maquetación de Isabel Muriedas La publicación de este informe ha contado con el apoyo de Statewatch en el marco de un proyecto europeo financiado por European & Society AI Fund.