Estudios sobre ética e inteligencia artificial

Álvaro Sánchez Bravo Liton Lanes Pilau Sobrinho (Directores) ESTUDIOS SOBRE ÉTICA E INTELIGENCIA ARTIFICIAL ESTUDIOS SOBRE ÉTICA E INTELIGENCIA ARTIFICIAL VV. AA. Editado por: Editorial Alma Mater Paseo de las Delicias, 30, 2º. Madrid (España) [email protected] www.editorialalmamater.com Impreso en España ISBN: 979-08-22884-48-3 Maquetación, diseño y producción: Editorial Alma Mater © 2025 Editorial Alma Mater Quedan rigurosamente prohibidas, sin la autorización por escrito de los titulares del copyright, bajo las sanciones establecidas por las leyes, la reproducción parcial o total de esta obra por cualquier medio o procedimiento, comprendidos la reprografía y el tratamiento informático, y la distribución de ejemplares de esta edición mediante alquiler o préstamos públicos. ÍNDICE ÉTICA(S) DE LA INTELIGENCIA ARTIFICIAL Y DERECHO: CONSIDERACIONES A PROPÓSITO DE LOS LÍMITES Y LA CONTENCIÓN DEL DESARROLLO TECNOLÓGICO ................................................ 5 Fernando H. Llano Alonso ÉTICA Y DERECHO EN LA NORMATIVA EUROPEA SOBRE INTELIGENCIA ARTIFICIAL ........................ 35 Antonio Enrique Pérez Luño INNOVACIÓN, ÉTICA Y DERECHO (REFERENCIA A INTELIGENCIA ARTIFICIAL Y DATOS PERSONALES) .......... 53 Felipe Rotondo ÉTICA DE LA INTELIGENCIA ARTIFICIAL Y BIG DATA: ALGUNAS IMPLICACIONES PARA LOS DERECHOS FUNDAMENTALES ................................................................................... 73 Jesús Ignacio Delgado Rojas NOVAS CONSIDERAÇÕES SOBRE A QUESTÃO SOCIAL NA ERA DA REALIDADE VIRTUAL E DA INTELIGÊNCIA ARTIFICIAL EM SOCIEDADES COMPLEXAS E MULTICULTURAIS ............................................................................... 85 José Alcebiades de Oliveira Junior INTELIGENCIA ARTIFICIAL Y JUSTICIA CONSTITUCIONAL. RIESGOS E IMPLICACIONES HERMENÉUTICOS PARA LA SOCIEDAD PLURALISTA ......... 95 Fernando Babi Ruiz A DISSONÂNCIA COMUNICACIONAL DA DEMOCRACIA NA ERA DIGITAL ...................................................... 111 Liton Lanes Pilau Sobrinho ¿HACIA UN ORDEN MUNDIAL ARTIFICIAL? ................................... 141 María Esteban Moncho ÉTICA, INTELIGENCIA ARTIFICIAL Y TRABAJO ........................... 171 Juan Raso Delgue LA “TIERRA PROMETIDA” DE LA INTELIGENCIA ARTIFICIAL: IGLESIA E INNOVACIÓN TECNOLÓGICA ..... 183 Nuria Belloso Martín MAGISTERIO DE LA IGLESIA E INTELIGENCIA ARTIFICIAL . 203 Álvaro Sánchez Bravo OBRA SEM AUTOR, BEM COM VALOR. FUNDAMENTOS JURÍDICOS DA PROTEÇÃO DE IMAGENS CRIADAS POR INTELIGÊNCIA ARTIFICIAL ................................................... 243 Éfren Paulo Porfírio de Sá Lima ESTUDIOS SOBRE ÉTICA E INTELIGENCIA ARTIFICIAL 7 ÉTICA(S) DE LA INTELIGENCIA ARTIFICIAL Y DERECHO: CONSIDERACIONES A PROPÓSITO DE LOS LÍMITES Y LA CONTENCIÓN DEL DESARROLLO TECNOLÓGICO Fernando H. Llano Alonso Universidad de Sevilla A María Dolores García Cossío (1938-2024) In memoriam INTRODUCCIÓN A finales del mes de marzo de 2023, más de medio millar de académicos, ingenieros expertos en inteligencia artificial (en adelante, IA) y empresarios de compañías tecnológicas firmaron una carta abierta en la que advertían de los “profundos riesgos para la sociedad y la humanidad” que plantean los modelos avanzados; en consecuencia, proponían a los laboratorios de IA una pausa o impasse, al menos durante seis meses, en el entrenamiento de sistemas de IA más potentes que el modelo de lenguaje de OpenAI GPT41. Esta carta fue publicada por The Future of Life Institute, un instituto que se presenta a sí mismo como una organización cuya principal misión consiste en dirigir la tecnología transformadora hacia el beneficio de la vida y alejarla de los riesgos extremos a gran escala: la IA, la Biotecnología y las armas nucleares. Según los autores de este 1 Entre los signatarios de esta carta se encuentran: Elon Musk (CEO de SpaceX, Tesla y Twitter); Steve Wozniak (Cofundador de Apple); Yuval Noah Harari; Evan Sharp (Cofundador de Pinterest); Craig Peeters (Director ejecutivo de Getty Images); Emad Mostaque (Director ejecutivo de Stability AI); o Valerie Pisano (Presidenta y Directora ejecutiva de MILA). 14 Desde un punto de vista jurídico, se han producido avances significativos en la regulación de una IA al servicio de la humanidad, sobre todo en el ámbito de la Unión Europea, que cuenta con la primera ley integral del mundo sobre IA y que, como parte de su estrategia digital, vela por la seguridad, la transparencia, la eticidad y el control humano de los sistemas de IA. Sin embargo, no puede soslayarse el hecho de que, aunque el bienestar de la humanidad sea uno de los principios que guían la normativa europea sobre la IA, es urgente e inaplazable el planteamiento de un debate ético a propósito del impacto y los efectos negativos producidos por los sistemas artificiales, así como la falta de asunción de responsabilidades por parte de quienes comercian y se enriquecen con dichos sistemas sin respetar códigos deontológicos ni normas de conducta que permitan diferenciar lo bueno de lo malo, y que favorezcan lo primero y eviten lo segundo13. LA IA FUERTE Y EL ALINEAMIENTO DE SUS OBJETIVOS CON LOS VALORES HUMANOS Las leyes de la robótica de Isaac Asimov parten de una presunción: si el código ético de las máquinas y los valores humanos no estuvieran correctamente alineados, una IAG acabaría destruyendo, racional y consecuentemente, nuestro ecosistema y, con ello, la humanidad entera14. Por eso mismo, como advirtiera Norbert Wiener -considerado el fundador de la cibernética y un influyente defensor de la automatizaciónsi para lograr nuestros objetivos utilizamos un agente mecánico (como un robot u otra máquina inteligente) 13 A. BIRHANE-J. VAN DIJK, “Robot Rights? Let´s Talk about Human Welfare Instead”, Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (AIES ´20), Association for Computing Machinery, New York, 2020, pp. 207-213; S. DEGLI-ESPOSTI, La ética de la inteligencia artificial, CSIC-Catarata, Madrid, 2023, p. 100. 14 S. DEGLI-ESPOSTI, La ética de la inteligencia artificial, cit., pp. 74-75. 15 deberíamos asegurarnos antes de hacerlo de que el objetivo que perseguimos con dicho agente es el que de verdad deseamos15. A esta hipótesis distópica, en la que una IAG no se encuentra alineada con la humanidad, apuntó Isaac Asimov cuando enunció, en 1941, las tres leyes de la robótica, publicadas un año más tarde en un relato corto titulado: Runaround, que ha inspirado no solo a otras generaciones ulteriores de escritores de ciencia ficción, sino a científicos cognitivos: Minsky (2006), ingenieros informáticos: Barfield (2015), y juristas: Sartor (1993) y Pagallo (2013), entre otros. Las tres leyes clásicas de la robótica prohíben a los robots causar daño a los humanos, les obligan a obedecer las órdenes dadas por los seres humanos, y les ordenan preservar su propia existencia. Estas tres leyes establecen los siguientes principios: 1.Un robot no hará daño a un ser humano ni, por inacción, permitirá que un ser humano sufra daño. 2.Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entren en conflicto con la primera ley. 3.Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o con la segunda ley. Con posterioridad estas leyes originales fueron modificadas y desarrolladas por otros novelistas de ciencia ficción, e incluso el propio Asimov añadiría una cuarta ley (ley cero), en Robots and Empire (1985), para un imaginario universo futurista y distópico en el que las máquinas han asumido el gobierno del planeta tras desplazar a los hombres. Esta cuarta ley responde al siguiente enunciado: 15 N. WIENER, Cybernetics or Control and Communication in the Animal and the Machine, The Technology Press-John Wiley and Sons-Inc. Hermann et Cie Editeurs, Cambridge (Massachusetts)-New York, Paris, 1948; The Human Use of Human Beings: Cybernetics and Society, Doubleday & Co., Garden City (New York), 1950. 16 4.Un robot no puede dañar a la humanidad o, por inacción, permitir que la humanidad sufra daños. En cuanto a esta cuarta ley, contempla la hipótesis de que un robot pueda llegar a incluso a actuar contra un ser humano para evitar que haga daño a sus congéneres. Como señala Jacques Pitrat, esta ley cero es una ley pensada para proteger a la humanidad de su peor enemigo: el hombre16. A este respecto, en el relato The Evitable Conflict (1950) Asimov imagina un mundo controlado por las máquinas, pues éstas han llegado a la conclusión de que la única manera de satisfacer el mandato de la primera ley es conspirar contra los hombres para salvarles de sí mismos. El coordinador de ese gobierno planetario en el que las máquinas regulan la economía mundial se llama Stephen Byerley, un robot humanoide dotado de conciencia artificial que vela por el bien de la humanidad. La hipótesis del conflicto entre máquinas inteligentes y personas, tantas veces llevada a la novela distópica y el cine de ciencia ficción, en la que la IA podría tomar decisiones contrarias al interés de los seres humanos, se plantea el llamado “problema del alienamiento”: ¿cómo conseguir que las máquinas inteligentes no se revuelvan contra sus creadores? A este respecto, como han adviertido Sigman y Bilinkis, ese potencial enfrentamiento no requeriría necesariamente una conciencia o maldad intrínseca por parte de la IA. Es suficiente con que perdamos el control sobre algo sumamente poderoso, y capaz de operar a gran escala sobre el mundo, por un error en la función valor, por alguna omisión en las limitaciones que se le impongan, por alguna propiedad emergente inesperada o por l posibilidad que tienen de modificar los objetivos que les damos17. 16 J. P I TR AT, Artificial Beings: The Concience of a Conscious Machine, John Wiley & Sons Inc., Hoboken (New Jersey)-London, 2009, p. 184. 17 M. SIGMAN y S. BILINKIS, Artificial. La nueva inteligencia y el contorno de lo humano, cit., p. 177. 17 Como puede comprobarse tras la lectura de los dos relatos de Asimov que hemos tomado como ejemplo, Runaround y The Evitable Conflict, la literatura de ciencia ficción ha anticipado situaciones e hipótesis que han pasado a formar parte de la experiencia jurídica de la era cibernética y precisan una específica regulación: la ética de la IA, la autonomía de las máquinas y su impacto en el ámbito de los derechos humanos, la conciencia artificial, la personalidad electrónica o la responsabilidad civil y penal por los daños causados por la IA y la robótica18. A la vista de la complejidad de las leyes de la robótica, de los dilemas éticos de difícil solución que éstas presentan, de las consecuencias de los sesgos implícitos en los datos de entrenamiento de los algoritmos y de los desafíos que entraña el problema del alineamiento, sería oportuno abordar estas cuestiones dentro de un marco ético que limite y oriente las acciones y decisiones automatizadas de las máquinas inteligentes al interactuar con las personas. Pero, ¿cómo consensuar un código ético aplicable a las máquinas, cuando ni siquiera hemos logrado ponernos de acuerdo entre las personas a la hora de compartir un marco ético universal, ni unos mismos valores morales que orienten la conducta de los individuos? Y por otra parte, ¿con qué conjunto de valores debería alinearse la IA y qué estatus legal y ético debería tener? La cuestión sobre el alineamiento de los valores y comportamientos de los sistemas de IA con los valores humanos se trató, precisamente, en la Conferencia de Asilomar sobre IA beneficiosa, celebrada en enero de 2017 en California y organizada por el Future of Life Institute. Este evento ético-tecnológico contó con la presencia de más de un centenar de expertos e investigadores que se reunieron para debatir y consensuar principios de IA. Esta conferencia concluyó con la formulación de veintitrés principios que suponen, para algunos, un valioso punto de referencia para los debates sobre ética de la IA, mientras que, para otros, carecen de una orientación 18 U. PAGALLO, The Laws of Robots. Crimes, Contracts, and Torts, Springer, Dordrecht-Heidelberg-New York-London, 2013, p. 23. 18 específica sobre cómo aplicarlos a la práctica. En todo caso, aunque no sean suficientes, se pueden considerar como principios necesarios para iniciar abordar los complejos retos éticos que surgen en torno a la IA. El décimo principio de la Conferencia de Asilomar versa sobre la alineación de valores y reza así: Los sistemas de IA altamente autónomos deben ser diseñados de manera que sus objetivos y comportamientos puedan ser asegurados para alinearse con los valores humanos a lo largo de su operación. Como vemos, este principio se refiere fundamentalmente a los sistemas de IA autónomos, capaces de tomar decisiones automatizadas y llevar a cabo acciones sin intervención humana. En otras palabras, con este principio lo que se pretende es garantizar que los objetivos y comportamientos de los sistemas de IA autónomos estén diseñados de forma que se alineen con valores humanos, para que no actúen al margen de las normas establecidas, ni produzcan daños o lesiones a los seres humanos, tal y como prescribe la primera regla de Asimov. Pero, ¿cómo conseguimos que los sistemas de IAG superinteligentes estén alineados con los valores humanos y sigan la intención humana sin rebelarse? En julio de 2023 OpenAI publicó un documento de investigación, firmado por Ilya Sutskever y Jan Leyke, codirectores del equipo Superalignment, en el que explicaban los resultados de su investigación sobre un modelo de supervisión automatizado que sea capaz de guiar el comportamiento de otro mucho más inteligente (este proceso es el que se utiliza, por ejemplo, por OpenAI para ajustar su modelo del lenguaje estrella en 2023: Chat GPT-4)19. El ajuste algorítmico a GPT-4 que está probando el equipo Superalignment permitiría,a la postre, que el modelo más potente e 19 www.wired.com/story/openai-ilya-sutskever-ai-safety/ 19 inteligente siga la guía del modelo más débil y menos inteligente, pero sin reducir por ello su rendimiento. En todo caso, los investigadores de OpenAI admiten que este novedoso método de superalineamiento no garantiza aún que el modelo más fuerte se comporte a la perfección, aunque puede servir como un punto de referencia del que partirán futuras investigaciones sobre el control de la IAG20. LA ÉTICA DE LA IA Y LA AMPLIACIÓN DE LOS PRINCIPIOS DE LA BIOÉTICA En el anterior epígrafe nos ocupamos del alineamiento de los valores y comportamientos de los sistemas de IA con los valores humanos. Esta operación de alineación es conveniente realizarla desde el momento en que, a través de la IA, ha sido posible automatizar tareas y delegar al software o a máquinas inteligentes el desarrollo de determinadas funciones. La IA está tan inserta en nuestra vida cotidiana y en el contexto social que resulta necesario tomar en consideración desde un punto de vista ético los efectos y las consecuencias que esta tecnología produce sobre el género humano en plena era de la automatización. En definitiva, esta es la razón por la que resulta oportuna una investigación crítica en clave ética que no solo se ocupe de la eficacia y el rendimiento de las nuevas tecnologías, sino también del bienestar de la humanidad ante el horizonte de la singularidad tecnológica21. El objetivo de este enfoque ético es doble: por un lado, promover la concordancia o alineamiento entre las intenciones de las distintas partes y los valores éticos pertinentes para el uso previsto; por otro lado, Identificar, corregir o denunciar las aplicaciones que 20 R. GÓMEZ PÉREZ, El dilema de la IA, Rialp, Madrid, 2023, p. 92. 21 J. SCHAICH BORG-W. SINNOTT-ARMSTRONG-V. CONITZER, Moral AI and How We Get There, Penguin Random House, Milton Keyes-Dublin, 2024, pp. 190-191. 20 sirven a fines éticamente inaceptables que ignoran, o violan, valores decisivos en relación con su ámbito de actuación. Este segundo objetivo (el de la vigilancia contra el uso indebido de los sistemas de IA) tiene una gran relevancia, porque si se verifica un uso desalineado de los sistemas, entonces la denuncia del problema y la puesta en marcha de acciones dirigidas a su eliminación constituye un acto obligatorio y absolutamente necesario. En realidad, la ética es un ingrediente básico para que la investigación tecnológica pueda avanzar tranquilamente, explorar sus propias posibilidades y ser beneficiosa para la humanidad, en la medida que propicia el mantenimiento de un alto nivel de confianza entre los actores implicados en el proceso de la IA. En última instancia, como sostiene Stefano Quintarelli, razonar sobre el posible impacto moral de la IA, y asegurarse de que tenga efectos beneficiosos sobre la existencia de la humanidad, no tiene porqué suponer un freno al pleno desarrollo de la tecnología sino, al contrario, es la receta para su para su éxito a largo plazo y para cosechar todos los beneficios que promete22. Sin embargo, para que haya una alineación entre las tecnologías y las expectativas éticas, éstas deben estar claramente definidas. Establecer un marco de valores lo más coherente y claro posible es, en efecto, crucial para que la investigación y el desarrollo tecnológicos sean éticamente conscientes y se practiquen a la luz de esta conciencia. A propósito de la definición de este marco axiológico relativo a la IA, cabe mencionar la gran labor ético-jurídica realizada a través de las declaraciones internacionales sobre los principios éticos de la IA. En este sentido, Luciano Floridi23 ha destacado algunas que, a su juicio, serían las más influyentes hasta ahora en la definición del marco ético-jurídico de la IA; estas serían las tres principales: 22 S. QUINTARELLI, Intelligenza Artificiale. Cos´è davvero, come funciona, che effetti avrà, Bollati Boringhieri, Milano, 2020, p. 84. 23 L. FLORIDI, Etica dell´intelligenza artificiale. Sviluppi, opportunità, sfide, Raffaelo Cortina Editore, Milano, 2022, pp. 94-95. 21 Los Principios de Asilomar, un conjunto de 23 principios desarrollados bajo los auspicios del Future Life Institute, en colaboración con los participantes en la Conferencia Asilomar que se celebró en Pacific Grove (California) en enero de 2017. Estos principios hacen referencia, entre otras cuestiones, a la seguridad y la protección, la transparencia y la responsabilidad, el desarrollo y uso de las tecnologías de IA de forma justa y equitativa, y por supuesto, también a la garantía de que los sistemas de IA se diseñen y operen sin daño ni discriminación de ningún individuo o grupo (es decir, que todos tengan acceso al uso y el beneficio de la IA). La Declaración de Montreal para un desarrollo responsable de la Inteligencia Artificial (2018) en la que se enuncian una serie de diez principios que sientan las bases para fomentar la confianza de la sociedad en los sistemas de IA. El sexto principio que se proclama en esta declaración es el de equidad, que precisamente en su primer apartado exhorta al diseño y el entrenamiento de los sistemas de IA de manera tal que “no creen, refuercen ni reproduzcan patrones de discriminación basados en diferencias sexuales, étnicas, culturales o religiosas, entre otras”. La Declaración sobre Inteligencia Artificial, robótica y sistemas “autónomos”, publicada en marzo de 2018 por el Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías de la Comisión Europea (en adelante, EGE), en el que se proponen un conjunto de principios éticos fundamentales y prerrequisitos democráticos, basados en los valores establecidos en los Tratados y en la Carta de derechos fundamentales UE: a) dignidad humana; b) autonomía; c) responsabilidad; d) justicia, equidad y solidaridad; e) democracia; f) Estado de Derecho y rendición de cuentas; g) seguridad, protección, e integridad física y mental; h) protección de datos y privacidad; i) sostenibilidad. A diferencia de los Principios de Asilomar y de la Declaración de Montreal, en la Declaración de la EGE se hace referencia expresa 22 en el apartado d) a los sesgos discriminatorios y se manifiesta que la IA debería contribuir a la justicia global y facilitar la igualdad de acceso a los beneficios y ventajas de la IA, la robótica y los sistemas “autónomos”. De ahí que al final del primer párrafo de este cuarto parágrafo se proclame que: los sesgos discriminatorios en los conjuntos de datos utilizados para entrenar y ejecutar los sistemas de IA, deben evitarse. De no ser posible, estos sesgos deben ser detectados, notificados y neutralizados en la etapa más temprana del proceso. Consciente de la necesidad de reconocer y regular el impacto de la IA en el sistema de derechos fundamentales, la Unión Europea se ha situado a la vanguardia en la creación de un marco jurídico específico sobre IA. En este sentido, el Parlamento Europeo aprobó una resolución, el 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley. En dicha resolución, que marcó un hito en el comienzo de la normativa de la Unión Europea sobre IA, se insiste precisamente en el hecho de que: los ciudadanos, los sectores público y privado, el mundo académico y la comunidad científica solo podrán aprovechar plenamente las perspectivas y oportunidades que brindan los macrodatos si la confianza pública en esas tecnologías se garantiza mediante la estricta observancia de los derechos fundamentales y el cumplimiento de la legislación vigente de la Unión en materia de protección de datos, así como la seguridad jurídica en relación con todas las partes interesadas. A su vez, en el parágrafo 20 de esta misma resolución, el Parlamento insta a la Comisión, a los Estados miembros y a las autoridades encargadas de la protección de datos a que: 23 definan y adopten las medidas que se impongan para minimizar la discriminación y el sesgo algorítmicos y a que desarrollen un marco ético común sólido para el tratamiento transparente de los datos personales y la toma de decisiones automatizada que sirva de guía para la utilización de los datos y la aplicación en curso del Derecho de la Unión24. A propósito de las declaraciones de principios de la IA, Floridi ha advertido que existe una suerte de hipertrofia de principios éticos que se suceden cada vez que una organización aprueba una declaración aún a riesgo de incurrir en innecesarias repeticiones o superposiciones de principios proclamados en otras declaraciones precedentes, lo cual también conduce a la confusión y la ambigüedad. Frente a esta profusión de principios éticos, Floridi nos propone una idea de IA que no debe ser entendida como un nuevo tipo de inteligencia, sino como una forma de actuar sin precedentes. Por eso, de todas las áreas de la ética aplicada, la bioética es la que más se parece a la ética digital en el tratamiento que ésta hace de nuevas formas de agentes, pacientes y entornos25. Sin embargo, aunque los principios bioéticos se adaptan perfectamente a los nuevos retos éticos planteados por la IA, no es fácil explicarlos. A este respecto, Floridi añade a los cuatro principios clásicos de la bioética (beneficencia, no maleficencia, autonomía y justicia) un quinto principio: la explicabilidad, entendida como un principio que incluye tanto el sentido epistemológico de inteligibilidad (como respuesta a la pregunta: “¿Cómo funciona?”), como el sentido ético de 24 Resolución del Parlamento Europeo, de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(INI)), parágrafos 1 y 20. 25 L. FLORIDI, The Ethics of Information, Oxford University Press, Oxford, 2013. 30 PRIVACIDAD Existe una compleja intersección entre la privacidad, la protección de datos y la ética de la IA. En su reciente libro The Ethics of Privacy and Surveillance, Carissa Véliz propone una definición mixta de privacidad en la que se hibridan las dos teorías principales entorno a este concepto: de un lado, la teoría del acceso, según la cual, la cuestión de la privacidad consiste fundamentalmente, bien en la accesibilidad limitada, o bien en la inaccesibilidad a la información sensible (en este sentido, se entiende que perdemos privacidad cuando la información que afecta a nuestros datos personales es accesible para los demás; por otro lado, la teoría del control de privacidad centra su atención en la protección de nuestros datos personales ante la intromisión o injerencia de actores externos36. A propósito de la protección de datos, dentro del marco regulatorio europeo, en el artículo 5 del Reglamento General de Protección de Datos (RGPD)37 se establecen los principios relativos al tratamiento de los datos personales, entre los que cabe resaltar los requisitos de licitud, lealtad y transparencia en el tratamiento de datos (art. 5.1 a), además de los principios de finalidad (art. 5.1 b) y minimización de datos (art. 5.1 c)38. en M. MARTÍN CASALS-D. M. PAPAYANNIS, Uncertain Causation in Tort Law, Cambridge University Press, Cambridge, 2016, pp. 43-66. 36 C. VÉLIZ, The Ethics of Privacy and Surveillance, Oxford University Press, Oxford, 2024, pp. 74-75. 37 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016. 38 El tratamiento de datos se entenderá lícito si se cumple al menos alguna de las siguientes condiciones previstas en el art. 6 RGPD: a) Cuando el interesado ha dado su consentimiento para el tratamiento de sus datos personales para uno o varios fines específicos; b) cuando el tratamiento es necesario para la ejecución de un contrato en el que el interesado es parte o para la aplicación a petición de este de medidas precontractuales; c) cuando el tratamiento es necesario para el cumplimiento de una obligación legal aplicable al responsable del tratamiento; d) cuando el 31 SEGURIDAD Al igual que sucede con la interrelación entre el principio de responsabilidad y la protección de datos, también existe una interacción entre el principio de seguridad y la solidez de los sistemas de IA. En efecto, tanto en el apartado 1.4 de la lista de principios de la IA de la OCDE, como en el artículo 15 del Reglamento de Inteligencia Artificial, “solidez” es sinónimo de capacidad de resistir o superar condiciones adversas, incluidos los riesgos de la seguridad digital. Este principio establece además que los sistemas de IA no deben plantear riesgos que no sean razonables para la seguridad, incluida la seguridad física, en condiciones de uso normal o previsible o de uso indebido a lo largo de su ciclo de vida39. Hay dos maneras de mantener sistemas de IA sólidos, seguros y protegidos: en primer lugar, mediante su trazabilidad y posterior tratamiento es necesario para proteger intereses vitales del interesado o de otra persona física; e) cuando el tratamiento es necesario para el cumplimiento de una misión realizada en interés público o en el ejercicio de poderes públicos conferidos al responsable del tratamiento; f) cuando el tratamiento es necesario para la satisfacción de intereses legítimos perseguidos por el responsable del tratamiento o por un tercero, siempre que sobre dichos intereses no prevalezcan los intereses o los derechos y libertades fundamentales del interesado que requieran la protección de datos personales, en particular cuando el interesado sea un niño. Con respecto a los principios de limitación de finalidad y minimización de datos: el primero implica que los datos personales han de ser recogidos con fines determinados, explícitos y legítimos, y que no serán tratados ulteriormente de manera incompatible con dichos fines (a excepción de los fines de archivo en interés público, de investigación científica e histórica o estadísticos que, de conformidad con lo establecido en el art. 89. 1 RGPD, no se considerarán incompatibles con los fines iniciales); el segundo principio exige que los datos personales sean adecuados, pertinentes y limitados a lo necesario en relación con los fines para los que son tratados. 39 https://oecd.ai/en/dashboards/ai-principles/P8 32 análisis e indagación; y, en segundo lugar, aplicando un enfoque de gestión de riesgos. La trazabilidad puede ser útil para realizar el análisis y la investigación de los resultados de un sistema de IA y es una forma de promover la rendición de cuentas; además, puede ayudar también a prevenir futuros errores y a mejorar la fiabilidad del sistema de IA. En relación con el enfoque de gestión de riesgos, aplicado a lo largo de todo el ciclo de vida del sistema de IA, éste puede ser de gran utilidad para identificar, evaluar, priorizar y mitigar los riesgos potenciales que pueden afectar negativamente al comportamiento y los resultados de un sistema. A MODO DE CONCLUSIÓN: HACIA UNA METAÉTICA DE LA IA Como se ha podido comprobar, la ética de la IA es un tipo de ética aplicada a los negocios y la tecnología, pero no deja de ser un subconjunto de la Ética (con mayúsculas). La ética de la IA se ocupa de identificar y dar respuesta a las problemáticas morales que se derivan de la implantación y el uso de soluciones de IA. La autonomía, la justicia, la explicabilidad, la transparencia de los algoritmos, la equidad, la responsabilidad, la privacidad, la seguridad…, son algunas de las principales áreas de interés y preocupación por parte de expertos tecnólogos, filósofos y juristas, entre otros especialistas en la materia. Paradójicamente, a pesar de la importancia y la necesidad de la ética de la IA, ésta puede ser utilizada a veces de forma irresponsable o poco ética por algunas grandes empresas o compañías tecnológicas (un caso paradigmático es el de Timnit Gebru, a quien Google contrató en 2020 como codirectora de un grupo de investigación centrado en la IA ética, pero a la que despidió meses después por haber criticado los riesgos éticos de los modelos del lenguaje de la compañía para la que trabajaba). 33 En general, la tendencia actual de los gigantes tecnológicos (que responden al acrónimo GAFAM: Google, Amazon, Facebook, Apple y Microsoft) es la de ir reduciendo plantilla de sus equipos de ética de la IA (Elon Musk, por ejemplo, despidió a la mitad de los trabajadores de Twitter cuando, en octubre de 2022, adquirió esta red social, incluido su pequeño equipo de IA ética; otro caso revelador fue el de Microsoft, compañía tecnológica que, en marzo de 2023, cerró el equipo de “ética y sociedad” de su división de IA, entre otros motivos porque, según John Montgomery, uno de los vicepresidentes de la división de IA, el objetivo de la compañía era que los modelos conversacionales de OpenAI llegasen a los clientes a la mayor velocidad posible, sin reglas ni restricciones éticas que retrasasen su entrega). Frente a estos intentos de rentabilizar la ética para blanquear estrategias de mercado (ethics washing) con un aparente compromiso de buena praxis y respeto a los principios y las reglas éticas de la IA, pero que en realidad solo sirven para ocultar la intención de dirigir dichas estrategias al aumento de la competitividad de la empresa y a una mejora en su cuenta de resultados, sería oportuno recurrir a una ética de la ética de la IA (es decir, a una metaética de la IA que se centre en la fundamentación de los juicios normativos o de valor)40. Por eso, más que de una sola ética de la IA, tal vez lo apropiado sea hablar en plural, esto es, de éticas de la IA (la metaética de la IA y la ética aplicada al mundo de las empresas tecnológicas). Entre las principales teorías éticas en las que se basan los códigos morales que sirven para el diseño y el desarrollo de la IA y la robótica podrían destacarse, entre otras, el utilitarismo (Bentham, Mill), el deontologismo (Kant), la ética de la virtud (Aristóteles, Tomás de Aquino), la ética del contrato social (Locke, Rousseau, Rawls). Esta metafísica de la IA será objeto de estudio especializado en un trabajo posterior. 40 I. G. R. GALVILÁN, Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, Anaya, Madrid, 2021. 35 ÉTICA Y DERECHO EN LA NORMATIVA EUROPEA SOBRE INTELIGENCIA ARTIFICIAL Antonio Enrique Pérez Luño Profesor Emérito de la Universidad de Sevilla EL IMPACTO DE LA IA EN LA CULTURA ÉTICA Y JURÍDICA ACTUAL La expresión Inteligencia Artificial en adelante (IA), es utilizada asiduamente en los más diversos escenarios de la ciencia, la economía, la política la moral, la cultura y la experiencia jurídica del presente. Su significado no es siempre tan preciso como cuanto requiere la extensión de su uso. La noción de IA se halla acogida, en efecto, en los más diversos ámbitos de la investigación científica y tecnológica y forma parte de la opinión común de nuestro tiempo. Conviene, no obstante, recordar que la cultura clásica griega sostenía que, frente a la opinión común representada por la doxa, el filósofo debía hallarse dispuesto a indagar la paradoxa. Con ello, se pretendía aludir a la necesidad de profundizar en el significado de los términos, más allá de sus sentidos aparentes. Se entiende por IA aquel conjunto de actividades realizadas por los sistemas tecnológicos, que si fueran realizados por seres humanos se atribuirían a su inteligencia. Se trata de aquellos fenómenos en los que las máquinas efectúan la emulación de actividades humanas vinculadas con el ejercicio de la inteligencia, tales como jugar al ajedrez, conducir un aeroplano o un automóvil, o prescribir un dictamen médico. En el Reglamento (UE) 2024/1689, de 13 de junio. Que establece normas armonizadas en materia de inteligencia artificial se la define: “como un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede 36 mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales” (Art. 3.) La expresión “Inteligencia Artificial”, suscitó en sus inicios, algunas reservas, porque se estimaba que no tenía precisión ni fuerza denominativa para hacer referencia a la realidad que pretendía aludirse con esa terminología. Desde esas perspectivas críticas, se estimaba que la inteligencia era una cualidad tan consustancialmente humana, que predicarla de las máquinas, aunque se adjetivara con el vocablo “artificial”, resultaba inadecuada y proclive a crear confusión. En poco tiempo, esta denominación ha adquirido tal fuerza expansiva, que ahora carece de valor práctico cualquier tentativa dirigida a sustituirla o criticarla, sin que ello implique que determinadas reservas sobre su significación no se hallen justificadas. Un evento que puede considerarse iniciador de la reflexión sobre la denominación y las repercusiones jurídicas de la IA fue, en el año 1989, se celebró en la Universidad de Bolonia y consistió en el Congreso Mundial de Filosofía del Derecho, que tenía por objeto el estudio de las proyecciones de los Sistemas Expertos (SE) y la IA al Derecho. En los trabajos de quienes participamos en dicho evento se puso de relieve la disparidad de griteríos entre quienes se mostraban partidarios de que la proyección de las NT y las TIC al Derecho se realizara bajo la denominación de los SE y quienes, por el contrario, estimaban preferible optar por la expresión IA. En años sucesivos se ha impuesto esta última denominación que, sin duda, representa una apertura más ambiciosa hacia las proyecciones tecnológicas en el Derecho. Los SE se limitaban a propiciar la acumulación de datos jurídicos y a facilitar su recuperación ordenada y exhaustiva, mediante los adecuados sistemas de tratamiento automatizado de la información. La IA no solo se limita al almacenamiento y recuperación de datos, sino que permite ampliar cuanto conocemos de la realidad, facilita las formas de 37 comunicación, de trabajar en red y de compartir información. En un futuro, cada vez más inmediato será capaz de transformar los conocimientos y estrategia que utilizamos para las más diversas actividades y, en concreto, para las diversas formas de la realidad jurídica. Debe tenerse presente que la experiencia humana consiste en un acopio de datos e informaciones, en la memorización de los mismos y en el uso de ese acervo documental en los distintos ámbitos de la experiencia, es decir, en distintos momentos de la actividad vital de la persona. Esas operaciones, por analogía, se pueden predicar de los SE. Un sistema informático puede acumular una información y documentación muy superior a la capacidad de los seres humanos. Puede poseer una capacidad de memoria de dichos datos e informaciones perfectamente organizada y estructurada. Puede, asimismo, con una adecuada programación, utilizar los datos e informaciones archivados y memorizados en los más diversos ámbitos del mundo y de la vida y, por tanto, en distintos sectores de la experiencia jurídica. Esa proyección tecnológica se complica notablemente cuando su objeto es la inteligencia. Desde Aristóteles y, a partir de su enseñanza que irradia la entera evolución de la cultura occidental, la inteligencia entraña una doble dimensión: un aspecto lógico que se halla representado por el conocimiento y un aspecto teleológico que consiste en la dirección u orientación del conocimiento. La inteligencia humana es “consciencia”, conocimiento, pero es también “conciencia”, es decir, dirección hacia determinados fines del conocimiento. En todo caso, convendrá advertir que la pregunta sobre: ¿qué es la inteligencia? no admite respuestas simplistas o precipitadas. Exige, en primer término, dilucidar lo que se entiende por “inteligencia”, concepto que, en modo alguno, es constante y unívoco; por lo que conviene evitar el riesgo de hipostasiarlo y tratarlo como si fuese una entidad evidente 38 Descartada cualquier pretensión de exhaustividad, se pueden advertir en el seno de la cultura occidental tres grandes acepciones de la inteligencia: 1) Como inteligencia práctica:intellectus practicus (Aristóteles, Tomás de Aquino), praktische Vernunft (Kant), es decir, como virtud para discernir y actuar racionalmente que orienta la acción, los juicios de valor y la elección de las reglas de convivencia. 2) Como inteligencia o saber teórico, nous theoretikós (Aristóteles), ratio speculativa (Tomás de Aquino), o facultad cognoscitiva Erkenntnisvermögen (Kant, Hegel), que permite aprehender y representar formalmente la realidad, así como realizar cálculos y deducciones lógicas. 3) Como inteligencia o racionalidad instrumental, que alude a la idoneidad (eficacia) de los medios requeridos para la obtención de determinados fines, así como para dirigir procesos de adaptación y/o aprendizaje (Bergson, Köhler, Weber), en una acepción “neutra”, diferente de la noción peyorativa que identifica la inteligencia o razón instrumental (instrumentelle Vernunft) con los procesos discursivos dirigidos a posibilitar y legitimar el dominio de la naturaleza y la explotación de los hombres (Horkheimer). Estas dimensiones de la inteligencia permiten comprobar que en sus acepciones 2 y 3, o epistemológica y heurística, la noción de inteligencia puede ser predicable respecto a determinados tipos de software que reproducen procesos de conocimiento. Respecto a la inteligencia teórica o epistemológica los avances de la IA han permitido evidenciar la carencia de fundamento de aquellas concepciones lógicas y antropológicas basadas en la supuesta aptitud humana inimitable de deducción e inferencia silogística, desde el momento en que tal facultad ha sido ventajosamente superada por los ordenadores. Esto no implica que la inteligencia o el razonamiento humano hayan sido absorbidos o suplantados en su integridad por la IA, sino que la peculiaridad de esas facultades ya no puede cifrarse en su mera dimensión silogística. Más bien habrá 39 que referirla a su capacidad para imaginar, comprender, utilizar y valorar críticamente máquinas silogísticas. De modo análogo, en el plano de la inteligencia instrumental o heurística se ha superado el prejuicio que consideraba la facultad de aprendizaje como privativa de la especie humana, en la medida en que desde que, con la máquina de Turing en 1950, se pudo comprobar la capacidad de las máquinas para realizar tareas definidas y/o simular juegos. Especial atención merece la capacidad de los programas de la IA para orientar (corregir o perfeccionar) su propio funcionamiento, a partir de la autorregulación o retroacción (feedback), de informaciones elaboradas en su propio proceso operativo, lo que implica capacidad para auto calibrar su aproximación o alejamiento de los objetivos programados para su actividad. La evolución de las posibilidades operativas de la IA es, en principio, ilimitada máxime cuando se está experimentando con nuevas generaciones de ordenadores que: en el plano del hardware, pudieran llegar a sustituir el chip de silicio por el de carbono, lo que auspicia todo tipo de conjeturas sobre la aproximación del sistema operativo de los circuitos de la IA a los procesos de la mente humana; mientras que en el del software se abre paso la posibilidad de utilizar lógicas polivalentes, probabilistas o fuzzy, es decir, borrosas, capaces de operar con tablas de verdad vagas e imprecisas y con reglas de inferencia cuya validez es aproximada en lugar de exacta, como ocurre en la lógica formal. Existe un sector de la inteligencia, el 1 o práctico, que es el que afecta a la conciencia, que no pueden ser asumidas por la IA. Se trata de actividades y modos de preferencia (valoraciones) y elecciones de fines, que los seres humanos llevan a cabo a través de su estructura biológica y psicológica, pero esa estructura no opera en abstracto, sino en función de experiencias sociales y culturales. De cuanto hasta aquí se ha expuesto se infiere que la IA posee una potencialidad incuestionable en los diversos ámbitos del conocimiento, también para el conocimiento del Derecho (normas, jurisprudencia y doctrina), pero carece de conciencia. La IA representa 46 siguientes: la búsqueda de víctimas de secuestro trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas, la prevención de amenazas inminentes para la vida o la seguridad de las personas o de una amenaza real y previsible de un atentado terrorista, o la localización de una persona sospechosa de haber cometido un delito a fin de llevar a cabo una investigación o un enjuiciamiento penal o de ejecutar una sanción penal por delitos que en el Estado miembro de la UE se castigue con una pena superior a cuatro años. Esta amplia relación de prohibiciones sobre el empleo de la IA se halla directamente encaminada a garantizar los derechos y libertades de la ciudadanía y se hallan recogidas en el mencionado artículo 5.1.b-h, del Reglamento. En consonancia con la importancia que el nuevo Reglamento atribuye a la seguridad y a los derechos fundamentales, prohibiendo los usos contrarios a su plena vigencia, dedica su Capítulo III a la tipificación y regulación de los denominados “Sistemas de alto riesgo”. (arts. 6-49). Dichos sistemas vienen definidos como aquellos en los que se cumplen las dos condiciones siguientes: a) Que el sistema de IA esté destinado a ser utilizado como componente de seguridad de un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión. b) Que el producto del que el sistema de IA sea componente de seguridad o el propio sistema de IA como producto, deba someterse a una evaluación de la conformidad de terceros para su introducción en el mercado o puesta en servicio con arreglo a los actos legislativos de armonización previstos por la Unión No se considerará de alto riesgo cuando no plantee un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas, también al no influir sustancialmente en el resultado de la toma de decisiones. 47 Los sistemas de IA siempre se considerarán de alto riesgo cuando elaboren perfiles de personalidad. Para garantizar un funcionamiento seguro de los sistemas de IA el proveedor que considere que un sistema de IA no es de alto riesgo documentará su evaluación antes de que dicho sistema sea introducido en el mercado o puesto en servicio. La Comisión, previa consulta al Consejo Europeo de Inteligencia Artificial (en lo sucesivo, Consejo de IA), proporcionará directrices que especifiquen la aplicación práctica de esos artículos, Junto con una lista exhaustiva de ejemplos prácticos de casos de uso de sistemas de IA que sean de alto riesgo y que no sean de alto riesgo. En el ámbito tecnológico y, en particular, en la investigación y desarrollo de los sistemas de IA, resulta prácticamente inalcanzable la pretensión de exhaustividad. Los ejemplos que en la actualidad puedan relacionarse con pretensiones de exhaustividad pueden resultar insuficientes en un plazo muy breve. Por ello, el buen propósito del Reglamento no deja de parecer una pretensión ilusoria. La Comisión estará facultada para adaptar las condiciones a las aquí reseñadas cuando existan pruebas concretas y fiables de la existencia de sistemas de IA, que no planteen un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas. (art. 6). El principio referente a la garantía de la privacidad y los datos personales ha hallado especial atención en la actividad normativa de la UE. Deben recordarse, como principales textos relativos a la defensa del derecho fundamental a la protección de los datos personales está garantizado, en particular, por los Reglamentos (UE) 2016/679 y (UE) 2018/1725 del Parlamento Europeo y del Consejo y la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo. Además, la Directiva 2002/58/CE del Parlamento Europeo y del Consejo protege la vida privada y la confidencialidad de las comunicaciones. El actual Reglamento sobre la IA no pretende modificar el Derecho vigente de la UE que regula el tratamiento de datos personales, incluidas las funciones y competencias de las 48 autoridades de supervisión independientes competentes para vigilar el cumplimiento de dichos instrumentos. Por este motivo deben considerarse plenamente vigentes el conjunto de derechos y garantías relativos a la intimidad y a los datos personales de acuerdo con cuanto se dispone en el ordenamiento jurídico de la UE, incluidos los derechos relacionados con las decisiones individuales totalmente automatizadas, como la elaboración de perfiles. En definitiva, el nuevo Reglamento pretende armonizar el uso de los sistemas de IA con los derechos y otras vías de recurso de los interesados garantizados por el Derecho de la Unión en materia de protección de datos personales, así como de otros derechos fundamentales. No huelga advertir que para su eficaz y completa garantía el derecho a la intimidad y a la protección de datos personales deberá extenderse a lo largo de todo el ciclo de vida del sistema de IA. A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto, establecidos en el Derecho de la Unión en materia de protección de datos, son aplicables cuando se trata de datos personales. Reviste notable protagonismo la garantía del principio de transparencia, en el articulado del nuevo Reglamento de la IA. Su referencia se halla diseminada a lo largo de distintos momentos de su articulado que, en cierto modo, desarrollan y concretan el texto del artículo 13, en el que se dispone: “1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de un modo que se garantice que funcionan con un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente sus resultados de salida. Se garantizará un tipo y un nivel de transparencia adecuados para que el proveedor y el responsable del despliegue cumplan las obligaciones pertinentes”. El principio de transparencia tiene especial relevancia en distintos momentos de la vida jurídica así, cuando los sistemas de IA no sean 49 lo suficientemente transparentes y explicables ni estén suficientemente bien documentados, podrían impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia. Por tal motivo, aunque él uso de los sistemas de IA esté permitido conforme al Derecho de la UE y nacional pertinente, procede clasificar como de alto riesgo los sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar unas vías de recurso efectivas. Los principios fundamentales que deben inspirar y regular los distintos usos de la IA, así como su desarrollo normativo en el Reglamento, suponen un marco de referencia de obligado cumplimiento para las distintas proyecciones de esta nueva tecnología en los diversos ámbitos económicos, científicos y, especialmente relevantes en todo lo que atañe a un uso de la IA que sea plenamente respetuoso con la protección de los derechos fundamentales, del Estado de Derecho y de la preservación del medio ambiente. El ejemplo europeo constituye una pauta que debiera tener puntual reflejo a escala internacional. La sociedad global y digital que habitamos impone que no deban existir graves desigualdades y diferencias en la aplicación universal de estos principios y normas fundamentales para un uso correcto de la IA. Tiene especial importancia, para la protección de los derechos y libertades cívicos, el sistema de garantías procesales establecidas en el artículo 13 del Reglamento. En dicha norma se establece que a tenor de la naturaleza de las actividades y de los riesgos conexos, con el uso de los sistemas de IA de alto riesgo debe prestarse atención especial a aquellos sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras. Se trata, con ello, de evaluar el riesgo de que una persona física sea víctima de delitos, como los 50 polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas. El Reglamento de la UE pone especial énfasis en garantizar a los ciudadanos europeos que la IA no podrá ser utilizada por las autoridades policiales de forma que afecte directamente a sus garantías procesales y penales, ante el riesgo de que los sistemas de IA incontrolados puedan crear pruebas falsas o afectar a las condiciones para el ejercicio de una legítima defensa por parte de las personas investigadas. CONCLUSIÓN: EL GARANTISMO JURÍDICO EUROPEO ANTE LOS DESARROLLOS DE LA IA A partir del desarrollo de las Nuevas Tecnologías (NT) y, en particular de la IA, las sociedades avanzadas europeas experimentaron un constante afán de renovación en su economía, así como en los principales aspectos de su vida social y cultural. Para la sociedad digital, no solo el conocimiento aparece como una realidad infinita pero alcanzable, sino que esta creencia se manifiesta en todos los 51 órdenes de la realidad. Se ha difundido la convicción de que no existen fronteras para el conocimiento. El deseo de un avance permanente se ha traducido en un cierto clima de disconformidad con lo ya conseguido, porque se presume siempre que se pueden conseguir logros y avances tecnológicos de mayor alcance. La IA constituye hoy un signo caracterizador de las sociedades europeas avanzadas de nuestro tiempo, de modo que no es posible abordar cualquiera de sus problemas sin que la economía, la ética, la cultura y el Derecho se vean afectados. La IA que aparecía en sus inicios como un factor decisivo para la solución de los más diversos problemas de las sociedades digitales, se ha convertido ella misma en un problema. Se ha hecho problemática en la medida en que muchas de sus aplicaciones pueden afectar directamente a la garantía de los derechos y libertades. La normativa europea sobre IA tiene como finalidad básica establecer un equilibrio responsable entre los avances de la IA, que no pueden ser interrumpidos o dificultados y la seguridad de que tales desarrollos no puedan ser conseguidos a costa de la limitación o menos cabo de los derechos fundamentales. Es necesario reiterar en este punto que la buena disposición del legislador europeo por llevar a cabo un minucioso elenco de todas aquellas circunstancias que pueden afectar a la libertad se ve condicionado por los propios avances de la IA, al crear continuamente situaciones nuevas que no podían haber sido previstas por el legislador. En este ámbito la prolijidad normativa en la tipificación de situaciones de riesgo no siempre resulta la más adecuada y, en ocasiones como sucede con la dinámica de la IA, en tantos aspectos imprevisible. Por ello, parece más adecuado optar por una legislación más flexible que permita a la judicatura adaptar las normas a las circunstancias cambiantes. De este modo, a través de una legislación de tipos más abiertos, se evita que las lagunas legislativas puedan causar situaciones de indefensión para los ciudadanos afectados en sus derechos y libertades. 52 En cualquier caso, la razonable y necesaria actitud de previsión de los riesgos que se derivan de una aplicación masiva de la IA no debe confundirse con una posición abiertamente contraria a su desarrollo. En la actualidad cualquier avance en la economía, la cultura y el Derecho precisa de los aportes tecnológicos que propicia la IA, la masa de datos que es necesario manejar en cualquiera de esas actividades, requiere de los correspondientes programas tecnológicos adecuados para su almacenamiento, ordenación y recuperación. El Big Data y los algoritmos son hoy instrumentos necesarios para la consecución de las finalidades prácticas de las más diversas actividades humanas. Por este motivo, no parece razonable la postura de quienes se sitúan frontalmente contra cualquier utilización de la IA. Muchas de esas actitudes incurren en la mera fraseología o en una beatería intelectual que pretende ignorar que, desde sus inicios todas las civilizaciones han tenido que recurrir a un determinado tipo de avances técnicos. Lo que es preciso es suscitar en la inteligencia humana, en la ética y en el Derecho una capacidad que se halle en condiciones de utilizar responsablemente los avances de la IA sin poner en peligro la libertad. Al final de la segunda parte de Fausto Wolfgang Goethe nos indica cual es la última palabra del saber y la responsabilidad humanas: “que solo merece la libertad y la vida quien cada día se esfuerza en conquistarlas”. Esta máxima debiera ser tenida en cuenta por el legislador de la UE para una constante regulación normativa de los avances de la IA, afín de que ésta lejos de ser un riesgo se convierta en un medio tecnológico al servicio de la libertad y la vida en las sociedades digitales de Europa. 53 INNOVACIÓN, ÉTICA Y DERECHO (REFERENCIA A INTELIGENCIA ARTIFICIAL Y DATOS PERSONALES) Felipe Rotondo Profesor de Derecho Administrativo en posgrado en las principales universidades de Uruguay INNOVACIÓN: SU INCIDENCIA La innovación resulta de la creatividad humana, la ciencia y la tecnología, con el necesario sustento económico; da lugar a nuevas técnicas, prácticas e instrumentos, los que, a su vez, habilitan conductas disruptivas o que, al menos, alteran el statu quo. Así existen las tecnologías relativas a Internet de los cuerpos y ya antes de las cosas, big data, analítica, sensores, fusión de dispositivos mecánicos y digitales, robots inteligentes, drones, etc. La aplicación de la inteligencia artificial (IA) nos permite tener asistentes virtuales en nuestros celulares, algoritmos en las redes sociales que muestran la información, autos sin conductor, programas que aprenden de nuestras acciones para recomendarnos música, películas o bienes de consumo en tienda online, traductores en tiempo real, sistemas que detectan de forma temprana enfermedades o riesgos sanitarios, etc. La innovación ha transformado nuestra vida con una posible mayor cercanía entre personas la cual no siempre implica una real relación interpersonal, la obtención de informaciones de todo tipo, el contar con nuevas formas de actuación empresarial, una mejor atención de salud, etc. También posee implicancias negativas como habilitar discriminaciones y manipulación de personas lo que se agrava por motivos de asimetría informativa, sistemas que concentran información, poder 54 e ingresos, basándose en el uso de grandes volúmenes de datos personales, con el riesgo esencial de que estos se traten como conjunto de bienes de capital bajo una especie de imperativo tecnológico. Las redes sociales, por su parte, habilitan el desarrollo de la individualidad y la universalidad, pero también discursos de odio, explotación de seres humanos, etc. Hoy todo es (o se nomina como) “inteligente”, ciudades, edificios, teléfonos, cualquier objeto en relación con sistemas de información. Pero la cuestión es que sean ética y jurídicamente correctos, “inteligentes” socialmente, que no sirvan o utilicen para lesionar a las personas; además, al configurarse una superación de fronteras geográficas y de gobiernos, se hace difícil la aplicación de la normativa jurídica la cual, por otra parte, suele aparecer tardíamente. RELACIÓN CON LA ÉTICA Y EL DERECHO La innovación no puede separase de la ética y de los principios del sistema jurídico que en ella se fundamentan. La cuestión es que “El desarrollo tecnológico puede alentar la idea de la autosuficiencia de la técnica, cuando el hombre se pregunta solo por el cómo, en vez de considerar los porqués que lo impulsan a actuar. Por eso, la técnica tiene un rostro ambiguo (…). La clave del desarrollo está en una inteligencia capaz de entender la técnica y de captar el significado plenamente humano del quehacer del hombre, según el horizonte de sentido de la persona considerada en la globalidad de su ser: necesidad de un uso ético y responsable de la técnica”1. En toda materia la ética dice relación con los sustentos básicos de los deberes/derechos que rigen la conducta de las personas; ella tiene por objeto la moralidad como cualidad de los actos humanos 1 Benedicto XVI. Carta Encíclica Caritas in veritatis. Paulinas. Buenos Aires 2009, Nº 70, págs.133-134. 55 libres, relacionándose con las virtudes, hábitos operativos buenos con los cuales se actúa responsablemente, se responde a lo que se debe. Tales virtudes son clave en la ética y en el propio Derecho; es así que la Constitución uruguaya, art. 8º, establece que “Todas las personas son iguales ante la ley no reconociéndose otra distinción sino la de los talentos y las virtudes”. Por esencia la ética no es un tema de moda aunque esté en el tapete por los cambios de valores y, en el caso de las tecnologías, por los riesgos sobre la dignidad de las personas. Esta dignidad se debe a que la persona es una unidad y una totalidad en sí misma, punto de interacción de lo físico, psíquico y espiritual que la hace un fin en sí, pudiendo apartarse de lo sicofísico y trascender, ser profunda y finalmente responsable2; su proyección en el ordenamiento jurídico es la de un “derecho fundamental y principio general del Derecho”, “fundamento del ordenamiento, y, precisamente por ello, informador de todas las normas y orientador de la libre interpretación de todas y cada una de ellas (...). Es norma de conducta y límite de los derechos”3. La dignidad humana y los derechos fundamentales que le son propios no los crea la normativa jurídica la cual los reconoce y prevé instrumentos para garantizar su efectividad4. 2 Cfe. Víktor E. Frankl. La voluntad de sentido. Conferencias escogidas sobre logoterapia. 4a. Ed. Herder-2002. https://juliancastror.wordpress.com/wp-content/uploads/2016/08/10tesis-sobre-la-persona.pdf 3 Jesús González Pérez. La dignidad de la persona yel Derecho Administrativo. AB&C Revista de Direito Administrativo&Constitucional. Nº 29. Belo Horizonte, Brasil, 2011, pp. 11 y ss. 4 En ese sentido la Constitución uruguaya establecen que “Los habitantes de la República tienen derecho a ser protegidos en el goce de su vida, honor, libertad, seguridad, trabajo y propiedad. Nadie puede ser privado de estos derechos, sino conforme a las leyes que se establecieren 62 responsabilidad proactiva para asegurar el respeto efectivo de derechos y el cumplimiento de obligaciones, constituyéndose en la forma de actuar por defecto, en una actitud preventiva que preserve el debido tratamiento de los datos, la realización de evaluaciones de impacto y contar con medios que permitan acreditar el cumplimiento. Se sostiene así una perspectiva que se inscribe en la interrelación con otros principios (veracidad, finalidad, reserva, etc.). poniéndose en juego criterios de proporcionalidad y, por tanto, juicios de idoneidad, necesidad y ponderación, todo lo cual contribuye a que las personas se empoderen en el control de sus datos. Esto importa ya que los comportamientos éticos no afloran fácilmente de modo espontáneo por lo que resulta menester acudir a la institucionalización por diversas vías, sea la heterorregulación como la incorporación a códigos de conducta entre responsables y encargados de tratamiento, propios de una autorregulación efectiva y controlada a nivel social y, en lo que corresponda, por el sector público como encargado del bien común. EN LA LÍNEA INDICADA PUEDEN VERSE DOCUMENTOS DE DIVERSA NATURALEZA, ENTRE ELLOS SE CITAN LOS SIGUIENTES: ÁMBITO INTERNACIONAL DICTAMEN 4/015 DE 11-10-2015 “HACIA UNA NUEVA ÉTICA DIGITAL”, DEL SUPERVISOR EUROPEO DE PROTECCIÓN DE DATOS. Con base en la Carta europea de los Derechos Fundamentales, afirma que “la tecnología no debe dictar los valores y los derechos ni la relación entre ambos debería reducirse a una falsa dicotomía” así como que “en el entorno digital actual, no basta respetar la ley sino que tenemos que considerar la dimensión ética del tratamiento de datos (..)”. 63 REGLAMENTO (UE) 2016/679 DEL PARLAMENTO EUROPEO Y DEL CONSEJO ANTES CITADO En su 2º “Considerando” expresa, entre otros aspectos que “los principios y normas” sobre protección de datos “deben” “respetar (las) libertades y derechos fundamentales”, sin perjuicio de contribuir, a la vez, “a la plena realización de un espacio de libertad, seguridad y justicia y de una unión económica (…), así como al bienestar de las personas físicas”; en el 4º, que “El tratamiento de datos personales debe estar concebido para servir a la humanidad. El derecho a la protección de los datos personales no es un derecho absoluto sino que debe considerarse en relación con su función en la sociedad y mantener el equilibrio con otros derechos fundamentales, con arreglo al principio de proporcionalidad”. DECLARACIÓN DE LA 40ª CONFERENCIA INTERNACIONAL DE AUTORIDADES DE PROTECCIÓN DE DATOS, BRUSELAS 2018 Afirma que “cualquier creación, desarrollo y uso de sistemas de IA deben respetar los derechos humanos, particularmente los derechos a la protección y privacidad de los datos personales, así como a la dignidad humana, la no discriminación, y los demás valores fundamentales. Estas creaciones deben además proveer soluciones para permitirle a los individuos mantener control y entendimiento sobre los sistemas de Inteligencia Artificial”. Precisa que el derecho del titular de los datos a objetar tecnologías que influyan en su desarrollo personal requiere que se le asegure “no estar sujeto a un modelo de toma de decisiones basado única y exclusivamente en procesamiento automático de datos, en especial si este significativamente los afecta, donde no sea aplicable, se debe garantizar los derechos del individuo a apelar la decisión”.  64 RECOMENDACIONES GENERALES PARA EL TRATAMIENTO DE DATOS EN LA INTELIGENCIA ARTIFICIAL DE LA RED IBEROAMERICANA DE PROTECCIÓN DE DATOS, JUNIO-2019 Entre otras, se tiene las siguientes: 1. cumplir la normativa local de protección de datos personales; 2. efectuar estudios de impacto de privacidad, previo al diseño y desarrollo de productos de IA y si es probable que entrañen un alto riesgo, efectuar evaluación de impacto para poner en funciones un sistema de manejo de riesgos y controles internos; 3. incorporar la privacidad, la ética y la seguridad desde el diseño y por defecto, lo que “debe irradiar el esquema, desarrollo y uso de los productos o procesos de inteligencia artificial. debiendo ser parte del ADN de cualquier aspecto relacionado con la inteligencia artificial”; 4. diseñar esquemas apropiados de gobernanza acorde a las funciones de la organización mediante: a) evaluaciones y manejo de riesgos; b) fijación de modelos de toma de decisión; c) actividades de monitoreo; d) revisión de los canales de comunicación con usuarios y consumidores; 5. adoptar medidas para garantizar los principios sobre el tratamiento de datos personales y respetar los derechos de los titulares de los datos; 6. asegurar la calidad de los datos con acciones ante el riesgo de sesgos: a) llevar un registro de su procedencia; b) realizar auditorías de los sets de datos utilizados en la creación de algoritmos que ayuden a descubrir y corregir errores; c) otorgar puntajes de veracidad a los sets utilizados para entrenar la máquina; d) actualizar los datos regularmente; e) tener set de datos separados para entrenar, probar y validar la toma de decisiones; 7. utilizar herramientas de anonimización; 8. incrementar confianza y transparencia y, entonces, mantener canales abiertos de comunicación y divulgación del uso de los datos personales en los procesos o productos de la inteligencia artificial, en términos claros y completos; efectuar pruebas piloto para evaluar la toma de decisiones, establecer vías de revisión humana para ratificar o rectificar esas decisiones. 65 ORIENTACIONES ESPECÍFICAS DE LA RED IBEROAMERICANA DE PROTECCIÓN DE DATOS PERSONALES PARA EL CUMPLIMIENTO DE LOS PRINCIPIOS Y DERECHOS QUE REGULA ESA PROTECCIÓN EN LOS PROYECTOS DE INTELIGENCIA ARTIFICIAL, 2019-2020 Expresan, entre otros aspectos, que procede: “Establecer un sistema de monitoreo constante del modelo de IA con la finalidad de identificar la existencia de sesgos y en la medida de lo posible implementar una gestión de riesgos. Como producto final del sistema de monitoreo se deberán generar reportes y estadísticas que permitan al responsable analizar los resultados”; “tener en cuenta que la interconexión de diferentes tipos de datos personales puede revelar información confidencial sobre los individuos”; “reducir y/o mitigar los prejuicios o discriminaciones que pudieran resultar de la utilización de datos en la IA, priorizando el respeto a los instrumentos internacionales de derechos humanos y no-discriminación”. Conforme al principio de transparencia, corresponde hacer saber al titular de los datos, que se utilizarán procesos de automatización, las características principales del tratamiento, y “la forma en cómo las decisiones automatizadas puede afectarlos y, en su caso, solicitar intervención humana, con el objetivo de que puedan tomar una decisión informada respecto a si consiente o no el tratamiento”. “El uso de IA reta a los responsables a ser tan innovadores en esta área como lo son al usar análisis, y a encontrar nuevas formas de transmitir información de manera concisa”. “Existen varios enfoques innovadores para proporcionar avisos de privacidad, incluido el uso de videos, caricaturas e íconos estandarizados. El uso de una combinación de enfoques puede ayudar a que la información compleja sobre IA sea más fácil de comprender para los titulares de los datos personales. Identificar y definir los términos comúnmente utilizados y crear una base de datos para que puedan ser reutilizados en diferentes contextos, con iconos estándar para dar a conocer información(…)”. 66 PRINCIPIOS DE LA OEA EN MATERIA DE PROTECCIÓN DE DATOS17 Al tratar el de “Responsabilidad” afirman que “Los sistemas de protección de la privacidad deberían reflejar un equilibrio apropiado entre la reglamentación gubernamental y la implementación ética y efectiva por aquellos que tienen responsabilidad directa por la recopilación, procesamiento, uso, retención y difusión de Datos Personales”; denomina a dichos responsables “gerentes de Datos”, los que, dice, deberían actuar en calidad de “buen custodio” de los datos que se les proporcione o confíe. RECOMENDACIÓN SOBRE LA ÉTICA DE LA IA - UNESCO (2021) Trata la cuestión “como una reflexión normativa sistemática, basada en un marco integral, global, multicultural y evolutivo de valores, principios y acciones interdependientes, que puede guiar a las sociedades a la hora de afrontar de manera responsable los efectos conocidos y desconocidos de las tecnologías de la IA en los seres humanos, las sociedades y el medio ambiente y los ecosistemas, (...). Considera la ética como una base dinámica para la evaluación y la orientación normativas de las tecnologías de la IA, tomando como referencia la dignidad humana, el bienestar y la prevención de daños y apoyándose en la ética de la ciencia y la tecnología”. CARTA IBEROAMERICANA DE PRINCIPIOS Y DERECHOS EN LOS ENTORNOS DIGITALES-XXVIII CUMBRE DE JEFES DE ESTADO Y DE GOBIERNO-2023 Parte de la base de la centralidad de la persona, la que debe “verse protegida(s) en los entornos digitales como sujetos de derechos y deberes”, fijando el compromiso de “fomentar condiciones estructurales, prácticas, herramientas y marcos jurídicos que promuevan 17 Aprobada por la Asamblea General en el 51 período ordinario de de sesiones, 10-12 de noviembre de 2021. 67 el acceso universal, equitativo y asequible a la infraestructura y los servicios de las TIC, sin discriminación de tipo alguno”. También a “traducir las nuevas realidades digitales en una ampliación del campo de los derechos de las personas y el cumplimiento de sus deberes en los entornos digitales” (ap.1). Asimismo refiere a la pertinencia de “esfuerzos relevantes para garantizar que la privacidad de las personas y el procesamiento de sus datos personales estén protegidos en entornos digitales, respetando las legislaciones nacionales en la materia” (ap. 3). DECLARACIÓN DE PRINCIPIOS Y DERECHOS DIGITALES DE LA UE (2023/C 23/01) Expresa que la IA es un instrumento al servicio de las personas cuyo fin último es incrementar el bienestar humano, por lo que los sistemas deben ser seguros, éticos y fiables, respetando los derechos fundamentales en todas las fases de su creación, desarrollo e implementación. DIRECTRICES DE UNESCO PARA LA GOBERNANZA DE LAS PLATAFORMAS DIGITALES-2023 Expresa que todas los interesados comparten la responsabilidad de mantener un “entorno propicio” “para la libertad de expresión, el acceso a la información y otros derechos humanos, garantizando al mismo tiempo que exista un entorno abierto, seguro y protegido para las personas usuarias y no usuarias de las plataformas digitales”. Precisa que la creación de ese entorno “no es simplemente una cuestión de ingeniería” sino “un empeño que exige el compromiso de la sociedad en su conjunto (…)” (ap. 22 y 23). Por su parte, en el ap. 26 ‘g’, refiere al deber de los Estados de “garantizar los derechos de las personas usuarias de plataformas digitales a la libertad de expresión, el acceso a la información, la igualdad y la no discriminación, así como proteger los derechos de las personas usuarias 68 a la privacidad, protección de datos, asociación y participación pública”. REGLAMENTO EUROPEO DE INTELIGENCIA ARTIFICIAL18 Se destacan los siguientes “Considerandos”: a) 10: “el derecho fundamental a la protección de los datos personales está garantizado” por la normativa específica y la concerniente a la protección de la vida privada y la confidencialidad de las comunicaciones. También que con el Reglamento no se “afecta a las obligaciones de los proveedores y los responsables del despliegue de sistemas de IA en su papel de responsables o encargados del tratamiento de datos derivadas del Derecho de la Unión o nacional en materia de protección de datos personales en la medida en que el diseño, el desarrollo o el uso de sistemas de IA impliquen el tratamiento de datos personales”; b) 27, señala que si bien el enfoque basado en el riesgo es la base de un conjunto proporcionado y eficaz de normas vinculantes, es importante recordar las Directrices éticas para una inteligencia artificial fiable de 2019, en las cuales destacan siete principios: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad; bienestar social y ambiental, y rendición de cuentas. b) 48, refiere a que “La magnitud de las consecuencias adversas de un sistema de inteligencia artificial para los derechos fundamentales protegidos por la Carta es especialmente importante a la hora de clasificar un sistema de IA como de alto riesgo” y, que entre 18 Resolución legislativa del Parlamento Europeo, de 13-III-2024 sobre propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión COM(2021)0206 – C9-0146/2021 –2021/0106(COD) 69 dichos derechos, están el de protección de datos de carácter personal y a una buena administración. c) 58, según el cual el Reglamento “no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración, que podrían beneficiarse de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas”19. ÁMBITO NACIONAL URUGUAYO DECRETO Nº 134/021 DE 4-V-2021 QUE APROBÓ LA “AGENDA URUGUAY DIGITAL 2025” Señala en su parte expositiva “la necesidad de dar continuidad a la transformación digital” “mediante el fortalecimiento de las políticas digitales, la transparencia pública, la eficiencia en la gestión y el uso en igualdad de oportunidades de las tecnologías de la información (…)”. Incluye doce objetivos con sus respectivas metas; así: VI (“Datos como activo”): “Optimizar el uso intensivo de datos e información como factor clave para una toma de decisiones eficaz y una gestión pública eficiente, contemplando aspectos de ética, privacidad, responsabilidad, transparencia y no discriminación”; XI (“Gobierno como plataforma”), que consiste en “habilitar la integración, intercambio y consumo optimizado de servicios y datos, por parte del sector público y privado, en un entorno seguro y controlado”. Comprende las metas de adaptar la normativa para acompasar los avances tecnológicos, “priorizando las mejoras en los procedimientos administrativos dentro de las entidades públicas y en la interacción con las personas, los mecanismos para el intercambio de información (…) y la gestión de emprendimientos en el ámbito digital” 19No se ingresa al examen de la parte dispositiva, destacándose en materia de protección de datos personales, entre otros, los arts. 10.5 y 59. 70 así como enfatizar en aspectos como la protección de datos, la seguridad, la transparencia y lo relativo a ciberdelitos. LEY Nº 20.212 DE 6-11-2023 Su art. 74 asigna a la Agencia para el Desarrollo del Gobierno de Gestión Electrónica y la Sociedad de la Información y el Conocimiento (AGESIC) el diseño y desarrollo de una Estrategia nacional de datos e inteligencia artificial, basada en estándares internacionales, en los ámbitos público y privado, la cual “deberá fundarse en principios de equidad, no discriminación, responsabilidad, rendición de cuentas, transparencia, auditoría e innovación segura, respetando la dignidad humana, el sistema democrático y la forma republicana de gobierno. Los principios de la protección de datos” incluidos en la de protección de datos personales, “serán parte de la citada Estrategia”. ESTRATEGIA DE INTELIGENCIA ARTIFICIAL DE URUGUAY2024 Entre otros aspectos, señala que “La colaboración continua entre el Estado, la academia, la sociedad civil y el sector privado será crucial para enfrentar los desafíos futuros y aprovechar las oportunidades que la IA ofrece, siempre con un enfoque ético y respetuoso de los derechos humanos”. Por lo mismo, los actores de la IA deben asegurar que, cuando sus sistemas se utilicen para tomar o apoyar la toma de decisiones, siempre haya una supervisión humana sobre los resultados, siendo pertinente considerar las caracteres que debe tener esa supervisión fundamentalmente en los sistemas de alto riesgo; es “un reto establecer controles sobre los datos y los sistemas, pero al igual que con los procesos automatizados utilizados antes del surgimiento de esta tecnología, es imperativo supervisar los resultados y asegurar su fiabilidad antes de tomar decisiones con base en ellos”. 71 La protección y el respeto por la privacidad de los datos personales deben asegurarse desde el diseño y en todas las fases del ciclo de vida de los sistemas de IA. ANOTACIONES FINALES Frente a posiciones antagónicas, unas apocalípticas y otras integradas de cara a las nuevas tecnologías, corresponde apelar a la responsabilidad entendida como actitud reflexiva y crítica de los nuevos problemas que suscitan la ciencia y la tecnología, y ante los que ni la democracia, ni la ciencia, ni el derecho ni las humanidades pueden permanecer impasibles, sobre todo por su repercusión en el alcance y ejercicio de los derechos humanos20. Se está, pues, en un campo fértil para la autorregulación en línea que complemente y asegure la regulación pública. En suma, nuevas tecnologías sí pero ¿cómo? y ¿para qué?, respuestas en la cual la visión debe ir del brazo de la normativa jurídica y la ética. 20 Pérez Luño, Antonio E. Los derechos humanos en la sociedad tecnológica. Ed. Universitaria. Madrid, 2012, pp. 42-43. 78 elegir libremente de las personas de maneras de las que estas no son realmente conscientes de dichas técnicas o, cuando lo son, pueden seguir siendo engañadas o no pueden controlarlas u oponerles resistencia». Dentro del contexto español, en relación con el impacto de las nuevas tecnologías en los derechos de las personas, se ha regulado el tratamiento de macrodatos de carácter personal en la Ley Orgánica 3/2018 de Protección de Datos Personales y garantía de los derechos digitales, en la que en su preámbulo ya augura que «una deseable futura reforma de la Constitución debería incluir entre sus prioridades la actualización de la Constitución a la era digital y, específicamente, elevar a rango constitucional una nueva generación de derechos digitales». Por su parte, la Carta de Derechos Digitales, dentro de su apartado XXV, hace referencia expresa al reconocimiento de una relación de derechos digitales ante el entorno de la IA, en el que establece que se debe asegurar «un enfoque centrado en la persona y su inalienable dignidad». Resulta, por tanto, necesario que frente a los usos perniciosos de la IA y el Big Data deban arbitrarse nuevas y actualizadas directrices, legislaciones y mecanismos suficientes para proteger los derechos fundamentales de las personas, y de forma especial, la privacidad, la autonomía y los posibles riesgos de discriminación. De cara a la protección de los derechos fundamentales resulta importante distinguir a los posibles titulares o poseedores de esos datos: si la regulación se dirige al poder público, deberán entrar en juego principios como los de responsabilidad de las administraciones, el principio de legalidad o la prevalencia del interés público; si, en cambio, son las empresas privadas las destinatarias de la regulación, regirán, entre otros, el principio de libertad de empresa y otros tipos de intereses a tener en cuenta. En todo caso, lo que parece fuera de toda duda es que la necesidad de una regulación robusta se hace perentoria. 79 En este sentido, parte de la doctrina defiende la idea de que resultaría lógico buscar, en base a la legislación ya existente, una regulación específica para la protección de los derechos y deberes fundamentales aquí afectados. Pero también se entiende, por otro sector doctrinal, que los cambios sociales que conlleva la irrupción de la IA y el Big Data pueden llevar a replantear algunos de estos derechos para adaptarlos a esta nueva realidad o incluso crear nuevas categorías de derechos, los llamados neuro-derechos y los derechos digitales. Parece así emerger una nueva generación de derechos cuyo objetivo principal consistiría «en la corrección de los problemas y perjuicios causados a la ciudadanía debido a la falta de una regulación apropiada capaz de establecer un marco jurídico específico para el uso, el despliegue y el desarrollo de las tecnologías digitales e Internet, la IA, la robótica y las tecnologías conexas» (Llano Alonso, 2024: 55); se trata de los derechos digitales, unos derechos articulados sobre «un soporte virtual, no analógico, donde el cuerpo se volatiliza para dar paso a una estructura distinta de derechos que han de buscar la seguridad de la persona sobre el tratamiento de los datos y la arquitectura matemática de los algoritmos» (Barrio Andrés, 2021: 209). La doctrina iusfilosófica se halla dividida acerca del reconocimiento de los derechos digitales como una auténtica categoría nueva de derechos humanos. Los autores y autoras favorables al reconocimiento de la dimensión ético-jurídica de los derechos digitales y su incorporación al interior de los ordenamientos jurídicos, cuentan a su favor con un incipiente marco legal –softlaw regional, en la mayoría de las ocasiones– que «ya» ha abordado y regulado la cuestión de los derechos digitales. Esto es un dato fáctico, empírico. No me detengo en estas posturas porque mi planteamiento se mueve, más bien, en el ámbito normativo, en el deber ser, y desde él, creo que merece la pena seguir reflexionando sobre el fundamento de ese reconocimiento de derechos. 80 Mucho me temo que los derechos humanos, para ser protegidos de forma firme y sólida, han de ser pocos. Me muestro proclive a considerar que el sobredimensionamiento o la sobrecarga de derechos va en desmedro de las garantías de su protección. La fuerza normativa de los derechos humanos se banaliza cuando todo es convertible en un derecho humano. Desde luego que estamos ante preocupaciones muy justificadas que envuelven problemas, necesidades y exigencias (de privacidad, seguridad, protección…) muy importantes, ya que plantean retos y desafíos que deben abordarse urgentemente por la teoría general del Derecho. Pero no está tan claro, a mi modo de ver, que la respuesta pase necesariamente por categorizar tales derechos digitales como derechos humanos. Hablar de derechos digitales es utilizar un lenguaje figurado, aplicable a otras nociones que, respondiendo a loables pretensiones éticas, son en cambio distintas a los derechos humanos. Bien apuntó Haarscher las consecuencias peligrosas que pueden derivar de la «banalización por inversión» cuando se llega a inundar de invocaciones a los derechos humanos lo que no son más que vacuas proclamas demagógicas: «al concederles inmediatamente el estatus de derechos humanos en sentido fuerte, se corre el riesgo de producir el efecto habitual de la banalización por inversión: en lugar de que los “nuevos” derechos amplíen el alcance de los antiguos (en definitiva, que los refuercen), es la precariedad de su estatus lo que hace correr el riesgo de afectar a los derechos de las primeras generaciones; poco a poco nos acostumbraremos a que los derechos humanos en general no sean más que una vaga reivindicación moralizante» (Haarscher, 1989: 44). También aquí surgen con fuerza algunas dudas que estas tecnologías plantean por el riesgo que entrañan para el ejercicio de los derechos fundamentales. Debemos destacar el peligro de que se creen brechas sociales, políticas y económicas entre aquellos que saben utilizar los datos y aquellos que no tienen acceso a ellos (por ejemplo, personas de avanzada edad) o no saben llevar a cabo la 81 evaluación y utilización de los mismos. Además, podrían quedarse excluidos del progreso que ofrece la IA un grupo considerable de personas que no aportan datos relevantes, lo que implicaría que sus necesidades y reivindicaciones, al no tener capacidad de influencia en las decisiones que se adopten, ni si quiera van a ser tenidas en cuenta. Por tanto, además de la privacidad, hay un grave riesgo para el ejercicio de los derechos relativos a la igualdad y la no discriminación. En este sentido, y avanzando en las dudas que suscita querer proteger los datos bajo la fórmula de los derechos digitales tras su procesamiento masivo, en los últimos años estamos asistiendo a la proliferación de herramientas, en muchos casos resultado de la combinación de la IA, la Neurociencia y el Big Data, que provocan, con graves riesgos para la afectación de los derechos, sesgos algorítmicos en materia de manipulación de nuestra autonomía personal (Delgado Rojas, 2024: 81-104). Cathy O’Neil, doctora en matemáticas con trayectoria en Harvard y en el MIT, promueve el necesario conocimiento sobre los riesgos éticos de los macrodatos y avisa de que los algoritmos pueden ser «destructivos e injustos para los individuos» por su potencial como «armas de destrucción matemática» (O’Neil, 2016). Cabe ante ello denunciar los sesgos implícitos en la creación de los algoritmos, que ordenan y separan a la población en ganadores y perdedores; los ganadores son aquellos que consiguen el trabajo o el crédito que desean, mientras los perdedores quizás no tengan ni siquiera opción a ser entrevistados o son los que terminan pagando la cuota más elevada por su seguro médico. Para paliar estas situaciones, deben instaurarse una serie de principios éticos en el uso de la IA, incluso para evitar daños que no sean voluntarios. Por ello, los sistemas de IA deben ser robustos, no sólo desde el punto de vista tecnológico, sino también desde una perspectiva social. Sin duda, la ética aplicada a la IA puede 82 ayudar a fortalecer esta percepción de la confianza que deposita la ciudadanía. Para generar esta confianza entre los usuarios deben garantizarse determinados derechos como la igualdad (que no haya sesgos algorítmicos), la privacidad (no vigilancia) y la universalización del progreso científico (no brechas digitales), cuestiones necesarias para velar por la transparencia y el buen funcionamiento de los distintos avances tecnológicos. CONCLUSIONES La conexión entre la IA y la inmensa cantidad de datos generada, a través de una gran variedad de fuentes, tiene como resultado un fenómeno sin precedentes en todos los aspectos observables. La innovación del Big Data ha contribuido a facilitar y mejorar infinidad de procedimientos cotidianos. Entre el catastrofismo al que pareciera que inexorablemente nos llevan la IA y el Big Data y la confianza exacerbada en una idea de progreso ilimitado, hay quienes apelamos más modestamente a una «responsabilidad tecnológica», entendida como una actitud reflexiva, crítica y prudente ante los nuevos problemas que suscitan la ciencia y la tecnología, y ante los que el Derecho no puede permanecer ajeno, sobre todo por su importante incidencia en el ejercicio de los derechos fundamentales. Una responsabilidad que no puede dejar de ser «humana», como ha remarcado Luciano Floridi, y que «es clave, teniendo en cuenta qué tipo de IA desarrollamos, cómo la utilizamos y si compartimos con todos sus ventajas y beneficios» (Floridi, 2024: 344). La IA debe ponerse al servicio de la sociedad, de los individuos, que son los únicos que son fines en sí mismos, protegiendo sus derechos como ciudadanos y garantizando la privacidad, autonomía e igualdad que les son debidas como usuarios de plataformas tecnológicas. De ahí la importancia de que la ética y la responsabilidad estén presente en el desarrollo de la IA y el Big Data, que deberán armonizarse siempre con los principios y valores sobre los que se construyen nuestras democracias contemporáneas. 83 BIBLIOGRAFÍA Barrio Andrés, M., “Génesis y desarrollo de los derechos digitales”, Revista de las Cortes Generales, 110, 2021, pp. 197-233. Boyd, D. y Crawford, K., “Six provocations for big data”, en A decade in internet time: Symposium on the dynamics of the internet and society, Oxford, 2011. Chen, M., Mao, S. y Liu, Y., “Big data: A survey. Mobile networks and applications”, en Mobile networks and applications, 19(2), 2014, pp. 171209. Delgado Rojas, J.I., “Poder tecnológico y políticas paternalistas. La gobernanza algorítmica a través de hypernudges”, en Sánchez Rubio, D., Sánchez Bravo, Á. y Delgado Rojas, J.I. (eds.), Poderes, Constitución y Derecho, Dykinson, Madrid, 2024. Faini, F., Data society. Governo dei dati e tutela dei diritti nell’era digitale, Giuffrè, Milano, 2019. Floridi, L., La quarta rivoluzione. Come l’infosfera sta trasformando il mondo, Raffaello Cortina Editore, Milano, 2017. Floridi, L., Ética de la inteligencia artificial, Herder, Barcelona, 2024. Garriga Domínguez, A., Nuevos retos para la protección de datos personales. En la Era del Big Data y de la computación ubicua, Dykinson, Madrid, 2016. Haarscher, G., Philosophie des Droits de l’homme, Editions de l'Université de Bruxelles, Belgique, 1989. Llano Alonso, F.H., Homo Ex Machina. Ética de la inteligencia artificial y Derecho digital ante el horizonte de la singularidad tecnológica, Tirant lo Blanch, Valencia, 2024. Mayer-Schönberger, V. y Cukier, K., Big data: la revolución de los datos masivos, Turner, Barcelona, 2013. O'Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Allen Lane, London, 2016. Pérez-Luño, A.E., “La inteligencia artificial en tiempo de pandemia”, en Llano Alonso, F.H. y Garrido, J. (coords.), Inteligencia Artificial y Derecho. El jurista ante los retos de la era digital, Aranzadi, Pamplona, 2021. 85 NOVAS CONSIDERAÇÕES SOBRE A QUESTÃO SOCIAL NA ERA DA REALIDADE VIRTUAL E DA INTELIGÊNCIA ARTIFICIAL EM SOCIEDADES COMPLEXAS E MULTICULTURAIS José Alcebiades de Oliveira Junior Profesor titular del Programa de Posgrado en Derecho (PPGD) de la UFRGS y del PPGD de la URI-Santo Ângelo. Investigador nivel 1D del CNPq INTRODUÇÃO O trabalho ora apresentado, tem por base o nosso projeto de pesquisa aprovado junto ao CNPq-Conselho Nacional de Pesquisa e Pós-graduação em Direito, intitulado “A questão social na era da realidade virtual e da Inteligência Artificial em sociedades complexas e multiculturais”. Como dissemos no projeto referido, o atual mundo complexo e dominado por sofisticadas máquinas capazes de criar e recriar realidades que existiram, que existem hoje e que quiçá existirão em futuro muito próximo, requerem de todos nós, leigos e pesquisadores de nomeada, muito esforço para se compreender o que existiu, o que agora está chegando e o que ainda virá pela frente em futuro próximo, sobretudo devido ao avanço dessas novas tecnologias na área da realidade virtual e da Inteligência Artificial (IA). E são por essas razões que apresentaremos, de maneira concisa, mas que esperamos ao menos compreensíveis, alguns dos nossos pontos de vista com o objetivo de integrar a importante obra 86 “Inteligência Artificial, Ética Y Sociedad Contemporânea”, a cargo dos ilustres mestres Prof. Dr. Álvaro Avelino Sánchez Bravo (Facultad de Derecho. Universidad de Sevilla) e Prof. Dr. Liton Lanes Pilau (UNIVALI &URISAN). DESENVOLVIMENTO Como dissemos em nossa pesquisa que ora transcorre no CNPq, “hoje em dia cada vez mais se torna urgente o debate crítico sobre a questão social na era da realidade virtual e da inteligência artificial”, por integrarem, indiscutivelmente, uma área importante de discussão do Direito e da Justiça, haja vista as enormes injustiças e os muitos crimes cibernéticos que se alastram mundo a fora. Inicialmente, como um pequeno, mas simbólico exemplo, cito a obra “Golpes Digitais: Como identificar, prevenir e agir contra ameaças virtuais”, de Bernardo de Azevedo e Souza & Raphael Rios Chaia Jacob (2023). Nessa obra referida, cabe destacar um interessante dossiê do autor que se refere a uma síntese do que hoje vivemos: Em um mundo no qual a tecnologia que adotamos em nossas vidas pode ser explorada de forma prejudicial por criminosos, que recorrem a técnicas cada vez mais sofisticadas, é essencial nos prepararmos para lidar com as ameaças virtuais de hoje e de amanhã (Souza & Jacob, 2023). E o afirmado acima pelos autores dessa obra, é que, cada vez mais, a realidade de cada um de nós se encontra ameaçada nesse plano virtual. Nada mais é tão inconfiável do que ligações de números misteriosos e desconhecidos, o que ocorre como todos nós sabemos, corriqueiramente e inúmeras vezes, sendo, na verdade, tentativas de golpes virtuais e ou digitais via aparelhos telefônicos ou e-mails. 87 Pois bem. Voltamos a insistir, que conforme a nossa pesquisa junto ao CNPq e acima referida, cada vez mais o avanço científico e tecnológico das atuais sociedades complexas e multiculturais faz emergir, por outro lado, e em níveis nacionais e internacionais, realidades de exclusão e marginalização de populações vulneráveis. Assim, se evidencia a persistência de desigualdades sociais cada vez mais acentuadas. Muito embora de outra parte vimos assistindo, cada vez mais, uma maior utilização dessas tecnologias virtuais por vários outros motivos, vários dos quais saudáveis, mas muitos outros com finalidades obscuras e dirigidas para o mal ou mesmo para o crime (OLIVEIRA JUNIOR, 2023). Como disse no projeto referido acima, a exclusão de muitas pessoas dos espaços de acesso à alta tecnologia reduz as possibilidades de educação e acesso ao trabalho, por exemplo, contribuindo assim para o acentuamento de desigualdades sociais cada vez maiores. De outra parte, esse mesmo projeto, propõe continuar nessa luta pela inclusão de um número cada vez maior de pessoas com acesso e alcance integral à informação e ao manejo real das novas tecnologias, principalmente aquelas pessoas com extrema vulnerabilidade e que estejam completamente excluídas dos processos de informatização e virtualização do mundo (OLIVEIRA JUNIOR, 2023). Ainda as razões que nos impõem a tecer essa temática envolvem a necessidade de esclarecer questões inerentes a pós-modernidade, as quais permeiam a virtualização das relações sociais e dos direitos, evidenciando assim, a obrigação de se assumir um debate técnico científico sobre a relação das tecnologias com o direito e a justiça social em sociedades multiculturais e complexas (OLIVEIRA JUNIOR, 2023). Nesse sentido, Feferbaum, M.; Silva, A.P.; Coelho, A. Z.; Silveira, A.R.D. (2023) em obra sobre “Ética, Governança e Inteligência Artificial”, esclarecem que: As discussões sobre Inteligência artificial (IA) e seus limites éticos têm ganhado contornos mais acentuados na última 95 INTELIGENCIA ARTIFICIAL Y JUSTICIA CONSTITUCIONAL. RIESGOS E IMPLICACIONES HERMENÉUTICOS PARA LA SOCIEDAD PLURALISTA Fernando Babi Ruiz Universidad de Sevilla Profesor de Filosofía del Derecho LA JUSTICIA EN LA ERA DIGITAL El trepidante desarrollo tecnológico de las últimas décadas ha propiciado la aparición de sorprendentes avances que hace pocos años apenas podríamos imaginar. Estas innovaciones se han extendido de forma veloz por los todos los ámbitos y territorios del planeta gracias al fenómeno de la globalización, caracterizado por una economía liberalizada, la pérdida de la capacidad de los Estados para regular nuevos centros económicos y de poder deslocalizados, la desaparición de las fronteras estatales y una progresiva integración e interdependencia entre todos los pueblos de la Tierra1. En este contexto, la difusión de los avances tecnológicos ha traído consigo un lenguaje propio del sector tecnológico que se ha asentado rápidamente en nuestro lenguaje cotidiano. Así, términos como algoritmo, prompt o big data constituyen vocablos comunes de la sociedad contemporánea. El ámbito jurídico ha recibido igualmente esta miscelánea de términos unido a un afán por la automatización y estandarización de procesos, implantándose una doctrina dominante que Llano Alonso denomina iustecnicismo y que 1 FERRAJOLI, Luigi: Por una Constitución de la Tierra. La humanidad en la encrucijada, Madrid, Trotta, 2022, p. 17. 96 sostiene postulados comunes con el formalismo jurídico y con visiones normativistas del derecho2. La Inteligencia Artificial (en adelante, IA) supone el último y más controvertido avance en este sector, que se presenta como superador del modelo Big Data caracterizado por el manejo veloz de grandes cantidades de datos para su gestión a gran escala, agilizando procesos, tratamientos de información y sus costes aparejados. Y, como señala Belloso, para gestionar esa gran cantidad de datos resulta necesario un algoritmo que contenga un conjunto de instrucciones definidas, secuenciadas, ordenadas y acotadas para resolver un problema de entre las múltiples posibilidades que ofrece la base de datos que le sirve de soporte3. De tal suerte, esta forma de inteligencia artificial -machine learningsupera el afán por la agilidad en la gestión de grandes bases de datos -Bid Datasuponiendo una forma de delegación de la capacidad decisoria del hombre en la máquina. El desarrollo de este tipo de tecnologías ha supuesto un salto cualitativo en el ámbito jurídico, toda vez que la ordenación y aplicación de criterios para la obtención de resultados de esas bases de datos ya no se necesita la mano y dirección del hombre, sino que esa función se ha trasladado a complejos algoritmos que emulan el pensamiento humano. De este modo, en las últimas décadas se han implantado diversos modelos de Big Data o Machine Learning a los sistemas de administración de justicia de distintos Estados. En este sentido, destaca 2 LLANO ALONSO, Fernando Iginio; Homo ex machina. Ética de la inteligencia artificial y Derecho digital ante el horizonte de la singularidad tecnológica, Valencia, Tirant lo Blanch, 2024, p. 37. 3 BELLOSO MARTÍN, Nuria: 2023, “Sobre Fairness y Machine Learning: el algoritmo ¿puede (y debe) ser justo?”, Anales de la Cátedra Francisco Suárez, nº 57, 2023, p. 12. 97 el software PROMETEA4 de la Fiscalía de Buenos Aires, los “Tribunales de Internet”5 desarrollados en China, el sistema COMPAS6 en el Estado norteamericano de California o el algoritmo HART (Harm Assesmente Risk Tool) diseñado por la policía de Durham para predecir de manera apriorística el riesgo de una persona de cometer delitos durante los dos próximos años, en base a datos como el sexo, la edad, el domicilio o la profesión. RIESGOS DE LA IA EN EL ÁMBITO DE LA JUSTICIA La posibilidad de aplicar esta tecnología al ámbito de la Administración de Justicia resulta tentadora a la vista del estado de abandono y saturación que sufre. Sin embargo, estos sistemas no se encuentran exentos de riesgos. Uno de esos riesgos se presenta en la confección de la base de datos que sirve de soporte al sistema de IA. A la vista de que su destino es el ejercicio de un poder del Estado, como es la administración de justicia, parece coherente que la obtención y origen de esos datos tengan igualmente un carácter público. Deben, por 4 El software posibilita automatizar tareas reiterativas a la vez que permite elaborar dictámenes jurídicos mediante IA mediante la asignación de palabras clave a cada proceso y sentencias previas. 5 Vid. GÓMEZ COLOMER, Juan Luis. “Problemas legales del juez robot desde una perspectiva procesal y orgánica”, en El proceso penal ante una nueva realidad tecnológica europea, Thomson Reuters Aranzadi, 2023, pp. 168-175. Los “Tribunales de Internet” tienen competencias sobre materias de comercio electrónico, pagos online o conflictos sobre propiedad intelectual cuyos casos son resueltos por un algoritmo que se basa en complejos estudios estadísticos en base a los cuales dicta sentencia tras analizar los hechos y pruebas facilitados por las partes. 6 El sistema COMPAS (acrónimo inglés de Correctional Offender Management Profiling for Alternative Sanctions) fue diseñado por el Estado de California en el año 1998 para aportar una predicción sobre la probabilidad de reincidencia y riesgo de fuga del procesado que sirve de apoyo al juez a la hora de dictar la resolución. 98 tanto, ser rechazados para este fin datos obtenidos de redes sociales, buscadores o cualesquiera soportes similares cuya confusión con las funciones del Estado han sido motivo de recientes polémicas7. Pero el carácter público de su origen no basta para superar las garantías que deben superar el proceso de obtención de los parámetros que conformarán la base de datos. Aspectos como el consentimiento, fin de la obtención o cesión de esos datos deben igualmente ser garantizados mediante un sistema transparente y acorde al ordenamiento jurídico. Superadas estas garantías y conformada la base de datos, el segundo de los riesgos aparecerá en la configuración del algoritmo que debe manejar la base de datos en búsqueda de la solución al conflicto. Es en esta fase donde debe velarse porque no existan sesgos en los datos que serán tratados por el algoritmo. En este sentido, Llano Alonso ha destacado que los sesgos no están en realidad en los algoritmos, sino en los datos subyacentes utilizados para el entrenamiento de los algoritmos en su proceso de aprendizaje8. Así, si del conjunto de sentencias correspondientes a un periodo histórico que se le ofrece al algoritmo para nutrirse resulta que las personas de un sexo, etnia o lugar de residencia obtienen un resultado menos favorable que el resto, el algoritmo replicará este patrón perjudicando a estos grupos con respecto al resto. Por tanto, que la base de datos no contenga sesgos que puedan contaminar el funcionamiento del algoritmo y que la propia configuración por el hombre del algoritmo tampoco los contemple son las garantías fundamentales de esta fase. Y el último escenario de riesgo se produce cuando el algoritmo, en base a su propia experiencia desarrollada comienza a emanciparse de su configuración inicial y de la base de datos que le brindaba el 7 Según la información publicada por la BBC el 27/08/2024, Mark Zuckerberg asegura que cedió a las presiones del gobierno de Biden para “censurar” contenido en Facebook e Instagram durante la pandemia 8 LLANO ALONSO, Fernando Iginio; Homo ex machina. Ética de la inteligencia artificial y Derecho digital ante el horizonte de la singularidad tecnológica, Valencia, Tirant lo Blanch, 2024, p. 191. 99 contenido para empezar a decidir sirviéndose de sus propias decisiones y experiencias anteriores. Si se han incurrido en sesgos en cualquiera de los pasos anteriores, estos serán reproducidos en esta última fase de emancipación del algoritmo, ya que su comportamiento y experiencia -su inteligenciala ha desarrollado sobre fórmulas viciadas contenedoras de sesgos. A estos riesgos derivados del empleo de estas tecnologías en el ámbito jurídico que pudiéramos llamar técnicos o procedimentales, Balaguer Callejón9 añade otros, entre los que cabe destacar: a)La aparición de un derecho predictivo, que por su propia naturaleza ex ante ofrece soluciones que pueden no coincidir con los argumentos, hechos y pruebas discutidos en el procedimiento que deben ser el fundamento de la convicción judicial que se recoja en la resolución. b)La aparición de tecnologías de juez – robot, cuyo funcionamiento y configuración puede plantear conflictos con los pilares de nuestro ordenamiento jurídico así como dudas sobre su constitucionalidad. c)Deshumanización del derecho que con la excusa de la agilidad puede pasar a convertirse en pragmático, mecánico, instrumental y experimental. d)La aparición de un derecho resultadista que progresivamente irá prescindiendo de la argumentación y el carácter racional de las resoluciones como garantía de los ciudadanos, que pasarán a ser sustituidas por un criterio de justedad identificado con la configuración del algoritmo. La IA se fundamenta en la gestión de una gran base de datos nutrida de datos estadísticos, judiciales, económicos, sociales, etc. de entre los cuales el algoritmo buscará una solución para resolver el caso. Por tanto, resulta fundamental conocer los criterios que utiliza el algoritmo para elegir la solución al caso de entre los millones 9 BALAGUER CALLEJÓN, Francisco; La constitución del algoritmo, Fundación Manuel Giménez Abad de Estudios Parlamentarios y del Estado Autonómico, 2022, p. 149. 100 de datos y las numerosas posibilidades existentes. Esto nos lleva a cuestionarnos sobre la configuración del algoritmo, una vez que el mismo es diseñado, para poder conocer los parámetros que emplea en su toma de decisiones y contrastar que esto no conlleva tratos discriminatorios y sacrificio de las garantías de los justiciables. Pero con ello no quedan despejadas todas las preocupaciones. Si el algoritmo es capaz de generar su propia inteligencia, esto es, sus propios criterios decisorios derivados de la experiencia de su funcionamiento, resultará también fundamental conocer: a) cuándo se produce esa desvinculación del algoritmo respecto a su configuración inicial por el hombre, b) que los posibles criterios discriminatorios que pudiera contener esa configuración inicial no han sido reproducidos por el algoritmo en el desarrollo de su inteligencia y c) que una vez que el algoritmo funciona en base a su propia inteligencia desarrollada conforme a su experiencia no incurre por sí mismos en sesgos discriminatorios. La superación de estos riesgos se antoja como un requisito fundamental para poder plantear cualquier tipo de incorporación de estas tecnologías al ordenamiento sin detrimento de los derechos y las garantías de los justiciables. SOCIEDAD PLURALISTA E INTERPRETACIÓN CONSTITUCIONAL En nuestro modelo constitucional el pluralismo resulta un valor fundamental. No en vano, este término se encuentra consagrado en los artículos 1.1 y 6 de la Constitución española en relación con el pluralismo político, y en el artículo 20.3 en relación con el pluralismo de la sociedad. El pluralismo es definido por Zagrebelsky como la condición en la que se encuentran las sociedades compuestas, donde las divisiones entre las partes no alcanzan un grado de tensión que haga 101 imposible el compromiso10. El pluralismo es, por tanto, un concepto que aglutina la variedad y multiculturalidad existente en una sociedad en los campos de la política, la opinión, la cultura, la moral, la religión, etc. y que, considerado un valor en sí mismo, tiene su reflejo en el texto constitucional mediante la consagración de una serie de principios carentes de jerarquía entre ellos, que frecuentemente colisionan y entre los que se debe encontrar una solución al caso. Refiere así el italiano que los principios constitucionales, con su consustancial contradicción entre ellos, son la propia expresión del pluralismo político y generan una profunda influencia en la democracia. Así, si la sociedad fuera simple, inspirada en una concepción única de la vida política y social, sería fácil imaginar una Constitución lineal, el desarrollo concreto de un único principio fundamental. En ella nada sería problemático o controvertido y cada disposición constitucional sería precisa, explícita, armoniosa con las que la acompañan. Pero esta simplificación de la constitución presupondría la simplificación de la sociedad política y civil. Es por ello que las fórmulas vagas, comprometedoras y a menudo esquivas que contiene la Constitución no aspiran a resolver la ambigüedad de una vez por todas sino que implican la aspiración de cuestionar radicalmente el carácter mismo de la democracia pluralista de nuestro tiempo11. Por ello, los principios constitucionales ofrecen soluciones al caso concreto, pero soluciones no definitivas en el tiempo. Resuelven el conflicto concreto de este momento histórico pero no fijan un resultado de cara al fututo. En el futuro podrá darse un caso similar de colisión entre principios y el resultado, a la vista de la realidad socio-cultural12 vigente en este momento, 10 ZAGREBELSKY, Gustavo: Intorno alla legge. Il dirito come dimensione del vivere comune, Madrid, Einaudi, 2009, p. 127-128. 11 Zagrebelsky, Gustavo; “Introduzione”, en Jemolo, Arturo Carlo.; Che cos’è la Costituzione, Roma, Donzelli editore, 1996, p. 20-21. 12 Vid. HÄBERLE, Peter; Teoría de la Constitución como ciencia de la cultura, Madrid, Tecnos, 2000. Según la teoría häberliana de la Constitución 102 puede ser interpretado de manera diferente gracias a la vaguedad y flexibilidad de los principios constitucionales. Es por ello que Mikunda-Franco se refiere al pluralismo como el presupuesto filosófico jurídico básico de la democracia constitucional, como dimensión filosófico-jurídica de la democracia constitucional y como axiología básica de toda Constitución democrática”13. En consecuencia, como señala Vigo, el pluralismo es un dato de las sociedades contemporáneas que conlleva un politeísmo axiológico o la pérdida de valores comunes. La constitución contempla mundos constitucionalmente posibles mediante una suerte de principios constitucionales que colisionan y sobre los que no hay jerarquía ni puntos de equilibrio porque lo decisivo será el caso14. El pluralismo constitucional representa también el pluralismo de la conciencia individual de cada uno de los ciudadanos y su complejidad intrínseca. Representa los deseos de libertad e igualdad, de seguridad y de garantías, de amor y de justicia, de rigor y de piedad, de sociabilidad y de soledad. Anhelos a menudo incompatibles pero destinados a encontrar un equilibrio para no se sacrifique ninguna parte esencial de ellos, destinados en definitiva al compromiso y la convivencia. como cultura existe un conjunto de expresiones culturales, religiosas, artísticas, folclóricas, morales, etc. que nutren de contenido y sirven de contexto a la interpretación de la Constitución y, en virtud del efecto irradiación de la misma, al ordenamiento jurídico entero. 13 MIKUNDA-FRANCO, Emilio; “Estudio preliminar”, en HÄBERLE, Peter; Pluralismo y constitución. Estudios de teoría constitucional de la sociedad abierta, Madrid, Tecnos, 2013, p. 19. 14 VIGO, Rodolfo Luis; Estado de derecho constitucional y democrático, Quito, Corporación de Estudios y Publicaciones, 2016, p. 145-148. 103 FORMALISMO JURÍDICO Y PRINCIPIALISMO JURÍDICO La aplicación de la IA para la resolución de conflictos en el ámbito de la justicia supone la aplicación de una suerte de concepciones de índole positivista en la búsqueda de certeza, previsibilidad y seguridad jurídica que el germen estadístico o de Bid Data de la IA favorece. Esto unido al matiz probabilístico de circunda el funcionamiento de la IA en el ámbito de la justicia favorece su identificación con una suerte de realismo jurídico según la célebre cita del juez Holmes15, que vincula el derecho a las decisiones definitivas de los jueces -en este caso, del algoritmoprescindiendo de otros elementos, cosmovisiones o creencias. Esta cercanía con los postulados del realismo vislumbra un carácter instrumental del derecho, poniendo el énfasis en la eficacia del mismo, sacrificando para ello la importancia de las normas y, en última instancia, de la voluntad popular que las legitiman. Pero, además, esta teoría ha sido criticada por su carácter reduccionista al prescindir de la realidad pluralista de nuestra sociedad, de la variada realidad política, cultural, histórica, sexual, racial, ética etc. existente que por su consagración constitucional constituye uno de los valores superiores del ordenamiento jurídico. La cuestión radica, entonces, en analizar si los vigentes sistemas de IA aplicables al ámbito de la justicia resultan compatibles y respetuosos con el valor superior del pluralismo contemplado en la constitución. Y para ello, debemos atender a la metodología y sistemas de interpretación que aplican estos sistemas para alcanzar la solución al conflicto que se les presenta. 15 HOLMES, Oliver Weldell; La senda del derecho, Buenos Aires, Ed. Abeledo Perrot, 1975. La célebre frase “yo entiendo por Derecho las profecías acerca de lo que los tribunales harán en concreto: nada más y nada menos” (p. 21) ha pasado a la historia como una síntesis de la teoría del realismo jurídico. 110 FERRAJOLI, Luigi; Por una Constitución de la Tierra. La humanidad en la encrucijada, Madrid, Trotta, 2022. GÓMEZ COLOMER, Juan Luis; “Problemas legales del juez robot desde una perspectiva procesal y orgánica”, en El proceso penal ante una nueva realidad tecnológica europea, Thomson Reuters Aranzadi, 2023, pp. 169-193. HÄBERLE, Peter; Teoría de la Constitución como ciencia de la cultura, Madrid, Tecnos, 2000. HÄBERLE, Peter; Pluralismo y constitución. Estudios de teoría constitucional de la sociedad abierta, Madrid, Tecnos, 2013. HOLMES, Oliver Weldell; La senda del derecho, Buenos Aires, Ed. Abeledo Perrot, 1975. LLANO ALONSO, Fernando Iginio; Homo ex machina. Ética de la inteligencia artificial y Derecho digital ante el horizonte de la singularidad tecnológica, Valencia, Tirant lo Blanch, 2024. MORESO, Juan José; “Conflictos entre principios constitucionales”, en Neoconstitucionalismo(s), Madrid, Trotta, 2005, p. 99-122. MIKUNDA-FRANCO, Emilio; “Estudio preliminar”, en HÄBERLE, Peter; Pluralismo y constitución. Estudios de teoría constitucional de la sociedad abierta, Madrid, Tecnos, 2013, pp. 17-58. VIGO, Rodolfo Luis; Estado de derecho constitucional y democrático, Quito, Corporación de Estudios y Publicaciones, 2016. ZAGREBLSKY, Gustavo; “Introduzione”, en Jemolo, Arturo Carlo.; Che cos’è la Costituzione, Roma, Donzelli editore, 1996, pp. 7-26. ZAGREBELSKY, Gustavo; Intorno alla legge. Il dirito come dimensione del vivere comune, Madrid, Einaudi, 2009. 111 A DISSONÂNCIA COMUNICACIONAL DA DEMOCRACIA NA ERA DIGITAL Liton Lanes Pilau Sobrinho Professor do curso de Direito e do Mestrado e Doutorado no Programa de Pós-Graduação Stricto Sensu em Ciência Jurídica da Universidade do Vale do Itajaí (UNIVALI) INTRODUÇÃO As democracias contemporâneas têm sido profundamente impactadas pelas transformações tecnológicas em curso. Por um lado, as tecnologias digitais contribuem para estreitar os laços entre os cidadãos e as instituições, ampliando as possibilidades de participação e acesso à informação. Por outro, também têm favorecido o surgimento de bolhas ideológicas, a disseminação de discursos antidemocráticos e a proliferação de fake news, gerando riscos significativos ao funcionamento das estruturas democráticas. Nesse cenário, embora a tecnologia possa fomentar o engajamento cívico e promover uma cidadania mais ativa, sua utilização também traz consigo potenciais ameaças, como a manipulação da informação, a desinformação deliberada, a invasão da privacidade, práticas de vigilância velada e a vulnerabilidade dos canais digitais a ciberataques. Surge, assim, uma questão crucial: esses fenômenos fragilizam a democracia? Diante desse contexto, o presente texto tem como objetivo refletir sobre os impactos das novas tecnologias na dinâmica política contemporânea, à luz da teoria sistêmica de Niklas Luhmann, especialmente no que tange à noção de improbabilidade da comunicação e suas implicações nos processos de formação da opinião pública em sociedades democráticas. Para tanto, a primeira parte do trabalho será dedicada a uma abordagem sobre o conceito de democracia no contexto estatal, 112 passando pelos modelos de Estado — do Estado Liberal ao Estado Democrático de Direito. Na sequência, será apresentada a concepção de improbabilidade comunicacional conforme desenvolvida por Luhmann. Por fim, será feita uma análise das relações entre a teoria sistêmica e os impactos das tecnologias digitais na democracia atual, buscando identificar os riscos e fragilidades que emergem na era tecnológica. A metodologia adotada será o método indutivo, com a utilização das técnicas do referente, da categoria, dos conceitos operacionais e da pesquisa bibliográfica. As fontes selecionadas servirão de fundamento teórico para a construção argumentativa e permitirão a concretização dos objetivos propostos. Como marco inicial, parte-se da análise da evolução do Estado e seus modelos. A DEMOCRACIA E OS MODELOS DE ESTADO O Estado Liberal, ao constituir-se como um estado não interventivo, atribuiu ao mercado capitalista a regulação social, sendo as relações privadas deixadas ao sabor de regras mercadológicas e da arbitrariedade capitalista. No modelo liberal inexistem prestações estatais. O Estado liberal inaugura uma ordem mínima através da qual, em tese, o mercado encontraria seu ponto de equilíbrio. A fragilidade do modelo liberal e as consequentes necessidades de prestações por parte do Estado tornaram por desencadear a emergência do Estado de Bem-Estar Social. O Welfare State surge como um modelo estatal intervencionista, assim o Estado providência deveria proporcionar meios aptos ao livre desenvolvimento dos indivíduos, sob o manto de prestações. A grande diferença entre o Estado de Bem-Estar e o Estado Liberal, pois, reside precisamente no caráter prestacional do Estado providência, cujas ações deveriam proporcionar a crescente qualidade de vida aos indivíduos. Diante do paradoxo Estado Liberal/Estado de Bem-Estar Social, pode-se visualizar a emergência do Estado Democrático de Direito 113 enquanto modelo estatal necessariamente vinculado a uma ordem jurídica vigente. Desse modo, a atuação do Estado deve ser direcionada à transformação social, inaugurando a possibilidade de um Estado interventivo transformador, restando a soberania popular figura central para a concretização de uma sociedade justa e igualitária. Para Canotilho, o Estado constitucional representa uma evolução em relação ao Estado de Direito tradicional. A introdução do elemento democrático não teve apenas a função de limitar o poder estatal, mas também de conferir-lhe legitimidade. Para fundamentar o Estado constitucional com base em princípios não metafísicos, é necessário distinguir dois aspectos centrais: (1) a legitimidade do próprio direito, dos direitos fundamentais e do processo legislativo dentro do sistema jurídico; e (2) a legitimidade da ordem de dominação e do exercício do poder político. O modelo jurídico-formal do Estado de Direito, por si só, não responde à questão da origem do poder. É nesse ponto que o princípio da soberania popular — segundo o qual todo poder emana do povo — se torna essencial, pois garante o direito à participação igualitária na formação democrática da vontade coletiva. Dessa forma, a soberania popular, expressa por meio de procedimentos juridicamente regulados, atua como ponto de articulação entre o Estado de Direito e o Estado Democrático, permitindo compreender a concepção contemporânea de Estado Democrático de Direito.1 O Estado Democrático de Direito excederia, assim, o Estado Liberal de Direito e o Estado Social de Direito, ligando-se ao “welfare state neocapitalista – impondo à ordem jurídica e à atividade estatal um conteúdo utópico de transformação da realidade”2 . Desse modo, o Estado Democrático de Direito vem 1 CANOTILHO, J. J. Gomes. Direito constitucional e teoria da constituição. 4. ed. Coimbra: Almedina, [200-]. p. 100. 2 MORAIS, José Luis Bolzan de; STRECK, Lenio Luis. Ciência Política e Teoria Geral do Estado. Porto Alegre: Livraria do Advogado, 2000. p. 20. 114 consolidar os dois modelos anteriores, garantindo os direitos alcançados pelas conquistas da sociedade através da soberania popular como benefício da democratização da sociedade. O modelo do Estado Democrático de Direito vem para efetivar a questão da isonomia, ou seja, para dar condições de igualdade a todas as pessoas, de acordo com o positivado da Constituição Federal de 1988, em seu artigo 5º. Esse dispositivo estabelece que todos são iguais perante a lei, sem distinção e discriminação. O modelo brasileiro de EDD é o de uma organização política na qual se deve levar em conta a liberdade, a igualdade, o pluralismo político e a justiça social. Assim, a lei seria igual a um instrumento de transformação e de solidariedade da comunidade; por conseguinte, a tarefa fundamental do Estado Democrático de Direito seria superar as desigualdades da sociedade, primando pela justiça social. Inaugurase assim uma possibilidade emancipatória, trazendo um papel transformador. A este modelo estatal cabe a contínua construção da realidade social com vistas à constante melhora de condições do indivíduo. Mais do que um modelo de organização jurídica e política, o Estado Democrático de Direito representa um instrumento de transformação social. Diferentemente do Estado Social, que busca apenas aperfeiçoar as condições materiais de existência, o Estado Democrático de Direito incorpora um compromisso mais amplo, que vai além da garantia de uma vida digna. Ao ser qualificado como democrático, o Estado passa a irradiar os valores da democracia por todo o seu arcabouço institucional, inclusive sobre a ordem jurídica. Além disso, a ideia de democracia não pode ser dissociada da necessidade de enfrentar as condições materiais de 115 existência, o que reforça seu papel como elemento estrutural da justiça social e da inclusão cidadã.3 O Estado Democrático de Direito, ao possibilitar a pluralidade discursiva que igualmente o caracteriza, viabiliza sua constante manutenção mediante a construção comunicativa da opinião pública. A crescente propagação da comunicação encontra espaço em um ambiente democrático. Ao contrário das antigas sociedades estratificadas, constituídas estamentalmente,4 “na democracia, a regra básica é manter elevadas as possibilidades de escolha e abertas as alternativas de decisão”. 5 A democracia, ao apresentarse enquanto local privilegiado à produção, difusão e permanente reconstrução de comunicações, proporciona a possibilidade de, em tese, todos manifestarem suas opiniões sobre qualquer assunto. Nesse sentido, De Giorgi afirma que a democracia pode ser compreendida como uma forma de organização que preserva e administra a complexidade social. Trata-se de uma estrutura seletiva que se sustenta na constante realização de decisões, permitindo a renovação contínua dos horizontes decisórios dentro dos limites de autocontrole definidos pelo próprio sistema político. Sua função essencial está em possibilitar o incremento da complexidade social, controlando-a seletivamente por meio da politização das demandas oriundas do ambiente. Nesse sentido, a principal potencialidade da democracia reside em sua capacidade de promover uma diferenciação social evolutiva, abrindo o campo do possível e ampliando o espectro de alternativas decisórias — a 3 STRECK, Lenio Luiz; MORAIS, José Luis Bolzan. Ciência política e teoria geral do estado. 4. ed. Porto Alegre: Livraria do Advogado, 2004. p. 93. 4 LUHMANN, Niklas; DE GIORGI, Raffaelle. Teoría de la sociedad. México: Universidad de Guadalajara/Univesidad Iberoamericana/ITESO, 1993. p. 315-326. 5 CAMPILONGO, Celso Fernandes. O direito na sociedade complexa. São Paulo: Max Limonad, 2000. p. 91. 116 democracia, portanto, é uma forma de produzir continuamente novas possibilidades de decisão.6 Por isso, “os meios são um espelho da sociedade, pois acolhem a expressão dos governados traduzida em demandas de todo o tipo desde seu governo”.7 A opinião pública, ao viabilizar observações de segunda ordem, traduz a possibilidade de uma constante revisão dos pressupostos estatais. Para essa transformação estatal, a opinião pública atua como um filtro daquilo que é de relevância para o sistema social, tornando por causar ressonâncias nos sistemas, que abarcam tais comunicações de modo à contínua manutenção de suas estruturas.8 Pode, entretanto, ser feita uma pequena observação quanto ao fenômeno da globalização9: “a economia, a mídia e uma série de outras áreas se mundializaram. Enquanto isso, os instrumentos de 6 DE GIORGI, Raffaele. Direito, democracia e risco: vínculos com o futuro. Porto Alegre: SAFE, 1998. p. 57. 7 GONZÁLEZ, Oscar Ochoa. Comunicación política y opinión pública. México: McGraw-Hill, 2000. p. 109: “[…] los medios son un espejo de la sociedad, pues recogen la expresión de los gobernados traducida en demandas de todo tiupo hacia su gobierno.” 8 LUHMANN, Niklas. Ecological communication. Chicago: The University of Chicago Press, 1989. p. 15-21. 9 Saliente-se a posição explicitada em SANTOS, Boaventura de Souza. A gramática do tempo: para uma nova cultura política. São Paulo: Cortez, 2006. p. 437-438: “[...] aquilo que habitualmente designamos por globalização são, de facto, conjuntos diferenciados de relações sociais; diferentes conjuntos de relações sociais dão origem a diferentes fenômenos de globalização. Nestes termos, não existe estritamente uma entidade única chamada globalização; existem, em vez disso, globalizações. Em rigor, este termo só deveria ser usado no plural. Enquanto feixes de relações sociais, as globalizações envolvem conflitos e, por isso vencedores e vencidos. Daí a definição de globalização por mim proposta: a globalização é o processo pelo qual determinada condição ou entidade local estende a sua influência a todo o globo e, ao fazê-lo, desenvolve a capacidade de designar como local outra condição social ou entidade rival.” 117 regulação continuam sendo de âmbito nacional, criando um gigantesco espaço de vale-tudo internacional.” 10 Com isso, o Estado perde espaços de decisão, restando a opinião pública, por vezes influenciada por discussões transnacionais, cuja centralidade estatal já não mais é suficiente. A COMUNICAÇÃO SOB A ÓTICA DA IMPROBABILIDADE Vive-se em mundo altamente conectado, ou seja, interligado, no qual a comunicação é o condutor entre o emissor e o receptor; ela só é possível, contudo, desde que a informação que está se linkando seja liberada através do entendimento, conectada, produzindo, dessa forma, a linguagem. Para proceder essa leitura, no entanto, será necessário ter o código de acesso, ele será o passaporte para permitir o entendimento. Para Luhmann, [...] a teoria da comunicação não pode limitar-se a analisar aspectos parciais da convivência social, nem contentar-se em examinar as diversas técnicas de comunicação, embora estas e suas conseqüências despertem, pela sua novidade, particular interesse na sociedade actual.11 A comunicação, por sua natureza, é um fenômeno altamente improvável, o que desperta um interesse social contínuo em superar tais dificuldades. No contexto do terceiro milênio, os avanços tecnológicos ampliam as condições de possibilidade da comunicação, oferecendo novos meios para sua realização. 10 DOWBOR, Ladislau. Globalização e tendências institucionais. In: DOWBOR, Ladislau; IANNI, Octávio; REZENDE, Paulo Edgar A. (Org.). Desafios da globalização. 3. ed. Petrópolis: Vozes, 1997. p. 10. 11 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 39. 118 A improbabilidade da comunicação pode ser analisada sob três aspectos distintos. O primeiro refere-se à dificuldade de compreensão mútua: é improvável que um indivíduo compreenda exatamente o que o outro pretende expressar, considerando o caráter isolado e subjetivo da consciência. O significado atribuído à mensagem depende fortemente do contexto e das referências disponíveis na memória daquele que interpreta.12 A improbabilidade de compreensão se dá em função da percepção, eis que nem todos têm conhecimento daquilo que se quer dizer, sendo isso possibilitado pela memória, mas a memória só grava aquilo que interessa. Em outras palavras, o isolamento operacional dos sistemas apenas faculta a compreensão da informação com base em um contexto prévio, facultado pela memória do sistema. Nesse sentido, não há troca ou imposição de informação, mas uma permanente construção com base no sentido dado pelo contexto sistêmico. O segundo aspecto da improbabilidade diz respeito à dificuldade de alcançar os receptores. Em termos gerais, é improvável que uma comunicação ultrapasse os limites do grupo presente em uma determinada situação. Essa limitação se relaciona, sobretudo, com os fatores de ordem espacial e temporal, que restringem o alcance da mensagem para além do contexto imediato em que ela é emitida.13 Para ocorrer a comunicação é necessário que ela chegue a um maior número de pessoas das que estão presentes em uma dada situação. Ela poderá ocorrer em cada caso desde que os indivíduos se comuniquem e desintegrem-se quando se percebe que não se deseja mais comunicar-se, já que os indivíduos possuam interesses diferentes. 12 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 39. 13 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 42 119 O terceiro tipo de improbabilidade refere-se à obtenção do efeito pretendido pela comunicação. Mesmo quando uma mensagem é compreendida, isso não significa que será necessariamente aceita. O que se entende por “resultado desejado” é a adoção, por parte do receptor, do conteúdo informativo da comunicação como base para suas próprias ações. Isso implica incorporar aquela informação ao seu processo decisório, dando origem a novas seleções e, com isso, elevando o grau de complexidade da comunicação. Essa aceitação pode se manifestar de diversas formas: na ação conforme as orientações recebidas, na reflexão sobre o conteúdo transmitido ou na assimilação de novos conhecimentos, assumindo-se que a informação é válida ou verdadeira.14 Essa terceira improbabilidade da comunicação relaciona-se com as expectativas, ou seja, com a incerteza de alcançar o resultado desejado. O processo seletivo só é acessível para quem possui o poder, noutro sentido, “não são somente obstáculos para que uma comunicação chegue ao destinatário, actuam ao mesmo tempo como <<factores de discussão>>, que induzem a abster-se de uma comunicação que se considera utópica”.15 Os sistemas sociais não podem formar-se se não houver comunicação, “por conseguinte as improbabilidades do processo de comunicação e forma em que as mesmas se superam e se transformam em probabilidades regulam a formação dos sistemas sociais”16 . Logo, se entende o processo evolutivo da sociedade precisamente no sentido da superação das improbabilidades e a possibilidade de obtenção de sucesso da comunicação. 14 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 39. 15 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 43. 16 LUHMANN, Niklas. A improbabilidade da comunicação. Lisboa: Vega, 2001. p. 44. 126 Os ataques que são estabelecidos pelos robôs que possuem inteligência artificial fazem com que ocorram principalmente o uso das informações em uma dicotomia do uso verdade/mentira, que fazem com que se altere a realidade dos fatos por um processo de repetição e disseminação da mentira/verdade que rondam as redes sociais, como um novo ódio à democracia, onde em sua maioria são notícias caracterizadas como fake News. Para Rancière, entre os muitos equívocos que cercam o conceito de democracia na contemporaneidade, destaca-se uma nova forma de rejeição que opera de maneira especialmente perversa. Tratase de um discurso que duplica a confusão consensual e transforma a noção de democracia em um instrumento ideológico destinado a despolitizar os debates públicos, convertendo-os em meros “fenômenos sociais”. Ao fazer isso, esse discurso silencia as estruturas de dominação que organizam a sociedade. Ele encobre o poder das oligarquias estatais ao equiparar democracia a uma forma genérica de vida social, e relativiza o domínio das elites econômicas ao associá-lo aos desejos individuais dos cidadãos. Dessa forma, consegue atribuir o agravamento das desigualdades não à concentração de poder, mas à suposta vitória irreversível da igualdade formal. Assim, fornece às oligarquias uma legitimação ideológica eficaz: sustenta que é necessário combater a England. 2020. p. 576. Tradução livre: “Além das perdas corporativas, a NotPetya foi significativa por uma série de razões. Serviu como um lembrete da potência dos hackers do governo russo e da agressividade do Estado russo. Foi mais uma ilustração de como empresas e indivíduos comuns podem encontrar-se na linha de frente de operações cibernéticas com motivação geopolítica. E prenunciou o que poderia vir a seguir: ataques cibernéticos cada vez mais poderosos e autônomos, nos quais hackers carregam equivalentes digitais de foguetes não guiados, apontam em uma direção geral, acendem os fusíveis e esperam para ver quais danos imprevisíveis, mas graves, resultam”. 127 democracia porque ela seria, em essência, uma expressão de totalitarismo.25 O risco estabelecido pelo distúrbio interpretativo de uma má utilização do termo democracia e de sua manipulação, inverte sua relação conceitual pelos oligarcas para transformá-la em totalitarismo, por parte de uma classe dominante. Urge uma mudança de paradigma, nossa sociedade está de certo modo enredada pelo uso indevido de notícias falsas, ou seja, de Fake News, no qual não se busca a real verdade, mas a mentira repetitiva, fazendo com que se torne uma “verdade-mentira”. Assim, há um domínio pela vigilância, quer seja privada - das grandes corporações, ou pública - dos Estados. Segundo ByungChul Han: El Estado vigilante de Orwell, com sus telepantallas y cámaras de tortura, se distingue substancialmente del panóptico digital, com internet, el smartfone y las Google Glass, em lass que domina la apariencia de la libertad y la comunicación ilimitadas. Aquí no se tortura, sino que se tuitea o postea. Aquí no hay ningún misterioso «Ministerio de la Verdad».La transparência y la información sustituyen a la verdade. La nueva Concepción de poder no consiste em el control del passado, sino en el control psicopolítico del futuro. La técnica de poder del régimen neoliberal no es prohibitoria, protectora o repressiva, sino prospectiva, permissiva y proyectiva. El consumo no se reprime, se maximiza.26 25 RANCIÈRE, Jacques. O Ódio à democracia. Tradução de Mariana Echalar. São Paulo: BOITEMPO, 2014. p. 259-260. 26 HAN. Byung-Chul. Psicopolítica. Neoliberalismo y nuevas técnicas de poder. Tradução de Alfredo Berges, Fortaleza: epub livre, 2016. p. 90. Tradução livre: “O estado de vigilância de Orwell, com os seus teleecrãs e câmaras de tortura, é substancialmente diferente do panóptico digital, com a Internet, o smartphone e o Google Glass, que domina a aparência de liberdade e comunicação ilimitadas. Não há tortura aqui, mas sim 128 É importante destacar que na atualidade se vivencia um processo de vigilância contínua, na qual a sociedade encontra-se desorientada, desprotegida diante da espetacularização da vida. Por trás disso há a manutenção dos interesses das grandes corporações transnacionais, estabelecendo um jogo de poder, através de uma constante invasão de privacidade da vida social. No se reprimen las necessidades, se las estimula. Em lugar de confesiones extraídas com tortura, tiene lugar um desnudamento voluntario. El smartphone sustituye a la câmara de tortura. El Big Brother tiene um aspecto amable. La eficiência de su vigilância reside em su amabilidade. El Big Brother benthamiano es invisible, pero omnipresentenen la cabeza de los reclusos. Lo han interiorizado. Em el panóptico digital nadie se siente realmente vigilado o amenazado. De ahí que el término «Estado vigilante» no sea apropriado para caracterizar al panóptico digital.[...] El panóptico digital se sirve de la revelación voluntaria de los reclusos. [...] no existe esse Big Brother que nos extrae informaciones contra nuestra voluntad. Por el contrario, nos revelamos, incluso nos ponemos al desnudo por iniciativa propia.27 tweetar ou postar. Não há aqui nenhum misterioso “Ministério da Verdade”. A transparência e a informação substituem a verdade. A nova concepção de poder não consiste no controlo do passado, mas sim no controlo psicopolítico do futuro. A técnica de poder do regime neoliberal não é proibitiva, protetora ou repressiva, mas sim prospectiva, permissiva e projetiva. O consumo não é reprimido, é maximizado”. 27 HAN, Byung-Chul. Psicopolítica. Neoliberalismo y nuevas técnicas de poder. Tradução de Alfredo Berges, Fortaleza: epub livre, 2016. p.90. Tradução livre: “As necessidades não são reprimidas, são estimuladas. Em vez de confissões extraídas por meio de tortura, ocorre o desnudamento voluntário. O smartphone substitui a câmara de tortura. O Grande Irmão parece legal. A eficiência da sua vigilância reside na sua gentileza. O Big Brother benthamiano é invisível, mas omnipresente na cabeça dos reclusos. Eles internalizaram isso. No panóptico digital, ninguém se sente realmente vigiado ou ameaçado. Portanto, o termo “estado de vigilância” 129 Fica demonstrada a ingenuidade da sociedade ao tratar com a tecnologia, onde se depara com um verdadeiro assombramento perante o Estado vigilante/Mercado vigilante. Nesse sentido, Dowbor entende que a violação da privacidade tornou-se uma prática recorrente e de grande alcance, embora a maioria das pessoas ainda não perceba sua gravidade ou demonstre real preocupação. Diante da rotina aparentemente banal do cotidiano, muitos acreditam que não haveria motivos para que alguém se interessasse em investigar suas ações. No entanto, essa percepção é enganosa: há, sim, um grande interesse por essas informações. O indivíduo comum acaba sentindo os efeitos dessa vigilância quando tenta conseguir um emprego, abrir uma conta bancária, obter crédito, solicitar um visto, contratar um seguro ou plano de saúde, ou ainda ao lidar com situações de exposição e violência digital, como ataques virtuais ou casos de cyberbullying. Nessas circunstâncias, o uso indevido de dados pessoais por diferentes sistemas revela seu impacto direto sobre a vida das pessoas.28 Este circo cibernético cada vez mais expõe e induz a sociedade a acreditar no virtual e não no real, simplesmente por uma manipulação de algoritmo estabelecida por uma inteligência artificial, cujo domínio não necessariamente é utilizado para o bem comum. Por isso, deve-se observar o entendimento de O`neail: Evidentemente, los responsables de las campañas son muy conscientes de esta estrategia. Gracias a la microsegmentación, pueden mandar a cada uno de estos donantes la información con más probabilidades de sacar la mayor cantidad de dinero posible de sus cuentas bancarias. Y esos mensajes son diferentes para cada donante. “Estas não é apropriado para caracterizar o panóptico digital.[...] O panóptico digital utiliza a divulgação voluntária de reclusos. [...] não existe Big Brother que extrai informações de nós contra a nossa vontade. Pelo contrário, revelamo-nos, até nos desnudamos por iniciativa própria”. 28 DOWBOR, Ladislau; ARGENTINO NETO, Vicente. (Org.). Sociedade vigiada. São Paulo, Autonomia Literária, 2020. p. 8-9. 130 estrategias no se limitan a las campañas. Contaminan el ejercicio de nuestros derechos civiles y políticos con lobbies y grupos de interés que utilizan métodos de segmentación para hacer el trabajo sucio.29 Resta evidente que o papel desenvolvido pela mineração e manipulação da informação está sob de trás de uma máscara obscura dos interesses dos lobbies que dominam o Mercado e o sistema político, com o intuito de construir e denegrir imagens de acordo com seu bel prazer, ou seja, seus interesses. Assim, “[...] esa campaña en concreto fue expuesta ante la opinión pública, siguen flotando bajo la superficie centenares de campañas más discretas que van dirigidas a votantes individuales”30. Além disso, geram comunicações dentro da sociedade para o estabelecimento de uma compreensão e manipulação cujos interesses dessas “campañas silenciosas son igualmente fraudulentas y rinden aún menos cuentas que la del Center for Medical Progress. Sueltan bombas ideológicas que los políticos apenas pueden insinuar oficialmente”31. 29 O`NEIL, Cathy. Armas de destrucción matemática. Traducción: Violeta Arranz de la Torre. Madrid: Capitán Swing Editorial, 2019. p. 334-335. Tradução livre: “Obviamente, os responsáveis pelas campanhas estão muito atentos a esta estratégia. Graças à microssegmentação, eles podem enviar a cada um desses doadores as informações com maior probabilidade de retirar o máximo de dinheiro possível de suas contas bancárias. E essas mensagens são diferentes para cada doador. “Essas estratégias não se limitam a campanhas. Contaminam o exercício dos nossos direitos civis e políticos com lobbies e grupos de interesse que utilizam métodos de segmentação para fazer o seu trabalho sujo”. 30 O`NEIL, Cathy. Armas de destrucción matemática. Traducción: Violeta Arranz de la Torre. Madrid: Capitán Swing Editorial, 2019. p. 336. Tradução livre: “Essa campanha em particular foi exposta ao público, centenas de campanhas mais discretas visando eleitores individuais continuam a flutuar abaixo da superfície”. 31 O`NEIL, Cathy. Armas de destrucción matemática. Traducción: Violeta Arranz de la Torre. Madrid: Capitán Swing Editorial, 2019. p. 336. 131 Nesse sentido, quer seja o termo utilizado de forma tecnológica (fake News/ Depp Fake) ou na via analógica, por assim se dizer mentira (boato), deve-se observar os impactos que ocasionam na ampliação ou limitação do uso da liberdade de expressão. De repente, tornou-se possível a qualquer pessoa, sem desconforto, com desenvoltura, como a manifestação ilimitada da “liberdade de expressão”, afirmar fatos sem que se provasse que correspondiam à realidade, sem que fosse necessário proceder à sua verificação.32 Ao mesmo tempo, na atualidade tem-se que inverter a relação com a finalidade de compreender o uso da terminologia do ato de mentir, que para Craig: Insinceridade, lorota, conversa fiada, falsidade, mentira deslavada, invencionice – já ouvi até mesmo um candidato à presidência dos Estados Unidos dizer educadamente que “havia se expressado mal” – talvez fosse uma mentira. Não importa o nome que lhe damos ou o contexto em que ela ocorre, todos nós temos a nossa opinião pessoal sobre o que é a mentira, e existe um grande número de descrições do ato de mentir. [...] A meu ver, mentira é um ato físico, uma afirmação verbal ou omissão com o objetivo de esconder a verdade. [...] Quase todo mundo admitiria que mentir é um ato de desonestidade, e é essa conotação negativa que leva a maioria das pessoas, quando perguntadas, a dizer que raramente mentem. Na maioria dos casos, isso não é verdade. Existem muitos estudos independentes sobre a frequência da mentira na Tradução livre: “As campanhas silenciosas são igualmente fraudulentas e ainda menos responsáveis do que as do Center for Medical Progress. Eles lançam bombas ideológicas que os políticos mal conseguem sugerir oficialmente”. 32 SADIN, Ëric. La inteligência artificial o el desafio del siglo: anatomia de um anti-humanismo radical. 1ª ed. – Cuidad Autónoma de Buenos Aires: Caja Negra, 2020. 132 sociedade. Alguns deles revelaram que mentimos apenas duas vezes por dia (só 730 vezes por ano!), enquanto pesquisas mais recentes mostram que uma pessoa normal mente três vezes a cada dez minutos de conversa.33 Também, pode-se compreender a utilização e a frequência com que as pessoas mentem, entretanto, essa ocorrência não deve ser entendida como normal ou um novo normal da sociedade tecnológica. Sua reiterada utilização faz com que algo possa parecer aquilo que ele não é, mas com a reiterada repetição a mentira reiterada, pode ser acreditada por alguns. Na atualidade, observa-se que o advento da utilização de novas tecnologias, com o uso de inteligência artificial, se emprega reiteradamente a manipulação de algoritmos, tendo forte impacto na manipulação do meio político/social, que para O`neil: Aunque esa campaña en concreto fue expuesta ante la opinión pública, siguen flotando bajo la superficie centenares de campañas más discretas que van dirigidas a votantes individuales. Estas campañas silenciosas son igualmente fraudulentas y rinden aún menos cuentas que la del Center for Medical Progress. Sueltan bombas ideológicas que los políticos apenas pueden insinuar oficialmente.34 33 CRAIG, David. Como identificar um mentiroso: torne-se um verdadeiro detector de mentiras humano em menos de 60 minutos. Tradução Mirtes Frange de Oliveira Pinheiro. – 1. ed. – São Paulo: Cultrix, 2013. 34 O`NEIL, Cathy. Armas de destrucción matemática. Traducción: Violeta Arranz de la Torre. Madrid: Capitán Swing Editorial, 2019. p. 336. Tradução livre: “Embora essa campanha específica tenha sido exposta ao público, centenas de campanhas mais discretas dirigidas a eleitores individuais permanecem flutuando abaixo da superfície. Estas campanhas silenciosas são igualmente fraudulentas e ainda menos responsáveis do que as do Center for Medical Progress. Eles lançam bombas ideológicas que os políticos mal conseguem sugerir oficialmente”. 133 Nesse sentido, o uso reiterado de informações falsas cria, sorrateiramente, uma explosão doutrinária em que La ideología se reforzaba a sí misma; aquel menosprecio acabó generando ira, que más tarde se convirtió en odio manifiesto.[...] Esto conduce con frecuencia a la autocensura, a gran escala o a pequeña escala, a andar todo el día cuidando lo que se dice o a no decir ni mu en las plataformas que dan forma a los ciclos de noticias, a negarse a compartir opiniones políticas y a ocultar las relaciones interpersonales.35 Isso evidencia que nem todos têm as mesmas capacidades para filtrar as informações — sejam elas verdadeiras ou falsas —, uma vez que partem de contextos desiguais de compreensão da realidade social. Essas desigualdades são agravadas por profundas assimetrias econômicas, sociais e jurídicas, que tornam grande parte da população mais vulnerável em suas relações interpessoais. Nesse contexto, ganha relevância a leitura crítica de Noam Chomsky, especialmente no cenário norte-americano, ao desenvolver uma teoria progressista que questiona os limites do pensamento liberal democrático diante da manipulação da informação: Lippmann estava envolvido com essas comissões de propaganda e valorizava seus feitos. Ele defendia que aquilo que denominava “revolução na arte da democracia” podia ser usado para “construir o consenso”, isto é, obter a concordância do povo a respeito de assuntos sobre os quais ele não estava de acordo por meio das novas técnicas 35 LAVIN, Talia. La cultura del ódio. Traducción: Íñigo García Ureta. Madrid: Capitán Swing Libros, 2021. p. 178-179. Tradução livre: “A ideologia auto-reforçava-se; Esse desprezo acabou gerando raiva, que depois se transformou em ódio aberto. [...] Isso muitas vezes leva à autocensura, em grande ou pequena escala, a andar o dia todo observando o que se diz ou a não dizer nada. nas plataformas que moldam os ciclos noticiosos, recusar partilhar opiniões políticas e ocultar relações interpessoais”. 134 de propaganda política. Ele também achava que essa era uma boa ideia, e, na verdade, necessária. Necessária porque, como dizia, “os interesses comuns escapam completamente da opinião pública” e só podem ser compreendidos e administrados por uma “classe especializada” de” “homens responsáveis” que são suficientemente inteligentes para entender como as coisas funcionam.36 Nesse momento, se tornam cada vez mais claras a utilização de novas técnica advindas do uso da inteligência artificial, que faz com que haja a perpetuação de uma classe dominante no controle dos meios de comunicação e de redes sociais, transformando-se em uma alta sociedade privilegiada e pensante que propagandeia a manipulação da informação como um verdadeiro vírus, multiplicador de mentiras. Para Chomsky, essa teoria sustenta que apenas uma minoria — a elite intelectual, conforme concebida pelos deweynistas — seria capaz de compreender os interesses coletivos e os assuntos de relevância pública, considerados complexos demais para o entendimento das pessoas comuns. Trata-se de uma concepção antiga, com raízes profundas na história do pensamento político, e que guarda notável semelhança com a visão leninista. De acordo com essa perspectiva, uma vanguarda composta por intelectuais revolucionários assumiria o controle do Estado com o apoio de revoluções populares, e posteriormente conduziria as massas, consideradas incapazes de compreender sozinhas o caminho a seguir rumo a um futuro idealizado.37 36 CHOMSKY Noam. Mídia: propaganda política e manipulação. Tradução de Fernando Santos. São Paulo, Editora: Martins Fontes, 2014. p. 4-5. 37 CHOMSKY Noam. Mídia: propaganda política e manipulação. Tradução de Fernando Santos. São Paulo, Editora: Martins Fontes, 2014. p. 4-5. 135 Entretanto, devemos observar um processo de aprofundamento de reiteradas crises político/democráticas com fortes ataques as instituições que fazem o uso das revoluções populares com intuito de chegar ao poder, manter-se e perpetuar-se em uma sociedade desorientada e carente de conhecimentos. Encontrando-se em crise e uma política de choque, Klein ressalta: A menudo, la estrategia de la explotación de la crisis se discutía abiertamente, sin necesidad de oscuras teorías de la conspiración. Al profundizar en el tema, me di cuenta de que esta estrategia llevaba más de cuarenta años siendo la silenciosa aliada de la imposición del neoliberalismo. Observé que las «tácticas de shock» siguen un patrón claro: se espera a que ocurra una crisis [...]se declara un momento de lo que a veces se denominan «políticas extraordinarias», se suspenden algunos o todos los estándares democráticos y, sin dilación, se impone la lista de deseos de las corporaciones.38 Padece-se de uma acreditação e ou desacreditação dos meios públicos e políticos que são fomentados pelo financiamento privado das grandes corporações que dominam o mercado de mídias, tanto analógico, como digital e que colocam em risco os estados democráticos. Urge a necessidade de se estabelecer uma acreditação por meios alternativos e/ou tradicionaism estabelecendo outro patamar em que: 38 KLEIN, Naomi Klein. Decir no no basta. Contra las nuevas políticas del shock por el mundo que queremos. Barcelona: Editorial Paidos. 2017. p. 247-248. Tradução livre: “Muitas vezes, a estratégia de exploração da crise foi discutida abertamente, sem a necessidade de teorias conspiratórias obscuras. À medida que me aprofundei no tema, percebi que esta estratégia tinha sido a aliada silenciosa da imposição do neoliberalismo durante mais de quarenta anos. Observei que as "táticas de choque" seguem um padrão claro: esperar que uma crise ocorra [...] declarar um momento do que às vezes é chamado de "políticas extraordinárias", suspender alguns ou todos os padrões democráticos e, sem demora, o desejo corporativo lista é imposta”. 142 Estamos inmersos en un mundo y una sociedad hiperconectados donde la información se transmite de forma constante, a gran velocidad, prácticamente a la carta y en muchos casos “recomendada” o dirigida. Tras la irrupción de la Inteligencia Artificial (IA) y sus increíbles avances y capacidades, ha surgido un amplio debate respecto a las posibles aplicaciones y oportunidades que nos brinda y respecto a sus riesgos y por tanto, sus límites y su regulación. Un debate a todos los niveles puesto que el uso de IA y la asequibilidad y accesibilidad de los servicios de IA están asociados a preocupaciones sobre la seguridad, salud y protección humanas, la libertad, la privacidad, la integridad, la dignidad, la autodeterminación y la no discriminación. Tal y como señala el Parlamento Europeo3, la IA es la habilidad de una máquina de presentar las mismas capacidades que los seres humanos como el razonamiento, el aprendizaje, la creatividad y la capacidad de planear. Permite que los sistemas tecnológicos perciban su entorno, se relacionen con él y actúen con un fin específico. La máquina recibe datos, los procesa y responde a ellos. Los diferentes sistemas de IA son capaces de adaptar su comportamiento en cierta medida, analizar los efectos de las acciones previas y de trabajar de manera autónoma. Según la definición de la Comisión Europea existen dos tipos de Inteligencia Artificial: software (asistentes virtuales, software de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento de voz y rostro) e inteligencia artificial integrada (robots, drones, vehículos autónomos, Internet de las Cosas). Indudablemente, la IA puede aportar muchos beneficios como son una mejor asistencia sanitaria, un transporte más seguro y limpio o una energía más barata y sostenible. A través de su página web, el Parlamento Europeo reconoce que la IA tiene un papel central en la transformación digital de la sociedad, pasando a ser una prioridad para la Unión Europea (UE). En nuestro día a día encontramos aplicaciones de IA muy diversas, entre ellas, aplicaciones para crear recomendaciones 3 Página web del Parlamento Europeo. 143 personalizadas para los consumidores en compras por internet y publicidad, aplicaciones que tienen gran importancia en la optimización y mayor eficiencia en el comercio, motores de búsqueda que aprenden de datos de usuarios para ofrecer resultados de búsqueda relevantes, asistentes personales digitales, traducciones automáticas, ciberseguridad, en salud o en el transporte. Sin embargo, se trata de una tecnología no exenta de riesgos tanto para los individuos como para la humanidad como colectivo. En el presente trabajo me voy a centrar en dos cuestiones que pueden resultar especialmente problemáticas por la repercusión que ya están teniendo y que pueden llegar a tener tanto en la democracia como en el nuevo orden mundial que está surgiendo: el almacenamiento y tratamiento de los datos de los usuarios y la desinformación. Los sistemas de IA suelen basarse en grandes conjuntos de datos. Estos conjuntos de datos a menudo incluyen datos personales. Esto incentiva la recopilación, el almacenamiento y el tratamiento de datos a gran escala. Los datos a gran escala (Big Data) se refieren al gran volumen de datos, tanto estructurales como no, que se generan a diario. Muchas empresas optimizan sus servicios para recopilar la mayor cantidad de datos posible. El análisis del Big Data permite a las organizaciones descubrir patrones, tendencias y conocimientos que pueden utilizar para tomar decisiones, mejorar la eficiencia y obtener ventajas competitivas. Es una oportunidad para las organizaciones para transformar la información en valor. La llamada Internet de las Cosas, asimismo, es una fuente de datos de rápido crecimiento explotada tanto por las empresas como por los Estados. La recopilación de tan ingente cantidad de datos presenta una serie de desafíos entre los que se encuentran el almacenamiento y procesamiento de los mismos, su análisis y visualización así como la seguridad y privacidad. Tal y como señala el informe El derecho a la privacidad en la era digital 4 , la recopilación de datos se realiza en espacios íntimos, 4 Consejo de Derechos Humanos, El derecho a la privacidad en la era digital, Informe de la Alta Comisionada de las Naciones Unidas para los 144 privados y públicos. Los corredores de datos adquieren, fusionan, analizan y comparten datos personales con innumerables destinatarios. Estas transacciones de datos escapan en gran medida al escrutinio público y están escasamente limitadas por los marcos jurídicos vigentes. Los conjuntos de datos resultantes son vastos y la información recogida alcanza proporciones sin precedentes. Además de exponer la vida privada de las personas a las empresas y los Estados, estos conjuntos de datos hacen a las personas vulnerables en diversos aspectos. Las filtraciones de datos han expuesto en reiteradas ocasiones información delicada de millones de personas. Los grandes conjuntos de datos permiten innumerables formas de análisis e intercambio de datos con terceros, lo que a menudo conlleva otras intromisiones en la privacidad con consecuencias negativas para los derechos humanos. Los acuerdos que permiten a los organismos gubernamentales tener acceso directo a esos conjuntos de datos en poder de las empresas, por ejemplo, aumentan la probabilidad de que se produzcan injerencias arbitrarias o ilegales en el derecho a la privacidad de las personas afectadas. El almacenamiento a largo plazo de datos personales también conlleva riesgos específicos, ya que estos pueden quedar expuestos a futuras formas de explotación que no se preveían en el momento de su recogida. Con el tiempo, los datos pueden volverse inexactos, no pertinentes o arrastrar errores de identificación históricos, dando lugar a resultados sesgados o erróneos en el futuro tratamiento de los datos. Los procesos de toma de decisiones de muchos sistemas de IA son opacos. Derechos Humanos. Consejo de Derechos Humanos, 48º período de sesiones, 13 de septiembre a 1 de octubre de 2021. Temas 2 y 3 de la agenda. Informe anual del Alto Comisionado de las Naciones Unidas para los Derechos Humanos e informes de la Oficina del Alto Comisionado y del Secretario General Promoción y protección de todos los derechos humanos, civiles, políticos, económicos, sociales y culturales, incluido el derecho al desarrollo (A/HRC/48/31 GE.21-12684 17). 145 La complejidad del entorno de datos, los algoritmos y los modelos que subyacen al desarrollo y funcionamiento de estos sistemas, así como el secretismo deliberado de los agentes gubernamentales y privados, son factores que obstaculizan la comprensión del público de sus consecuencias para los derechos humanos y la sociedad. Los sistemas de aprendizaje automático añaden un importante elemento de opacidad, ya que pueden llegar a identificar patrones y desarrollar prescripciones que son difíciles o imposibles de explicar. Esto es lo que se suele denominar el problema de la “caja negra”. La opacidad dificulta el examen significativo de los sistemas de IA y puede ser un obstáculo para la rendición de cuentas efectiva en los casos en que estos sistemas lleguen a causar daños. No obstante, cabe señalar que estos sistemas no tienen por qué ser totalmente inescrutables. Si bien es cierto que los sistemas de IA no se basan exclusivamente en el tratamiento de datos de carácter personal, aunque éstos no sean personales, su uso puede tener consecuencias negativas para los derechos humanos, incluido el derecho a la privacidad, puesto que las herramientas de IA se utilizan profusamente para comprender los patrones y tendencias de comportamiento humano. La IA también se utiliza para evaluar la probabilidad de comportamientos o acontecimientos futuros. Las deducciones y predicciones realizadas mediante IA, a pesar de su carácter probabilístico, pueden servir de base para la adopción de decisiones que afectan a los derechos de las personas, a veces de forma totalmente automatizada5. El citado informe de la Alta Comisionada de las Naciones Unidas para los Derechos Humanos aprecia un riesgo de discriminación inherente a las decisiones basadas en la IA. Los sistemas de IA se basan en grandes bases de datos que contienen información personal compilada, intercambiada, combinada y analizada con métodos diversos y a veces opacos. Los datos que alimentan y orientan a los sistemas de IA pueden ser deficientes, discriminatorios, obsoletos o poco pertinentes. El almacenamiento de datos a largo plazo entraña también riesgos particulares, ya que en el futuro esa 5 Ibidem. 146 información podría aprovecharse de formas difíciles de prever en la actualidad. Por otro lado, la inteligencia artificial se basa en el uso de grandes bancos de datos. El documento revela que, además de exponer la vida privada de las personas a las empresas y los Estados, estos conjuntos de datos hacen que los individuos sean vulnerables de otras maneras. Por ejemplo, el acceso indebido por terceros a esos datos personales ha expuesto repetidamente información sensible de millones de personas. En base a ello, el informe considera que es necesario que tanto las empresas como los Estados incrementen la transparencia en lo que se refiere al desarrollo y aplicación de los sistemas de IA señalando que “la complejidad del contexto estadístico, los algoritmos y los modelos en los que se basa la elaboración y el funcionamiento de los sistemas de IA, así como el carácter secreto que le confieren los gobiernos y los agentes privados, contribuyen a que la población en general no alcance a comprender la repercusión de los sistemas de IA sobre la sociedad y los derechos humanos”6. Por otra parte, el acceso inmediato al conocimiento también ha conllevado el fenómeno conocido como desinformación. La desinformación puede definirse como la creación, difusión o promoción intencionada de información falsa, inexacta o engañosa con el objetivo de influir en la opinión pública, obtener beneficios políticos o económicos, o desestabilizar a individuos, instituciones o sociedades enteras. Implica una intencionalidad maliciosa, tratándose, por tanto, de un acto deliberado de manipulación. Es por ello que se observa, cada vez con mayor frecuencia, que los usuarios se enfrentan a contenidos que, bajo la apariencia de ser veraces, están diseñados para engañar, manipular o generar confusión. La desinformación puede adoptar diferentes formas, entre las que encontramos las noticias falsas o fake news (contenido que simula ser periodístico, pero es completamente inventado o distorsionado), contenido manipulado (imágenes, vídeos o audios editados para alterar su significado original), contexto falso (información 6 Ibidem. 147 veraz que se presenta fuera de contexto para inducir a error) y citas inventadas o tergiversadas (frases atribuidas falsamente a figuras públicas), entre otras. Las fake news o noticias falsas han sido protagonistas en elecciones, referéndums y conflictos geopolíticos recientes. La desinformación, la propaganda y las operaciones psicológicas (las llamadas PsyOps) no son nuevas, se han utilizado como herramientas o armas desde tiempos remotos. Tal y como señalan Ortigosa y Mallavibarrena, en estos últimos quince años, donde las redes sociales acogen y conducen grandes debates públicos sobre todo tipo de temas, hemos visto nacer como sociedad un nuevo fenómeno que no es más que una nueva generación de técnicas de desinformación basadas en los últimos avances de la tecnología. Fuentes presuntamente “confiables” en Internet nos informan de sucesos falsos o tergiversan al máximo noticias reales, mezclando dicha información (más o menos precisa y objetiva) con imágenes o grabaciones de vídeo que (de forma artificial) demostrarán la veracidad de dicha noticia. Los objetivos de estas noticias pueden ser diversos, incluyendo los económicos (si pueden generar beneficios a terceros en operaciones de bolsa o inversiones, por ejemplo), reputacionales (dañar la imagen pública de ciertas personalidades), tácticos (afectar a la confianza de las personas en una institución) o de tipo hacktivista (lanzar sus mensajes de forma especialmente llamativa)7. El principal problema con este tipo de actividades es que, como sucede a nivel general en Internet, no es sencillo identificar a las fuentes ni asociar dicha actividad con zonas geográficas concretas. Así, es posible usar identidades falsas e incluso actuar bajo “falsa bandera”. En consecuencia, es muy difícil valorar el grado de confianza que podemos tener en una determinada fuente o en una noticia. Muchas personas que consultan noticias en el teléfono móvil raramente verán los informativos de televisión con la debida atención o leerán prensa escrita. De esta forma, no habrá una fuente 7 Ortigosa Álvaro y Mallavibarrena Martiniano, “Fake news: no me leas que no te creo”, The Conversation, 3 de abril 2019. 148 confiable para contrastar la noticia y será fácil impresionar a una audiencia que, cada vez más, confía o decide no dedicar mucho tiempo a analizar la fiabilidad de la información que le llega8. Tal y como señalan Sánchez y Salazar, la conjunción entre fake news y las plataformas digitales es ideal para aquellos que buscan minar la credibilidad, confianza y seguridad de los ciudadanos en las entidades oficiales y en los servicios que éstas prestan. Entre estos organismos afectados se encuentran los electorales y, en consecuencia, también la democracia. Apuntan como causas las siguientes cinco: las redes sociales son instrumentos bidireccionales de comunicación; existe una masiva circulación de información que impide que los ciudadanos puedan validar o verificar cada una de las informaciones que reciben; las redes sociales se convirtieron en medios de denuncia pública y remplazaron a los medios tradicionales a los que apelaban los ciudadanos al interactuar con las entidades públicas; hay una acentuada y falsa creencia de que lo que ocurre en las redes escapa del control legal y judicial, y por último, los ciudadanos reciben información de forma masiva a partir de algoritmos que las mismas redes crean con la denominada “burbuja de interés” (el receptor es constantemente bombardeado con información sobre temas que son de su interés o con aquellos sobre los cuales tiende a mostrar algún tipo de repulsa) . Todo lo anterior 8 Ibidem. La viralidad es un método ágil de transmisión de la información en el que muchas personas retransmiten estas “noticias” que han recibido a sus contactos. Partiendo de un único mensaje original, podremos alcanzar a miles o quizás millones de personas. Cuanto más llamativa o escandalosa nos parezca la información recibida, más nos sentiremos obligados a compartirla (voluntariamente) con nuestra red. Esta comunicación puede ser realizada a través de redes sociales como Facebook o Twitter, donde terceros y autoridades podrán observar el proceso, y en Whatsapp, donde estas transferencias funcionan como un vulgar rumor y son mucho más difíciles de trazar o incluso perseguir, si fuera el caso. 149 conlleva la hegemonía de los sentimientos sobre el análisis racional de la información que se recibe9. El informe elaborado por el MIT en 2018 ya puso de manifiesto que este tipo de noticias se transmiten por Internet a una velocidad muy superior a las “reales”10 . Con este tipo de técnicas, agentes maliciosos podrán crear y hacer crecer noticias escandalosas, malintencionadas y casi siempre confusas. Respecto a las causas de la proliferación de la desinformación se observa que no es un fenómeno aislado, sino que es el resultado de múltiples factores interrelacionados. En primer lugar, un factor importante son las redes sociales y los algoritmos virales dado que las plataformas, en términos generales y a falta de regulación expresa al respecto, priorizan el contenido que genera interacción, sin verificar su veracidad. En segundo lugar, la falta de educación mediática conlleva que muchos usuarios no posean las herramientas necesarias para identificar fuentes fiables o contrastar la información. Un tercer factor relevante es la actual polarización política y social en la que los discursos extremos alimentan narrativas falsas que refuerzan prejuicios. Los intereses económicos y geopolíticos son un cuarto factor a tener en cuenta dado que la desinformación se utiliza como arma estratégica en conflictos políticos o comerciales. Por último, cabe destacar lo que se podría denominar analfabetismo digital entendido como el desconocimiento sobre cómo funcionan las tecnologías digitales y cómo éstas puede favorecer la manipulación. La desinformación tiene un gran impacto en la mayoría de ámbitos de la vida social, económica y política, afectando de forma directa a la convivencia y la cohesión social. La desinformación puede 9 Sánchez Iregui Javier Felipe y Salazar Foglia Daniel Felipe, ”Plataformas digitales y fake news: ¿una amenaza a la democracia?” DEMOCRACIA ACTUAL, Vol. 6, No. 1, enero - junio 2021, pp.44-62, ISSN: 2745-0295 (En línea). 10 Soroush Vosoughi, Deb Roy and Sinan Aral, “The spread of true and false news online”, Science, 9 de marzo de 2018. 150 alimentar el odio, la xenofobia, la discriminación y la violencia. Se promueven narrativas polarizadas que fragmentan el tejido social y dificultan el diálogo. Como estamos observando, sobre todo desde la campaña electoral de EEUU en 2016, en la política y la democracia las campañas de desinformación pueden influir en procesos electorales, erosionar la confianza en las instituciones y fomentar el extremismo y la polarización de la sociedad. Para poder hacer frente a la desinformación se requiere una respuesta coordinada entre todos los actores implicados: ciudadanos, gobiernos, plataformas tecnológicas, medios de comunicación y el sistema educativo. Algunas estrategias esenciales incluyen la educación en alfabetización mediática y digital desde edades tempranas: es fundamental enseñar a evaluar críticamente la información que consumimos fomentando el pensamiento crítico y un uso consciente, crítico y responsable de las nuevas tecnologías y redes sociales para estar preparados para los desafíos y oportunidades que plantea la vida digital. Asimismo, es muy importante comprender cómo funcionan los algoritmos. Otra estrategia consiste en desarrollar una legislación y regulación en los que los marcos legales puedan adaptarse para penalizar la difusión de contenidos falsos cuando supongan un riesgo real para la sociedad, sin menoscabar la libertad de expresión. También es importante la transparencia en redes sociales mediante una mayor responsabilidad de las plataformas digitales en la moderación de contenidos, la transparencia en sus algoritmos y la lucha activa contra campañas organizadas de desinformación. Por último, se alude al fomento del periodismo de calidad a través de una prensa libre, profesional e independiente como principal antídoto contra la desinformación (es clave apoyar medios que verifiquen los hechos, contrasten fuentes y fomenten el pensamiento crítico)11. Desde las Naciones Unidas se se anima a los Estados a fomentar y proteger a los medios de comunicación libres e independientes y a maximizar la transparencia y el acceso a la información, con el fin de generar confianza en las instituciones 11 Tirant lo Blanch, Noticias, “¿Qué es la desinformación y por qué es un riesgo para la sociedad?”, 13 de mayo de 2025. 151 públicas, la gobernanza y los procesos. También deben promover la participación pública a todos los niveles y posibilitar diálogos y debates significativos. El Secretario General de Naciones Unidas António Guterres señaló que la pandemia COVID-19 magnificó tanto la brecha digital y el lado oscuro de la tecnología como la rapidísima propagación de la desinformación o la manipulación del comportamiento de las personas. Puso de manifiesto que solo podremos hacer frente a estos retos unidos, mediante una cooperación reforzada: estableciendo normas claras para salvaguardar los derechos humanos y las libertades fundamentales, recuperando el control sobre nuestros datos, y contrarrestando la desinformación y el discurso del odio12. En este punto cabe destacar el Plan de Acción para una respuesta coordinada contra la desinformación. Este Plan de Acción fue presentado y aprobado en el Consejo Europeo de los días 13 y 14 de diciembre de 2018. De su contenido destaca, por su calado práctico, la creación, materializada en marzo de 2019, de un Sistema de Alerta Rápida (RAS) con puntos de contacto nacionales para alertar instantáneamente sobre campañas de desinformación a través de una infraestructura tecnológica específica y para intercambiar información entre los Estados miembros y la Unión. Este Sistema asegura la necesaria coordinación entre los socios europeos y facilita tanto la monitorización de las redes para detectar campañas y acciones de desinformación como, eventualmente, el diseño de respuestas comunes cuando resulte necesario. Se evidencia que juega un papel clave en este punto la promoción de herramientas tecnológicas de verificación. La inteligencia artificial puede ayudar a detectar patrones de desinformación, rastrear contenidos falsos y alertar a los usuarios antes de compartir información dudosa. No debemos olvidar que algunas aplicaciones de la Inteligencia Artificial pueden detectar noticias falsas y 12 Videomensaje del Secretario General para inauguración del 16º Foro para la Gobernanza de Internet: "Internet unida", 7 de diciembre de 2021. 254 Essa separação conceitual permite refletir sobre quais sujeitos podem ocupar a posição de titular de um conteúdo gerado por IA, ainda que este conteúdo careça de autoria em sentido estrito. Uma contribuição importante para essa discussão foi formulada por Pamela Samuelson, 22 que propôs, já em 1986, cinco modelos teóricos para a alocação dos direitos de propriedade intelectual em obras criadas por computador. Essas hipóteses continuam relevantes para o debate atual, mesmo após quase quatro décadas, pois anteciparam, com notável precisão, os dilemas jurídicos contemporâneos. Escreve Pamela Samuelson: “Existem pelo menos cinco possibilidades de alocação de propriedade: pode-se decidir alocar interesses de propriedade intelectual na saída para o computador, o usuário, o autor do programa gerador, ambos em conjunto, ou ninguém.”.23 Um computador pode ser um autor? Pamela Samuelson, nesse ponto, explora e refuta a hipótese de considerar o computador como autor. Afirma que a Comissão Nacional sobre Novos Usos Tecnológicos (CONTU) já havia concluído que computadores são meramente instrumentos, como câmeras ou máquinas de escrever, sem criatividade própria. Mesmo que possam produzir com originalidade suficiente para qualificar uma obra para proteção autoral, não têm intenção nem consciência, elementos considerados centrais à autoria.24 O usuário é o autor? Samuelson defende que o usuário deve ser reconhecido como autor, mesmo quando sua intervenção é mínima. Sustenta essa posição tanto em base doutrinária (usuário como agente de fixação) quanto em termos de política pública (o usuário já pagou pelo uso do programa e é quem viabiliza o acesso à obra). A analogia com a gravação de jazz improvisado é usada para ilustrar 22 SAMUELSON, Pamela. “Allocating ownership rights in computer-generated works”. University of Pittsburgh Law Review, v. 47, p. 1185-1228, 1985. (Tradução livre). 23 SAMUELSON, ob. cit., p. 1190. 24 SAMUELSON, ob. cit., p. 1192-1200. 255 que mesmo ações simples (como pressionar “gravar”) podem gerar autoria.25 O programador como Autor? Argumenta que atribuir a autoria ao programador seria uma distorção da doutrina, pois este não concebe nem fixa diretamente a obra gerada. A ideia de autoria direta pelo programador é frágil, pois ele não exerce controle sobre a geração específica de conteúdo. A proposta de considerar a saída como um “trabalho derivado” do programa também é criticada: obras geradas por computador geralmente não incorporam elementos expressivos reconhecíveis, e a definição legal de “obra derivada” exige essa incorporação.26 Coautoria entre usuário e programador? A quarta proposta, de coautoria entre programador e usuário do sistema, é considerada impraticável: falta animus colaborativo, não há intenção conjunta nem harmonia de interesses típica de obras em coautoria. A fragmentação de direitos também seria contraproducente e difícil operacionalização.27 Por que alocar direitos a alguém? Finalmente, Samuelson examina a possibilidade radical de deixar a saída gerada em domínio público. Embora coerente com princípios tradicionais de incentivo à criatividade humana, a proposta é rejeitada por inviabilidade prática e porque desencorajaria a divulgação de obras. Defende que o usuário, estando mais bem posicionado para avaliar, modificar e comercializar a saída, deve receber os direitos.28 Passados quase quarenta anos, em novo artigo, publicado em 2020, Pamela Samuelson reafirma a posição de que os produtos gerados por IA devem ser titularizados pelo usuário do sistema de inteligência artificial, e o faz sob os seguintes fundamentos: 25 SAMUELSON, ob. cit., p. 1200-1204. 26 SAMUELSON, ob. cit., p. 1205-1221. 27 SAMUELSON, ob. cit., p. 1221-1224. 28 SAMUELSON, ob. cit., p. 1225-1228. 256 A resposta pragmática para o enigma da autoria por IA, como já argumentei em outros momentos, é que o usuário, responsável por gerar as saídas, deve ser considerado o autor. Se alguém precisa ser designado como titular dos direitos sobre essas criações, esse alguém deve ser o usuário. Essa pessoa é quem possui as saídas, quem identificou o potencial valor comercial delas e, em geral, encontra-se mais bem posicionada para avaliar e explorar esse valor. Além disso, como nos casos de escrita automática e no caso Feilin, o usuário frequentemente adapta, reorganiza, edita ou de outra forma ajusta as saídas para torná-las adequadas à comercialização. Se alguém precisa de incentivos de direitos autorais para transformar saídas brutas em produtos comercialmente viáveis, é o usuário. Ademais, o usuário provavelmente já pagou ao proprietário dos componentes do software de IA pelo direito de usá-los para gerar essas saídas.29 No contexto brasileiro, não há norma específica que defina a titularidade de bens criados por IA. A doutrina nacional, contudo, tem se inclinado à atribuição de titularidade ao usuário humano, especialmente quando este exerce papel ativo no processo criativo, isto é, quando a obra é criada por humano com assistência de IA.30 Esse entendimento se alinha à ideia de que o usuário do sistema de IA fornece os comandos, define o estilo, faz escolhas seletivas, e realiza a curadoria dos resultados. Mesmo que a 29 SAMUELSON, Pamela. “AI authorship? Considering the role of humans in copyright protection of outputs produced by artificial intelligence”. Communications of the ACM, New York, v. 63, n. 7, p. 22. (Tradução livre). 30 COSTA NETTO, José Carlos. “Obras intelectuais protegidas e produtos de inteligência artificial (PIA) - Regiões fronteiriças”. Revista de Direito Civil Contemporâneo, São Paulo, v. 41, n. 11, p. 275-312, out./dez. 2024. 257 execução técnica recaia sobre o sistema automatizado, o usuário atua como vetor de intencionalidade e direcionamento estético. Esse modelo também se aproxima da lógica consolidada no direito brasileiro, segundo a qual é possível que alguém detenha a titularidade de uma obra intelectual sem ser seu autor, sobretudo de direitos patrimoniais sobre a obra. Além disso, ao gerar uma imagem por IA mediante comando intencional, o usuário investe recursos (tempo, conhecimento, finalidade) e assume a responsabilidade pelos usos e efeitos daquele conteúdo. Essa dimensão funcional reforça o argumento em favor de seu reconhecimento como titular dos resultados. Entretanto, é necessário reconhecer os limites dessa titularidade. Em primeiro lugar, o usuário não é autor e, portanto, não detém direitos morais sobre o conteúdo gerado. Não pode, por exemplo, pleitear proteção à integridade da obra ou à sua reputação como criador. Em segundo lugar, a titularidade patrimonial não deriva de originalidade criadora, mas de apropriação e controle do processo técnico, o que implica uma proteção mais tênue. Essa distinção entre autoria e titularidade será essencial para o desenvolvimento de regimes jurídicos específicos para produtos de IA. Uma eventual legislação futura poderá adotar soluções híbridas, como a criação de direitos conexos ou sui generis, conferindo ao usuário a possibilidade de licenciar, transferir ou excluir terceiros do uso da imagem gerada, sem lhe atribuir status autoral pleno. Portanto, a titularidade da imagem criada por IA não deriva de autoria, mas de fatores funcionais e negociais. A centralidade da intervenção humana, a apropriação intencional do resultado e a estruturação jurídica por meio de contratos e licenças são elementos que justificam o reconhecimento de um direito de uso exclusivo em favor do usuário. Isso permite que a imagem seja inserida no mercado com segurança jurídica, mesmo diante da ausência de autoria formalmente reconhecida. 258 A IMAGEM PRODUZIDA PELA IA NA LINHA EVOLUTIVA DAS RES INCORPORALES GAIANA. O produto gerado por sistemas de inteligência artificial, especialmente as imagens produzidas a partir de descrições textuais (text-to-image) de autoria humana, impõe uma reconsideração dos conceitos jurídicos clássicos de bem, valor e proteção. Se não é possível tratá-lo como “obra autoral” nos termos da Lei n.º 9.610/1998, resta indagar: é esse produto um bem jurídico? E, em caso afirmativo, qual regime jurídico é aplicável à sua tutela patrimonial? A imagem gerada por inteligência artificial, por sua natureza digital e incorpórea, pode ser classificada como uma manifestação específica do gênero dos bens digitais.31 A qualificação jurídica desses produtos como bens permite a aplicação do regime proprietário herdado da tradição romana, particularmente no que se refere à exclusividade de uso e fruição. Essa possibilidade será examinada adiante. A noção de res incorporalis tem sido constantemente retomada como ferramenta conceitual para enfrentar os desafios contemporâneos do direito privado, sobretudo nos contextos em que a inovação tecnológica tensiona categorias jurídicas tradicionais, desencadeando reconfigurações institucionais na ordem civil. Nessa linha argumentativa, a presente seção revisita a origem da dicotomia entre res corporales e res incorporales no Direito Romano, com destaque para a sistematização de Gaio (2.1214),32 para, em seguida, examinar a ampliação da lista de coisas incorpóreas no século XIX e, por fim, testar sua aplicação às imagens geradas por IA. 31 LEHAVI, Amnon. Property law in a globalizing world. Cambridge: Cambridge University Press, 2019, p. 173. 32 Gaio, Institutiones, em J. A. Segurado e Campos (trad.), Instituições de direito privado romano, Lisboa: Fundação Calouste Gulbenkian, Serviço de Educação e Bolsas, 2010, p. 167. 259 A escolha do movimento codificador oitocentista como ponto de partida para a análise não é arbitrária. Conforme observa Pugliese, 33 foi somente nesse período que se consolidou a vinculação entre as criações intelectuais e a categoria das res incorporales, de inspiração romana. Embora os direitos privados sobre tais criações já fossem anteriormente reconhecidos, não há indícios de que tenham sido formalmente associados àquela tradição conceitual.34 Como conclui o autor, “somente a doutrina do século XIX vinculou explicitamente essas obras à res incorporalis romana, delineando uma lista em que uma aparecia ao lado da outra.”.35 No contexto brasileiro, essa mudança é anunciada por Clóvis Beviláqua ao destacar o papel das novas tecnologias no surgimento dos direitos intelectuais. Segundo ele, a invenção da imprensa e da gravura possibilitou a multiplicação dos escritos e das obras de arte, viabilizando sua exploração em escala industrial e, com isso, a necessidade de uma tutela jurídica patrimonial específica.36 Dessa 33 Mesmo no século XX, escreve Pugliese, a base desse liame nem sempre está presente, porque há contestação à qualificação das criações intelectuais como bens do ponto de vista jurídico e sua equiparação à categoria de res. (PUGLIESE, Giovanni. “Dalle res incorporales del diritto romano ai beni immateriali di alcuni sistemi giuridici odierni”. Rivista Trimestrale di Diritto e Procedura Civile, vol. XXXVI, 1982, p. 1175). 34 PUGLIESE, ob. cit, p. 1175-1176. 35 PUGLIESE, ob. cit, p. 1178. 36 Sobre a importância da máquina de Gutemberg para o desenvolvimento conceitual da res incorporalis a partir da necessidade de catalogação das criações do espírito, escreve Clóvis Beviláqua: - “Foi com a descoberta da imprensa e da gravura que, facilitada a multiplicação dos escriptos e obras d’arte, se tornaram possíveis a exploração industrial das producções do espirito, e o conseqüente reconhecimento de um novo direito, que a antigüidade, realmente, desconhecera, embora desse grande valor ás obras d’arte e alto preço custassem copias de obras appetecidas. Mas, então, as obras literárias e artisticas divulgavam-se, escassamente, por circulos limitados de affeiçoados. Com a imprensa mudou-se a situação.”. (BEVILÁQUA, Clóvis. Direito das Coisas. Vol. 1, Brasília, Senado Federal, 2003, p. 267-268). 260 forma, o movimento codificador moderno surge, no presente estudo, como marco inaugural para a proposta de aplicação do conceito de res incorporalis ao produto gerado por inteligência artificial, com vistas à sua apropriação jurídica por parte do usuário do sistema. Na formação da bipartição gaiana, Raymond Monier37 indica o curso evolutivo da diferenciação entre coisas corpóreas e incorpóreas, originalmente uma distinção filosófic38 e gramatical39 que se tornou relevante para o Direito. 40 Por que essa diferenciação irradiou seus efeitos ao Direito? 41 Porque Gaio precisava explicar o porquê de chamar “direitos” de “coisas”.42 Na 37 MONIER, Raymond. “La date apparition du dominium et la distinction des res en corporales et incorporales”. In Studi in onore di Siro Solazzi, Nápoles, Jovene, 1948, p. 357-374. 38 CORREIA, Alexandre; SCIASCIA; Gaetano. Manual de Direito Romano. 5.ª ed., Rio de Janeiro: Sedegra, 1994, p. 49-50. 39 MONIER, ob. cit., p. 364. 40 MONIER, ob. cit., p. 357. 41 Escreve Pugliese: - “Isso, portanto, compreendia, segundo ele, apenas res, as quais, no entanto, se distinguiam em corporales (aquelas das quais o sujeito tinha a propriedade) e incorporales (os direitos dos quais ele era titular, por possuírem valor econômico e, evidentemente, distintos da propriedade). Assim, tem-se também uma resposta à primeira parte da pergunta formulada acima: por que Gaio chamou de coisas (res) os direitos.” (PUGLIESE, ob. cit., p. 31141). 42 Sobre a ausência de fundamento para a antítese res e iura, no sentido do questionamento de Pugliese, pontua Franco Baldessarelli: - “Em segundo lugar, parece-nos que a distinção entre corpora (corpos) e iura (direitos), que é considerada por muitos romanistas como tendo um significado idêntico à oposição entre res corporales (coisas corpóreas) e res incorporales (coisas incorpóreas), não teve uma ampla ressonância entre os juristas romanos. Na nossa opinião, essa qualificação, se não exclusivamente promovida por Gaio, era conhecida apenas por muito poucos juristas e não constituía de forma alguma uma ideia central na jurisprudência romana. Portanto, a pretensão de deduzir dessa qualificação a conclusão de que, para os romanos, os iura eram coisas, embora imateriais, carece de qualquer fundamento.”. (Tradução livre). 261 visão de Gaio, o patrimônio compreendia exclusivamente res, as quais foram subdivididas em corporales, correspondentes aos bens (“coisas”) sobre os quais o indivíduo exercia domínio, dotadas de valor econômico e conferindo ao titular exclusividade de uso, e incorporales, que representavam os “direitos” pertencentes ao titular, desde que possuíssem valor econômico e não se confundissem com a propriedade em si.43 Assim, a res incoporalis nada mais é senão elemento do patrimônio, dotada de valor econômico e distinto do objeto corpóreo da propriedade (res corporalis), por sua intangibilidade e existência restrita aos planos intelectual e jurídico. Isso ocorre porque a classificação dos “direitos” no sentido de “coisas” não decorre de sua natureza enquanto “direitos”, mas unicamente por seu valor econômico. Ou seja, somente na medida em que integram o patrimônio é que tais “direitos” recebem a designação de “coisas”. A partir da premissa de que o rol exemplificativo das res incorporales gaiano constitui um mecanismo de homogeneização do patrimônio, compartilhando, entre todos os seus elementos, as características comuns da imaterialidade e patrimonialidade, passa-se à análise da inclusão das obras intelectuais no rol das res incorporales, com base na “lista” de Windscheid. Ao discorrer sobre o conceito de coisa e distinguir entre coisas corpóreas e incorpóreas, Windscheid alarga o rol das res incorporales romana, ao catalogar as “produções intelectuais” como coisas incorpóreas, (BALDESSARELLI, Franco. “A proposito della rilevanza giuridica della distinzione tra res corporales e res incorporales nel diritto romano clássico”. Revue internationale des droits de l’antiquité, vol. 37, 1990, p. 90-91). 43 Por valor econômico, no sentido de patrimonialidade, entende-se, com João Carlos Mettlach-Pinter, “a existência de bens que podem, em eventual troca, receber estimação pecuniária, ou, vedada a troca, fornecer utilidade que, de outra forma, seria obtida onerosamente”. (METTLACH-PINTER, João Carlos. Summa divisio do direito civil patrimonial: estrutura, sistematização e sentido da distinção entre direitos reais e obrigacionais. Curitiba: Juruá, 2023, p. 426). 262 atribuindo-lhes eficácia erga omnes.44 Ao ampliar a lista das res incorporales, o fundamento anterior é alterado, pois enquanto a bipartição gaiana tinha por escopo homogeneizar os elementos do patrimônio, e distinguir “direitos” de “coisas”, Windscheid relaciona as coisas incorpóreas como “objeto” de relação jurídica.45 No Brasil, Teixeira de Freitas propõe abandonar a bipartição gaiana, substituindo-a pela distinção entre “bens” e “objetos”. De fato, em um giro de copernicano, Teixeira de Freitas, na frase inaugural dos comentários ao art. 317 do Projeto, propõe “que fique no esquecimento” a divisão gaiana de “cousas corporeas” e “cousas incorporeas”, seja no sentido de parte integrante do patrimônio, seja como objeto de relação jurídica.46 Em seguida, sugere o emprego de “bens” e “objetos” como técnica para atender o escopo doutrinal da divisão.47 Para Texeira de Freitas, os objetos imateriais suscetíveis de uma medida de valor não são coisas (art. 319), mas sim “bens”. Assim, as coisas e os objetos imateriais com valor 44 “§ 41. Direitos absolutos e relativos. Direitos absolutos são aqueles que têm efeito sobre todos, direitos relativos são aqueles que têm efeito apenas sobre uma única pessoa ou um número limitado de pessoas. Direitos pessoais são direitos relativos. Os direitos reais e os direitos sobre a própria pessoa são direitos absolutos. Mas eles não são os únicos direitos absolutos. Também o vínculo familiar, na medida em que pode estar sujeito a perturbações externas, dá origem a direitos contra qualquer pessoa. [...]. Se ultrapassarmos o âmbito do direito romano, também as produções intelectuais — obras científicas e artísticas, invenções etc. — devem, no sentido aqui pertinente, ser designadas como coisas incorpóreas. O direito moderno as trata como objetos de relações jurídicas, assim como os bens corpóreos.”. (WINDSCHEID, Bernardo. Diritto delle pandette, trad. de Carlo Fadda e Paolo Emilio Bensa, vol. 1, Torino: Unione Topografico-Editrice Torinese, 1925, p. 117. 45 FADDA, Carlo; BENSA, Paolo Emilio, “Note dei traduttori al libro primo”. In WINDSCHEID, Bernardo. Diritto delle pandette, vol. IV, Torino: Unione Topografico-Editrice Torinese, p. 186 e 190. 46 FREITAS, Augusto Teixeira de. Código Civil: Esboço, vol. II, Rio de Janeiro: Typographia Universal de Laemmert, 1860, p. 213. 47 FREITAS, ob. cit., p. 214. 263 permutável, são bens.48 No plano teórico, como se percebe, a riqueza conceitual da bipartição gaiana é discutida abertamente por Teixeira de Freitas que, ao propor nova classificação, mantém íntegro o escopo de Gaio, isto é, homogeneizar o patrimônio, agora composto por coisas e por objetos, elementos dos direitos, materiais e imateriais suscetíveis de apreciação econômica. O Código Civil de 1916, oriundo do Projeto Clóvis Beviláqua, 49 adotou a expressão “propriedade literária, científica e artística” (parágrafo único do art. 524). No Capítulo VI, do Título II, encontram-se características herdadas da tradição gaiana, conforme aqui analisadas. No que diz respeito à exclusividade, o autor detém o direito exclusivo de reproduzir a obra literária, científica ou artística (art. 649). Quanto à patrimonialidade, os direitos do autor são classificados como bens móveis (art. 48, III), ou seja, bens no sentido jurídico, dotados de valor econômico. Por fim, no tocante à imaterialidade, pressuposto da bipartição gaiana e atributo essencial da res incorporalis, Beviláqua situa as produções intelectuais como “coisas espirituais”, que, ao lado das coisas existentes no mundo físico, também ingressam na esfera do direito patrimonial. Atualmente, o conceito de bem jurídico, no campo do Direito Civil brasileiro, não se limita às coisas corpóreas. Conforme o artigo 82 do vigente Código Civil de 2002, são considerados bens móveis “os suscetíveis de movimento próprio, ou de remoção por força alheia, sem alteração da substância ou da destinação econômico-social.” Nesse contexto, não apenas os objetos materiais, mas também os entes incorpóreos podem ser qualificados como bens, desde que suscetíveis de apropriação e valor econômico. 48 “Mas estes outros objectos, e igualmente as cousas, terão o nome de bens. Em seu complexo os bens formão o patrimonio das pessoas, e constituem toda a riqueza nacional e particular.”. (FREITAS, ob. cit., p. 223). 49 BEVILÁQUA, Clóvis. Em Defesa do Projecto de Código Civil Brazileiro. Rio de Janeiro: Livraria Francisco Alves, 1906, p. 114-123. 270 MONIER, Raymond. “La date apparition du dominium et la distinction des res en corporales et incorporales”. In Studi in onore di Siro Solazzi, Nápoles, Jovene, 1948, p. 357-374. NONFUNGIBLE CORPORATION. Quarterly NFT Market Report: Q3 2022. [S.l.]: NonFungible Corporation, 2022. Disponível em: https://nonfungible.com. Acesso em: 12 jun. 2025. PUGLIESE, Giovanni. “Dalle res incorporales del diritto romano ai beni immateriali di alcuni sistemi giuridici odierni”. Rivista Trimestrale di Diritto e Procedura Civile, vol. XXXVI, 1982, p. 1135-1198. ROMÁN, Fernando Bondía. “Los derechos sobre las fotografías y sus limitaciones”. Anuario de Derecho Civil, Vol. 59, nº 3, p. 1065-1114. Disponível em: https://www.boe.es. Acesso em: 21 jun. 2025. ROMÁN, Fernando Bondía. “Propiedad intelectual y uso social y académico de la fotografia”. In Jornadas Imagen, Cultura y Tecnología, 2., 2003, Getafe, Madrid. AMADOR CARRETERO, Pilar; ROBLEDANO ARILLO, Jesús; RUIZ FRANCO, Rosario (eds.). Madrid: Universidad Carlos III; Editorial Archiviana, 2004, p. 29-38. Disponível em: https://hdl.handle.net/10016/9527. Acesso em: 21 jun. 2025. SAMUELSON, Pamela. “AI authorship? Considering the role of humans in copyright protection of outputs produced by artificial intelligence”. Communications of the ACM, New York, v. 63, n. 7, p. 20–22, jul. 2020. Disponível em: https://doi.org/10.1145/3401718. Acesso em: 21 jun. 2025. SAMUELSON, Pamela. “Allocating ownership rights in computer-generated works”. University of Pittsburgh Law Review, v. 47, p. 1185-1228, 1985. Disponível em: https://www.law.berkeley.edu. Acesso em: 20 jun. 2025. SAMUELSON, Pamela. “Generative AI meets copyright”. Science, Washington, DC, v. 381, n. 6654, p. 158-161, 14 jul. 2023. DOI: 10.1126/science.adi0656. Acesso em: 21 jun. 2025. SOUZA, Alessandro Vitor de; SOUZA, Érika Aparecida de Moura e; CRUZ, Tânia Cristina da Silva; ANDRADE, Rafael Leite Pinto de. “Direito autoral e inteligência artificial (IA): o paradigma da intelectualidade humana e a personalidade jurídica eletrônica em debate”. Revista Foco, v. 17, n. 9, p. e6223, 2024. DOI: 10.54751/revistafoco.v17n9-131. Disponível em: https://ojs.focopublicacoes.com.br/foco/article/view/6223. Acesso em: 22 jun. 2025. US COPYRIGHT OFFICE. Zarya of the Dawn. 21 fev. 2023. Disponível em: www.copyright.gov/docs/zarya-of-the-dawn.pdf. Acesso em: 3 jun. 2025. 271 VALE, Amanda Veríssimo Almeida. Direitos autorais na arte digital e o desafio da inteligência artificial. 2023. Monografia (Graduação em Direito) - Universidade Federal do Piauí, Teresina, 2023. Orientador: Prof. Dr. Éfren Paulo Porfírio de Sá Lima. WINDSCHEID, Bernardo. Diritto delle pandette, trad. de Carlo Fadda e Paolo Emilio Bensa, vol. 1, Torino: Unione Topografico-Editrice Torinese, 1925. ZANINI, Leonardo Estevam de Assis. Direito de autor. São Paulo: Saraiva, 2015.