La toma de decisiones automatizada y el control de la humanidad

7 LA TOMA DE DECISIONES AUTOMATIZADA Y EL CONTROL DE HUMANIDAD Fernando H. Llano Alonso Decano de la Facultad de Derecho Universidad de Sevilla (España) INTRODUCCIÓN La relación entre el ser humano y la Inteligencia Artificial (IA) ante el horizonte de la singularidad ha alimentado tradicionalmente la imaginación de los autores que cultivan el género de la ciencia ficción y la distopía. En la mayoría de estas novelas distópicas son las máquinas inteligentes las que terminan controlando a la humanidad, ante la imposibilidad de ésta de competir con un adversario infinitamente superior en velocidad de procesamiento de datos, capacidad de almacenamiento de información, resistencia y precisión en la ejecución de tareas, y sobre todo en aprendizaje. Cuando los humanos crearon un ordenador capaz de almacenar la información y aprender de ella, firmaron la sentencia de muerte de la humanidad. Con esta cita se inicia Dune. La yihad butleriana (2004), primera novela de la trilogía de Brian Herbert y Kevin J. Anderson sobre Leyendas de Dune, que a su vez es el preludio de la saga Dune de Frank Herbert. Quizás sea esta la primera novela a contracorriente de la mayoría de novelas futuristas y distópicas en la que los últimos humanos libres se revelan en los Planetas Sincronizados, bajo el liderazgo de Serena Butler, contra el dominio de las máquinas pensantes desarrolladas con IA (todas ellas subsumidas en el supercomputador Omnius) y consiguen vencerlas rotundamente. Así describen Herbert y Anderson el comienzo del 8 fin del ciclo de dominio de las máquinas inteligentes y autoconscientes sobre los humanos: Desde las profundidades de sus ciudades de energía, Omnius observaba la Tierra. Sus ojos espía grababan cada fase del audaz ataque humano. Vio que las tornas cambiaban (Herbert-Anderson, 20115, 619) A diferencia de otras novelas y películas de ciencia ficción, Dune supone una rara excepción a la resignación con la que los seres humanos aceptan la llegada de la era de la posthumanidad. Por ello, apelando precisamente al espíritu indómito de los últimos seres humanos autoconscientes y a su ansia de libertad, Serena Butler prende la llama de la rebelión contra las máquinas pensantes. Hay en esta novela una voluntad de resistencia colectiva de los seres humanos conscientes de su condición de sujetos morales y, por ende, dotados de conciencia moral, sentido de la responsabilidad y sabiduría práctica, de su derecho a la libertad y a la dignidad, a pesar de la opresión que sufren de facto a causa de la Singularidad tecnológica. A propósito de la inmersión de la humanidad en el universo de la Singularidad se pregunta Slavoj Žižek si la entrada de la especie humana en el reino superior de lo posthumano supondrá la desaparición gradual de la humanidad tal y como la conocemos o si, por el contrario, nuestros futuros descendientes posthumanos que vivan en ese “estadio superior” de la perfección serán capaces de recordar de algún modo, incluso con una memoria entrañable, los azares del “estadio inferior” de la humanidad (Žižek, 2023, 142- 143). En definitiva, ¿cómo se enfrentará la humanidad a la Singularidad (ese “gran otro" que, según Jacques Lacan, constituye el orden simbólico virtual integrado en la red digital), lo hará de manera consciente o inconsciente? En esa esfera de los múltiples metaversos ¿serán los humanos capaces de diferenciar la realidad virtual de lo real, las experiencias compartidas sincrónicamente 9 por todos los internautas neuroconectados a través de la IA de la experiencia subjetiva e individual vivida por cada persona? Para ilustrar esta dicotomía en torno a la conservación del control de la conciencia subjetiva en el espacio infinito de la Singularidad donde se recrea una realidad que no existe pero que es simultáneamente compartida de forma colectiva, y donde no se sabe qué organismo regulador decidirá qué experiencias pueden compartirse ni quién controlará a su vez ese mecanismo, Žižek trae a colación la última escena de un film de ciencia ficción de culto: Matrix (1999). En dicha escena, Neo, el protagonista, un programador que actúa como pirata informático y que intuye que algo no va bien en el universo virtual en el que cree haber vivido realmente todo el tiempo, anuncia la liberación de la humanidad tras destruir Matrix, la realidad inducida por las máquinas a las mentes conectadas de hombres y mujeres alienados y sumidos en un letargo onírico. La paradoja de este final tan ambiguo de la película de las hermanas Wachowski es que, por un lado se anuncia a la humanidad su liberación del dominio de las máquinas en un mundo irreal, pero por otra parte se les arroja al “desierto de lo real”, un mundo destruido anteriormente por las máquinas (en el film se muestra concretamente la ciudad de Chicago reducida a escombros) en el que impera el vacío, la nada (Žižek, 2023, 84-85). El recurso a la novela y el cine de ciencia ficción en la presentación de este último capítulo se debe en realidad a la necesidad de situar las conjeturas y elucubraciones del evolucionismo tecnológico y posthumanista fuera de los márgenes estrictamente científicos, es decir, el que se corresponde con los hechos probados. Recientemente Erik J. Larson se ha referido a la supuesta inevitabilidad de la Singularidad tecnológica en un libro que pretende desmontar el mito de la inexorabilidad e infalibilidad de la Inteligencia Artificial, que cuenta entre sus principales valedores a futurólogos transhumanistas como Ray Kurzweil y Nick Bostrom. 10 Según Larson, el peligro de tomarse en serio el futuro del mito de la IA es que puede deparar consecuencias muy negativas, ya que subvierte la ciencia. En este sentido, sostiene este científico experto en computación y emprendedor tecnológico La ciencia de datos (la aplicación de la IA a los macrodatos) es, en el mejor de los casos, una prótesis del ingenio humano; en caso de usarla de manera correcta, nos ayudará a lidiar con el “diluvio de datos” contemporáneo. Cuando se la usa para reemplazar la inteligencia individual, tiende a estropear la inversión sin ofrecer ningún resultado (…) Estamos pagando un precio demasiado elevado por este mito. Como no poseemos ninguna buena razón científica para creer que el mito pueda hacerse realidad, puesto que contamos con todos los motivos para rechazarlo a fin de alcanzar la prosperidad en el futuro, tenemos que repensar de manera radical la conversación sobre la IA (Larson, 2022, 11). Dejemos pues la ficción distópica aparte y vayamos a la realidad de la interacción humana con la automatización y las simulaciones interactivas con robots y sistemas de IA. Un claro ejemplo de la interacción remota entre el ser humano y la máquina de circuito cerrado lo proporciona el Internet táctil con el ser humano “en el bucle”, es decir, dentro del sistema de aprendizaje automático para ayudar a la computadora a tomar las decisiones correctas en la construcción de un modelo o en una simulación (Tactile Internet with Human-in-the-Loop). En el siguiente epígrafe se presentarán sucintamente las cuatro variantes posibles que los expertos en robótica e ingeniería de telecomunicaciones distinguen a propósito de la interacción entre los humanos y las máquinas inteligentes, desde la que asegura el control humano de la máquina (Human-in-the-Loop), pasando por dos tipos intermedios de transferencia de habilidades y retroalimentación entre humanos y máquinas (Human-in-the-Loop 11 for Exceptions y Human-on-the-Loop), hasta la cuarta modalidad, radicalmente opuesta a la primera, en la que se excluye al ser humano de la toma de decisiones automatizada de la máquina (Human-out-of-the-Loop). CUATRO MODELOS DE INTERACCIÓN EN LA RELACIÓN ENTRE HUMANOS Y MÁQUINAS INTELIGENTES DENTRO DEL PROCESO DE TOMA DE DECISIONES El proceso de digitalización y automatización vinculado al fenómeno de la revolución 4.0 ha metamorfoseado el modo tradicional de gestionar la toma de decisiones de las administraciones, de las empresas, de los servicios profesionales en todos los órdenes de la vida pública (sanitario, jurídico, educativo, científico-tecnológico…) Imaginar un sistema autónomo y mecanizado de toma de decisiones resulta tan sencillo que no son pocos los psicólogos y especialistas en el estudio del comportamiento humano que coinciden en señalar cómo el uso de nuevos y sofisticados generadores de textos e imágenes impulsados por IA -por ejemplo, mediante herramientas como el Chat GPT- está afectando a la creatividad humana, el juicio y la toma de decisiones. Ahora bien, desde el momento en que en el proceso de toma de decisión de una máquina inteligente interviene el ser humano, en la medida en que las consecuencias de la micro-decisión automatizada pueden afectarle (piénsese, por ejemplo, en un vehículo autónomo que ofrece a su conductor alternar las opciones de conducción manual o asistida), resulta imprescindible el diseño de un sistema de decisión que permita al ser humano tener una mínima interacción con la máquina (Ross-Taylor, 2021). 12 Los cuatro principales modelos de gestión que se han desarrollado para la interacción entre los humanos y las máquinas inteligentes varían en función del grado de implicación y de la naturaleza de la intervención humana: Human-in-the-Loop (HITL), Human-in-the- Loop for Exceptions (HITLFE), Human-on-the-Loop (HOTL), y Human-out-of-the-Loop (HOOTL). A continuación se explicarán sucintamente cada una de estas variantes: HUMAN-IN-THE-LOOP (HITL) Este primer modelo de interacción con la máquina permite al usuario llevar el control en el proceso de aprendizaje automático (machine learning) y hacer una transferencia de competencias a la máquina o robot inteligente. En el ámbito de las simulaciones virtuales HITL, por citar algunos supuestos: simuladores de vuelo (por ejemplo, el X-62A Vista, utilizado por la Fuerza Aérea de los Estadios Unidos), de conducción urbana (como el sistema español CARLA, acrónimo del inglés Car Learning to Act), o incluso de medicina “in silico” para probar medicinas y tratamientos experimentales en pacientes virtuales (uno de ellos, el simulador HeartFlow Analysis ayuda a localizar la enfermedad de las arterias coronarias a partir de las imágenes de tomografía computerizada del corazón de un paciente), los usuarios interactúan en tiempo real con la simulación a través de una interfaz gráfica, y se pueden recopilar directamente datos de los usuarios en un entorno experimental controlado (Rao, Chernyakhovsky, Rao, 2011, 157). Se pueden elegir distintos caminos para intercambiar habilidades entre humanos y máquinas. Una vía para este tipo de transferencia de habilidades consiste en equipar a un experto humano con cualquier tipo de interfaz hombre-máquina que funciona como un simple mando a distancia (por ejemplo, el controlador de una videoconsola). Sin embargo, hay que tener en cuenta que no todos los expertos humanos son capaces de manejar un mando de este 13 tipo, ni entienden la relación entre los movimientos y la precisión del robot. Sin embargo, la industria de la robótica reconoce este problema de especialización humana desde hace tiempo, y por eso se establecen procesos estándar para transmitir conocimientos y experiencia a los robots industriales. Cada máquina necesita ser controlada por un solo humano. Por eso, incluso en escenarios con millones de consumidores que demandan una habilidad específica del robot, el control humano debe ser escalonado a la hora de transferir las habilidades de un solo operador a millones de robots para satisfacer adecuadamente la demanda de los consumidores (Fitzek-Li-Speidel-Strufe, 2021, 4- 5). Pero la robótica actual también permite un feedback o retroalimentación multimodal que permite la transferencia a los humanos de competencias aprendidas automáticamente por la máquina a través del proceso de machine learning. En esta transferencia de habilidades en sentido inverso es la máquina quien enseña al humano; pensemos, por ejemplo, en los wearables o dispositivos inteligentes que portamos a diario, como pulseras, gafas o relojes, y que al estar interconectados a Internet permiten conocer con precisión datos como nuestra localización exacta en tiempo real, nuestro ritmo cardiaco, los kilómetros que hemos recorrido o las calorías consumidas. Suponiendo que los wearables no sólo estén equipados con sensores sino también con actuadores (dispositivos mecánicos esenciales que sirven para mover o actuar sobre otros dispositivos mecánicos), las señales de aprendizaje pueden generarse en directo o con antelación y transmitirlas al usuario humano. En la rehabilitación física, por ejemplo, los movimientos de un fisioterapeuta a distancia podrían generarse en línea (es decir, a distancia) y transmitirse a los wearables equipados con actuadores que lleve una persona mayor con movilidad reducida, o a un dispositivo ciberfísico que ayude a realizar ejercicios de 14 fisioterapia a los pacientes en casa. Los posibles ámbitos de aplicación de esta transferencia de habilidades no se limitan tan solo a los cuidados sanitarios y de enfermería, sino que también comprenden la enseñanza de nuevas habilidades en la escuela, el trabajo o los intereses personales, es decir, que se encuentran dentro del amplio espectro del Internet de las Habilidades. HUMAN-IN-THE-LOOP-FOR-EXCEPTIONS (HITLFE) La mayoría de las decisiones están automatizadas en este segundo modelo, y el humano sólo se ocupa de las excepciones. Para las excepciones, el sistema requiere algún juicio o aportación del humano antes de tomar la decisión. Además, los humanos también controlan la lógica del sistema para determinar cuáles serían las excepciones susceptibles de revisarse en el caso de que su intervención fuera necesaria, por ejemplo, cuando se pone en cuestión el nivel de confianza en las predicciones de un sistema predictivo de IA basado en algoritmos de aprendizaje automático. En relación con la falibilidad de los sistemas de algoritmos predictivos, un caso paradigmático es el de Glossier, una marca de belleza online que desarrolló un algoritmo de aprendizaje automático para predecir el comportamiento de sus clientes y su compromiso futuro en el aumento de ventas de distintas promociones de sus productos. Sin embargo, la predicción machine learning asumió erróneamente que las visitas a su sitio web “Into the Gloss” de los potenciales clientes se traducirían necesariamente en compras online teniendo en cuenta factores como la oferta, el apoyo de marketing y la estacionalidad para crear una previsión automatizada. Y en efecto, para muchas promociones la predicción machine learning funcionó bien, pero los directivos perdieron rápidamente la confianza después de que, tras su éxito inicial, se produjera una serie de estrepitosos fracasos predictivos que se tradujeron en importantes pérdidas de ventas. 15 Cuando los científicos de datos revisaron las predicciones algorítmicas basadas en los datos extraídos de los millones de datos y patrones de comportamiento de sus clientes en las plataformas digitales y redes sociales, descubrieron que el algoritmo de aprendizaje automático tenía dificultades para predecir ciertos tipos de promociones. Pero, en lugar de abandonar el proyecto, los científicos decidieron desarrollar un enfoque HITLFE. La clave consistía en codificar el nivel de confianza de la máquina en sus predicciones y hacer que los humanos revisaran dichas predicciones de forma excepcional cuando la máquina no les ofreciera la fiabilidad esperada (Ross- Taylor, 2021). HUMAN-ON-THE-LOOP (HOTL) En el tercer modelo de interacción entre humanos y máquinas inteligentes o robots, son los humanos quienes asisten a las máquinas en su toma de microdecisiones mecánicas. En los sistemas de HOLP la toma de decisiones debe automatizarse al 100% porque la respuesta debe producirse casi de manera inmediata, en un periodo de tiempo demasiado corto como para incluir en el sistema al ser humano. Sin embargo, aunque el operador humano quede excluido en primera instancia de ese proceso de toma de decisión automatizada, sí puede supervisar posteriormente los resultados de estas decisiones automatizadas e incluso ajustar reglas y parámetros para futuras decisiones. En una configuración algorítmica más avanzada, la máquina también recomienda parámetros o cambios en las reglas que luego son supervisados por un humano. Un ejemplo de aplicación del sistema autónomo de toma de decisiones HOTL lo encontramos en una aseguradora global de vida y salud que necesita aumentar el valor de sus ventas. En este supuesto, los agentes de ventas de esta empresa utilizan un dispositivo móvil para trabajar con posibles clientes, recopilando datos sobre sus necesidades financieras y su situación, les y ayudan 22 Por cuanto respecta a la idea de reserva de humanidad fue apuntada por primera vez, en sentido iusfilosófico, por Ernesto Garzón Valdés. En efecto, en uno de los primeros números de la revista Doxa. Cuadernos de Filosofía del derecho el iusfilósofo argentino publicó dos artículos; en el primero de ellos, titulado “Representación y democracia”, el iusfilósofo argentino se refiere por primera vez al “coto vedado” de los bienes básicos, que son aquellos que son condición necesaria para la realización de cualquier plan de vida (Garzón Valdés, 1989b, 209), y justifica el ejercicio del paternalismo jurídico por parte del Estado de derecho en el caso de que los miembros de la comunidad no comprendan la importancia de estos bienes básicos. Por lo tanto, según Garzón Valdés, el coto vedado de los bienes básicos no dependería, en última instancia, de la voluntad o deseos de la comunidad, porque, en su opinión: Quien no comprende la relevancia de los bienes básicos puede ser incluido en la categoría de incompetente básico (Garzón Valdés, 1989a, 157). Para este autor, el rechazo de la garantía de los propios bienes básicos supone una muestra evidente de irracionalidad o de ignorancia de relaciones causales elementales como las que existen entre la disponibilidad de estos bienes y la realización de cualquier plan de vida. Por otra parte, señala Garzón Valdés, los derechos y necesidades básicas incluidos en el coto vedado deben ser universalizables e iguales para todos los ciudadanos, pues sólo se puede concluir que una sociedad es homogénea cuando todos sus miembros gozan de los derechos incluidos en el coto vedado de los bienes básicos. Desde un punto de vista jurídico-positivo, el coto vedado de los intereses universalizables o derechos humanos no pueden ser objeto de recortes resultantes de negociaciones parlamentarias, en la medida que éstos constituyen 23 el núcleo no negociable de una constitución democráticoliberal que propician el Estado social (Garzón Valdés, 1989a, 162). Existe una vinculación conceptual entre el coto vedado de los derechos, las necesidades y bienes básicos, y la democracia representativa, en la que está vigente el principio de la mayoría, dentro de un marco de homogeneidad social compatible con la realización de la esperanza de la autodeterminación individual. En definitiva, como sostiene Carlos Santiago Nino, en sintonía con Ernesto Garzón Valdés, el concepto de bienes y necesidades básicas no sólo sería central en una concepción liberal de la sociedad, sino que haría de puente -al permitir su satisfacción simultáneaentre las dos ideas básicas del liberalismo: la de que los fines de los individuos deben ser respetados y la de que todo individuo es un fin en sí mismo (Nino, 1989, 34). Garzón Valdés se refiere al coto vedado de los derechos, bienes y necesidades en clave liberal y neokantiana. En este sentido, conviene aclarar que su aproximación al concepto de bien básico desde un punto de vista moral recuerda a la idea del bien primario en la posición original rawlsiana e implica la ejecución exitosa de un plan de vida racional. Esta concepción de los bienes básicos (primary goods) permite a los individuos presumir la consecución de sus fines: libertad y oportunidad, renta y patrimonio, y sobre todo, el respeto de la persona por sí misma (self-respect) (Rawls, 1971, 433). En línea de continuidad con esta lectura kantiana y liberal de los derechos fundamentales (en forma de lista de capacidades) Martha C. Nussbaum también es partidaria de un “blindaje” de los mismos, por ejemplo, ante cualquier intento de recorte o frente a posibles cambios que pudieran ser decididos por mayoría simple 24 en un nuevo proceso constituyente (Nussbaum, 2017, 69; 2012, 97- 98). Proyectando la tesis iusfilosófica del coto vedado defendida por Garzón Valdés al contorno ético-jurídico demarcado por la reserva de humanidad, en la que se protegen derechos, bienes y necesidades básicas de los ciudadanos frente la indeseada intromisión de las decisiones automatizadas basadas en algoritmos de alto riesgo, cabría preguntarse qué áreas prioritarias de los derechos y libertades serían aquellas en las que operaría este ámbito de protección de lo que es esencialmente humano, absolutamente irreductible e irrenunciable para la dignidad de la persona y la conciencia humana, ante la irrupción de la IA, la robótica y las tecnologías conexas. En el art. 14 de la Propuesta de Reglamento del Parlamento Europeo y del Consejo, por el que se establecen normas armonizadas en materia de Inteligencia Artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión1, se regula la vigilancia humana de los sistemas de IA de alto riesgo, que -según la definición del texto normativoson aquellos que comprometen la salud, la seguridad o los derechos fundamentales, y que pueden surgir cuando un sistema de IA de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible (art. 14.2). En los últimos años ha habido casos paradigmáticos y problemáticos derivados del uso de algoritmos de alto riesgo que han afectado precisamente a las tres grandes áreas a las que se refiere el mencionado precepto de la propuesta de Reglamento UE 1 Texto de la Comisión Europea COM (2021) 206 final, publicado el 21 de abril de 2021, 2021/0106 (COD). 25 de IA. Veamos un ejemplo representativo por cada una de estas áreas: En relación con la seguridad: el miércoles 19 de diciembre de 2018, a las 21:03 hrs, el aeropuerto de Gatwick se vio obligado a cerrar sus vuelos de entrada y salida durante 32 hrs debido al avistamiento cerca del aeródromo de varios drones. Más de 120.000 personas se vieron afectadas por este cierre en el segundo aeropuerto londinense (Shackle, 2020). Tan solo unas semanas más tarde, el 8 de enero de 2019, el aeropuerto de Heathrow, el primero en volumen de tráfico aéreo del Reino Unido, también suspendió durante una hora sus vuelos tras detectar la torre de control, a las 17.12 hrs, un dron sobrevolando su espacio aéreo. Desde un punto de vista legal y judicial estos incidentes generaron cambios (el 31 de diciembre de 2020 entró en vigor una nueva normativa para propietarios de drones, clasificando tipos de drones en diversas categorías, introduciendo requisitos de registro y seguro para cada clase). Por otra parte, se suscitó la cuestión a propósito de las reclamaciones de indemnización a las compañías de seguros por parte de los viajeros, y determinar sobre quién recaería la responsabilidad civil en ambos incidentes, se presentaría también la ocasión de plantearse la oportunidad de reconocer la personalidad electrónica de los robots o máquinas inteligentes entrenadas con IA para responder por los perjuicios causados a terceros por su mal funcionamiento o por sus erróneas tomas de decisión automatizadas (Benon-Decker, 2021). Respecto a la reserva de humanidad y al control de las decisiones administrativas basadas en algoritmos predictivos cuando limitan el disfrute de los derechos fundamentales, en el ámbito de la educación (art. 27 CE) resulta ilustrativo el caso de los exámenes de acceso a las universidades británicas en el verano de 2020, el primero de la pandemia del Covid-19, cuyos resultados no se obtuvieron a partir de una prueba presencial, sino excepcionalmente mediante un algoritmo que combinó la calificación obtenida por los alumnos en sus colegios o institutos en los exámenes realizados en los tres últimos cursos y una 26 calificación estimada de cada alumno en comparación con sus compañeros de su centro. El resultado de las predicciones del algoritmo utilizado para determinar las notas GCSE y A-Levels de los alumnos de Inglaterra, Gales y Escocia fue, anunciado el 13 de agosto, fue decepcionante: las calificaciones asignadas por el algoritmo fueron, en general, inferiores a las previsiones realizadas por los profesores de los colegios e institutos; por otra parte, se apreció también en la decisión automatizada un sesgo discriminatorio hacia los alumnos de las escuelas públicas situadas en zonas humildes y que, por el contrario, favorecía a los estudiantes de colegios privados o centros públicos de alto rendimiento. A raíz de la polémica causada por la prueba de acceso al sistema universitario británico mediante el empleo de un algoritmo predictivo, el gobierno anunció el 17 de agosto que los resultados del nivel A se modificarían para introducir en ellos como criterio corrector las estimaciones originalmente realizadas por los profesores de los centros de procedencia de cada alumno (por cierto, como ha podido apreciarse, este caso encajaría en el segundo modelo de control de humanidad: HITLFE). A propósito de los algoritmos predictivos, se pregunta Alejandro Huergo Lora si en nuestra experiencia jurídica se pueden utilizar para determinar el contenido de resoluciones administrativas, al igual que sucediera con los A-Levels en 2020. En este sentido, el catedrático de Derecho Administrativo de la Universidad de Oviedo establece la siguiente diferenciación: En el caso de potestades discrecionales, en las que la norma no vincula el contenido de la decisión administrativa a la constatación de uno o varios hechos, sino que establece un marco dentro del que es válida cualquier decisión que tome la Administración siempre que esté adecuadamente motivada y se hayan respetado las normas procedimentales, es perfectamente posible y válido que la 27 Administración utilice, entre otros factores, predicciones algorítmicas (Huergo Lora, 2020, 78-79). Ahora bien, matiza Huergo Lora, no se puede soslayar que el hecho de que una decisión administrativa se constante mediante un modelo algorítmico predictivo plantea problemas de principio (en la medida en que, a su parecer, resultaría incoherente que se pueda decidir en función de predicciones y no de hechos probados) y problemas de orden práctico (¿cómo se pueden tomar decisiones a partir de algoritmos dada su opacidad?). Teniendo en cuenta que el riesgo de error en la predicción algorítmica es aún muy alto, y que, dadas las circunstancias de error y opacidad de los algoritmos, el empleo de dichas predicciones en las resoluciones administrativas sería incompatible con las ideas de dignidad de la persona y del libre desarrollo de la personalidad, porque dicha predicción se basaría en la presunción de que los comportamientos que en el pasado han tenido otras personas en circunstancias similares a las del interesado que invoca ahora la decisión automatizada de la Administración por vía de predicción algorítmica, permitirían predecir con seguridad la conducta futura de ese interesado (Huergo Lora, 2020, 79). Por último, respecto a la problemática que se origina a partir de la aplicación de la los sistemas expertos de IA y los algoritmos en el ámbito de la salud, conjugando su empleo con el marco legal que protege los derechos de los pacientes (consentimiento informado, privacidad y confidencialidad de los datos médicos, acceso al historial clínico, respeto de la voluntad anticipada por el paciente respecto a los cuidados y tratamientos de salud que desea recibir, derecho a presentar reclamaciones y sugerencias2). 2 En España existe un amplio marco legal regulador de los derechos y obligaciones de los pacientes conformado por la siguiente normativa: el art. 43 CE, donde se reconoce el derecho a la protección de la salud; la Ley 14/1986, de 25 de abril, en cuyo art. 10. en el que se recogen los derechos de los pacientes con respecto a 28 En los últimos años se ha producido un aumento significativo del interés por las aplicaciones de los algoritmos de aprendizaje automático (machine learning algorithms) para la toma de decisiones médicas automatizadas. En los sistemas expertos aplicados a la diagnosis médica funcionan de la misma forma que el resto de sistemas expertos de la IA clásica, en la medida que contienen una base de datos de reglas deductivas mediante las cuales, a partir de un conjunto de hechos conocidos, se pueden inferir determinadas consecuencias. Concretamente, en medicina, la presencia de determinados síntomas puede hacer que el sistema experto los asocie a determinadas enfermedades relacionadas con dichos síntomas y sugiera realizar pruebas diagnósticas para llegar a conclusiones inequívocas. Los sistemas de IA empleados en las diagnosis médicas están basados en conocimientos codificados de los expertos, como el sistema IBM Watson Oncology para la diagnosis y el tratamiento oncológico, un sistema de IA de metaanálisis que combina la extracción automática de textos de documentos clínicos con un número ingente de reglas lógicas. En el diagnóstico médico basado en imágenes, un sistema experto como éste es capaz de buscar características definidas por los expertos y codificar explícitamente las reglas de decisión definidas por los médicos (Jie-Zhiying-Li, 2021). En suma, los algoritmos de aprendizaje automático han transformado para bien la atención sanitaria profesional, sobre todo si se compara el porcentaje de acierto y precisión de los diagnósticos realizados por los sistemas expertos de IA con los diagnósticos realizados por médicos especializados. En este sentido, según un estudio publicado en 2015 por la National las distintas administraciones públicas sanitarias; la Ley Básica Reguladora de la Autonomía del Paciente y de Derechos y Obligaciones en Materia de Información y Documentación Clínica (Ley 41/2002, de 14 de noviembre); la Ley 16/2003, de 28 de mayo, de Cohesión y Calidad del Sistema Nacional de Salud, y el Real Decreto-Ley 7/2018, de 27 de julio, sobre el acceso universal al Sistema Nacional de Salud. 29 Academy of Sciences, alrededor de un 5% de los diagnósticos médicos realizados a adultos en centros hospitalarios estadounidenses fueron erróneos; a su vez, se estimaba que un 10% de los fallecimientos de los pacientes se debieron precisamente a errores de diagnóstico médico3. En descargo de los responsables de los diagnósticos médicos realizados por clínicos humanos hay que remarcar el hecho de que, a diferencia de los sistemas expertos de IA, los clínicos, en cuanto humanos, son conscientes de su falibilidad y de la responsabilidad que asumen ante sus pacientes; por el contrario, existe una presunción favorable hacia la diagnosis mecánica realizada a través del algoritmo de aprendizaje automático, en la medida que ofrece mayor certeza y precisión (aunque en realidad haya también un margen de error en los algoritmos de aprendizaje automático). Pero la diagnosis médica plantea un problema aún mayor que el del cálculo meramente estadístico y cuantificativo de la exactitud de los resultados de las diagnosis clínicas: se trata de un problema epistémico-ético. En un artículo reciente sobre la ética de la toma de decisiones algorítmica en la atención sanitaria sus autores, Thomas Grote y Philipp Berens, reconocen la utilidad de los algoritmos de aprendizaje automático para mejorar la capacidad de decisión de los clínicos al aportarles una fuente adicional de información y pruebas complementarias que les ayudarán a tomar sin duda una mejor decisión médica. Sin embargo, los clínicos se enfrentan a un serio obstáculo cada vez que intentan inferir información a partir de los resultados de un algoritmo de aprendizaje automático. El problema subyacente puede describirse del siguiente modo: tanto el médico como el algoritmo de aprendizaje automático pueden considerarse expertos. Sin embargo, han recibido una formación diferente y 3 Cfr., National Academies of Sciences, “Engineering, and Medicine. Improving Diagnosis in Health Care”, The National Academies Press, Washington DC, 2015. 30 razonan de formas muy distintas. Para el clínico, esta diversidad de formación y razonamiento plantea serios inconvenientes deontológicos y epistemológicos siempre que se produce un desacuerdo entre colegas o pares médicos considerados iguales (incluso cuando se reconoce como competentes a los algoritmos en igualdad de condiciones que sus “pares médicos”). Por lo tanto, en primera instancia, en el caso de "desacuerdo entre iguales" de dos colegas o pares se produciría una discrepancia en la diagnosis de los síntomas, la historia clínica y el examen físico del paciente. Esta discrepancia entre “pares” (clínico y algorítmico) podría inclinarse a favor del algoritmo de aprendizaje automático por simple desistimiento del médico para eludir ulteriores responsabilidades derivadas de una toma de decisión errónea; con lo cual, desde un punto de vista epistémico y ético, además de fomentarse entre los médicos el dogmatismo y la credulidad cientificista-tecnologicista, terminaría imponiéndose, antes que el mejor criterio médico, un simple mecanismo pragmático de “medicina defensiva” que protegería a los clínicos de la posible rendición de cuentas a sus pacientes (Grote-Berens, 2020, 208). A veces la presunción de perfectibilidad e inexorabilidad del diagnóstico determinado por el algoritmo de aprendizaje autonómico puede ser la causa del desistimiento del control de humanidad por parte de los médicos respecto al funcionamiento correcto del sistema de IA aplicado al ámbito de la salud. En este sentido conviene no rebajar la exigencia del enfoque ético de la IA, pues de producirse esa renuncia por parte de la comunidad médica a la supervisión de las tomas de decisión automatizadas, se estaría abandonando (y sacrificando) injustificadamente el primer modelo de gestión para la interacción entre los humanos y las máquinas inteligentes (HITL) en el que el ser humano conserva el control sobre el sistema algorítmico, en beneficio del modelo antagónico (HOTL), en el que la decisión médica se confiaría, en última instancia, a las máquinas mientras que los clínicos se inhiben de participar en la misma para no asumir responsabilidades. Esta renuncia supondría, en última instancia, una rendición por parte los 31 profesionales de la medicina al mito de la perfección de la IA, además de su efectiva rendición a la falacia tecnológica inspirada por el fundamentalismo tecnológico, que no puede confundirse con la metodología empírico, la capacidad crítica y la vocación humanista que caracteriza a la ciencia médica. En el próximo apartado, el conclusivo, se abordará precisamente esta cuestión relativa a la necesidad de supervisión ética de los algoritmos y la exigencia de responsabilidad derivada del funcionamiento erróneo o del mal uso de que pueda hacerse de los mismos. CONCLUSIÓN En 2016 Google presentó el proyecto DeepMind Health, en colaboración con el Royal Free London NHS Foundation Trust. En este proyecto de la multinacional tecnológica estadounidense puso en funcionamiento dos aplicaciones: Streams y Hark, con las que pretendía mejorar los sistemas de salud (en particular el NHS, es decir, el servicio de salud británico). Así, mientras que la app Streams servía para detectar pacientes en riesgo de contraer alguna enfermedad y se reducía a unos segundos el proceso de revisión de las pruebas analíticas de sangre de los pacientes, la app Hark estaba configurada para reducir las listas de espera y el papeleo en los hospitales. Al inicio de esta colaboración de Google con el NHS, los responsables de DeepMind Health se comprometieron a que los datos de los pacientes (registros personales de 1,6 millones de pacientes) nunca se conectarían con las cuentas o servicios de Google, precisamente en aras del respeto a su derecho a la intimidad (Powles-Hodson, 2017, 351-367). En 2019 Google rompería esta promesa inicial al vincular DeepMind Health, la empresa filial de atención médica a Google, la empresa matriz, incorporando a la misma millones de datos personales de los pacientes del NHS sin contar con su previo consentimiento, a la vez que desmantelaba el comité de revisión