Principios de gobernanza para una Inteligencia Artificial ética y digna de confianza en el sector asegurador europeo

CAPÍTULO 19 PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA Y DIGNA DE CONFIANZA EN EL SECTOR ASEGURADOR EUROPEO Josefa Brenes Cortés Profesora Titular de Derecho Mercantil Universidad de Sevilla SUMARIO: I. INTRODUCCIÓN. II. NECESIDAD DE GARANTIZAR LA EQUIDAD. III. PRINCIPIOS DE GOBERNANZA PARA UNA IA ÉTICA Y DIGNA DE CONFIANZA EN EL SECTOR ASEGURADOR EUROPEO. 1. Consideraciones generales. 2. Principios de EIOPA. 2.1. Principio de proporcionalidad. 2.2. Principio de equidad y no discriminación. 2.3. Principio de transparencia y explicabilidad. 2.4. Principio de supervisión humana. 2.5. Principio de gobernanza de datos del mantenimiento de registros. 2.6. Principio de solidez y rendimiento. IV. CONCLUSIONES. I. INTRODUCCIÓN La Unión Europea –UE– ha adoptado en los últimos años varias iniciativas destinadas a abordar las oportunidades y los retos de la Inteligencia Artificial –en adelante IA– partiendo del reconocimiento del papel trascendental que se espera que desempeñe en la configuración del futuro digital de las sociedades y economías europeas. El plan coordinado de la Comisión Europea sobre IA ofrece una visión general de alto nivel que incluye varias iniciativas tendentes a reforzar las capacidades de la IA de la UE a través de diferentes herramientas de financiación e investigación1. Dicho plan también hace referencia a la Estrategia de Datos de la Comisión2 y a otras iniciativas relacionadas que, en última instancia, pretenden facilitar la libre circulación de datos de la UE, lo (1) Comisión Europea COM (2021) 205 (2021). (2) Comisión Europea COM/2020/66 (2020). 16506-1825d.indb 51716506-1825d.indb 517 26-03-2022 10:34:5626-03-2022 10:34:56 518 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... cual es fundamental para el desarrollo de la IA. Reforzar la adopción de la IA es también una de las prioridades clave identificadas por la Estrategia de Finanzas Digitales de la Comisión3 que reconoce los riesgos derivados del uso de la IA y prevé la posibilidad de elaborar orientaciones de regulación y supervisión sobre el uso de las aplicaciones de la IA en el mercado financiero. Sobre la base de Directrices Éticas para una Inteligencia Artificial y el posterior Libro Blanco de la Comisión sobre la Inteligencia Artificial, la propuesta de Regulación de la Inteligencia Artificial4 publicada por la Comisión Europea en abril de 2021 pretende abordar estos riesgos mediante el desarrollo de un marco legislativo que garantice resultados éticos y fiables para determinadas aplicaciones de alto riesgo de la IA. Las actividades relacionadas con los seguros no se incluyen actualmente entre las aplicaciones de alto riesgo de la IA que deberán cumplir los requisitos de la propuesta legislativa, que ahora deberá deliberarse por el Parlamento Europeo y el Consejo. Además de las iniciativas intersectoriales referidas, de forma específica para el sector de los seguros, laAutoridad Europea de Seguros(EIOPA, por sus siglas en inglés), publicó en mayo de 2019 las principales conclusiones de su revisión temática sobre el uso de Big Data Analitics en los seguros de automóviles y de salud. La IA representa muchas oportunidades para el sector de seguros, tanto para los consumidores como para las empresas aseguradoras; desde procesos más eficientes y automatizados hasta productos y servicios más personalizados o técnicas más rápidas de tramitación de siniestros. Sin embargo, la revisión temática también ha identificado una serie de retos que no son necesariamente nuevos para el sector de los seguros, como los relacionados con la transparencia, la equidad y la no discriminación. Un paso más en esta revisión temática vino representado por la creación de un grupo multidisciplinar de partes interesadas, el Grupo consultivo de Expertos en Ética Digital –GDE–, entre otras cosas, porque los retos derivados de la IA a menudo implican compensaciones relevantes que van más allá de las consideraciones puramente reguladoras o de supervisión, por lo que EIOPA entendió que sería útil un examen más amplio de estos retos. En consecuencia, el GDE ha desarrollado un marco de gobernanza de la IA ético y fiable que pretende permitir a los interesados del sector de los seguros aprovechar los beneficios derivados de la IA, al tiempo que se abordan los retos de manera proporcionada. El pasado 18 de junio de 2021 EIOPA publicó un informe5 de su grupo consultivo de expertos en ética digital en el que se establecen los Principios (3) Comisión Europea COM (2020) 591 (2020). (4) Comisión Europea 2021/0106 (COD) (2021). (5) Informe titulado “Principios de Gobernanza de la Inteligencia Artificial: Hacia una Inteligencia Artificial Ética y Fiable en el Sector Seguro Europeo” https://www. eiopa.europa.eu/sites/default/files/publications/reports/eiopa-ai-governance-princi- ples-june-2021.pdf. 16506-1825d.indb 51816506-1825d.indb 518 26-03-2022 10:34:5626-03-2022 10:34:56 519 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... de Gobernanza de la Inteligencia Artificial6 para una “IA ética y digna de confianza en el sector europeo de los seguros”. En dicho informe el supervisor europeo de seguros y pensiones reclama unos “principios de gobernanza” para evolucionar hacia una IA “ética y fiable” en el sector asegurador europeo basándose en los recientes desarrollos internacionales y de la Unión Europea en el ámbito de la digitalización y la IA7. Esta evolución motivó que EIOPA convocara al grupo consultivo de expertos para que pudieran colaborar identificando las oportunidades y los riesgos asociados con el creciente uso de la IA en los seguros, incluyendo la detección, investigación y reconocimiento de los posibles límites que podrían ser necesarios. El informe destaca no sólo la proliferación de la IA en los seguros, sino también que los beneficios de su utilización son cada vez más reconocidos y la tecnología que la respalda se ha convertido en un sector de gran importancia estratégica para la Unión Europea, configurándose hoy en día como uno de sus principales motores de desarrollo económico. En la actualidad, el sector asegurador utiliza, en mayor o menor medida, soluciones de IA para mejorar la experiencia de sus clientes: asistentes virtuales, interacciones fluidas (frictionless), experiencia personalizada, recomendaciones en base al perfil, uso del internet de las cosas (Iot, en adelante), etc. Asimismo, permite conocer al cliente y ofrecerle servicios personalizados o, incluso, anticiparse a sus necesidades prediciendo diferentes escenarios. La IA posibilita, además, identificar patrones que no sería posible reconocer por una persona, desarrollar nuevos modelos de negocio que se ajusten a las demandas cambiantes de la sociedad y automatizar ciertos procesos básicos y rudimentarios. Al respecto, la autoridad europea cita como ejemplos que la IA permite a las compañías de seguros llevar a cabo evaluaciones de riesgo y prácticas de fijación de precios más granulares, procesos de (6) La IA se define como “sistemas de software (y algunos también de hardware) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital mediante la percepción de su entorno a través de la obtención de datos, la interpretación de los datos estructurados o no estructurados que recopilan, el razonamiento sobre el conocimiento o el procesamiento de la información derivados de esos datos, y decidiendo la acción o acciones óptimas que deben llevar a cabo para lograr el objetivo perseguido. Los sistemas de IA pueden utilizar normas simbólicas o aprender un modelo numérico; también pueden adaptar su conducta mediante el análisis del modo en que el entorno se ve afectado por sus acciones anteriores”. En el propio glosario del informe de EIOPA se recoge que “Por Inteligencia Artificial se entiende el software que se desarrolla con una o varias de las técnicas y enfoques enumerados en el párrafo siguiente y que puede, para un conjunto determinado de objetivos definidos por el ser humano, generar resultados como contenidos, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan. Los enfoques mencionados en el párrafo anterior incluyen los siguientes: a) Enfoques de aprendizaje automático, que incluyen el aprendizaje supervisado, no supervisado y de refuerzo, utilizando una amplia variedad de métodos, incluido el aprendizaje profundo; b) Enfoques basados en la lógica y el conocimiento, que incluyen la representación del conocimiento, la programación inductiva (lógica), las bases de conocimiento, los motores de referencia/deducción, el razonamiento (simbólico) y los sistemas expertos; c) Enfoques estadísticos, la estimación bayesiana y los métodos de búsqueda y optimización”. (7) Al respecto, revela que el 31% de las empresas de seguros europeas usan IA y otro 24% se encontraba en una etapa de “prueba de concepto”. 16506-1825d.indb 51916506-1825d.indb 519 26-03-2022 10:34:5626-03-2022 10:34:56 520 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... gestión de siniestros cada más eficientes8 y proporciona a las compañías de seguros un instrumento eficaz en la lucha contra el fraude. Estas compañías también pueden optimizar el cálculo de las provisiones técnicas con el uso de sistemas de IA para estimar el valor de los siniestros, en particular, en las líneas de negocios con siniestros de alta frecuencia. Además, el advenimiento de nuevas tecnologías como la inteligencia artificial, la computación en la nube o el Iot, junto con la creciente disponibilidad de datos en la sociedad y la economía digitales actuales, constituyen avances muy relevantes y están generando oportunidades para el futuro crecimiento y desarrollo del sector de los seguros. Al mismo tiempo, el sector asegurador europeo ha emprendido un proceso de transformación digital en el que la IA desempeña un papel fundamental, dado su potencial para aumentar la eficiencia de los procesos operativos y reducir los costes9. La pandemia de Covid-19 ha acelerado la adopción de la IA en todos los sectores de la economía, lo que refuerza la tendencia de los seguros hacia modelos de negocio cada vez más basados en datos en toda la cadena de valor de los seguros. Al respecto, su área de ventas y distribución es una de las que encuentran un mayor número de casos de uso de la IA10. Los beneficios que proporciona la IA en términos de precisión de predicción, automatización, nuevos productos y servicios o reducción de costes son notables. En esta línea, el objetivo del informe es ayudar a las compañías de seguros a implementar medidas proporcionales, basadas en el riesgo y facilitar orientación sobrecómo aplicar los principios clave de forma efectiva en la práctica de la IA a lo largo del ciclo de vida de una aplicación de IA. Desde la EIOPA se acoge con satisfacción las conclusiones del grupo consultivo de expertos ya que proporcionanun punto de partida muy valioso para (8) En el ámbito de la gestión de siniestros, las aseguradoras están desarrollando sistemas de valoración mediante el análisis de imágenes para evaluar los daños de los vehículos con el objetivo de sustituir la necesidad de una inspección por parte de un ingeniero y reducir los costes en dicha gestión. Al respecto, varias compañías de seguros ya utilizan la IA para automatizar la verificación de facturas y el pago de siniestros, sobre todo en el caso de los de escasa cuantía. (9) Existen múltiples aplicaciones de casos de uso de la IA en todas las etapas de la cadena de valor de los seguros: diseño y desarrollo de productos, fijación de precios y suscripción, ventas y distribución, servicio de atención al cliente, prevención de pérdidas y gestión de siniestros (vid. más ampliamente y con mayor detalle el anexo 1, desarrollado por el DDE a partir de los trabajos del grupo de investigación TECHNGI, de la Universidad de Loughborough, www.techngi.uk y recogido en el informe de la EIOPA). (10) Así, las técnicas de marketing digital basadas en el análisis dinámico en tiempo real del comportamiento en línea pueden permitir a las empresas de seguros captar la atención de los consumidores mediante ofertas personalizadas que aumenten las ventas a través de sus sitios web, aplicaciones u otros canales de distribución digital. También proporciona una herramienta eficaz para lanzar campañas de marketing específicas, personalizadas y a medida y aumentar la fidelidad de su base de clientes u ofrecer productos y servicios mejorados a los consumidores (así, por ejemplo, productos de seguros basados en el uso), empleando teléfonos móviles, aplicaciones o bots de chat convenientemente accesibles las 24 horas del día, los 7 días de la semana desde cualquier ubicación. 16506-1825d.indb 52016506-1825d.indb 520 26-03-2022 10:34:5626-03-2022 10:34:56 521 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... establecer mejor los límites del uso adecuado de la IA en los seguros. De esta forma, utilizará estos resultados para identificar posibles iniciativas de supervisión en este ámbito, teniendo en cuenta los desarrollos en curso a nivel de la UE relacionados con la digitalización y la IA. Para EIOPA, las cuestiones planteadas son de vital importancia de cara a la transformación digital que se está produciendo en el sector. Por lo tanto, “el desarrollo deun marco sólido de gobernanza de la IA es esencialpara un sector de seguros que funcione bien, sea confiable y financieramente inclusivo”. No obstante, hay que destacar que si bien la guía resulta muy ilustrativa no reviste carácter vinculante. II. NECESIDAD DE GARANTIZAR LA EQUIDAD Como ya hemos adelantado, el uso de la IA ofrece importantes beneficios para los consumidores, pero ello no evita que exista una creciente preocupación sobre el impacto que la adopción de la IA pueda tener en los consumidores más vulnerables. Por esta razón, para que el modelo resulte sostenible es necesariogarantizar la equidad, la no discriminación, la transparencia y la explicabilidad. Se trata, sin duda, de un desafío que las empresas deben abordar lo antes posible. Ahora bien, teniendo en cuenta el enorme impacto que la IA está teniendo en la sociedad resulta esencial que su utilización genere confianza. Para ello, tal y como se advierte desde la UE, es necesario que la IA “se asiente en los valores y derechos fundamentales europeos, como son la dignidad humana y la protección de la privacidad”. También existe una creciente preocupación sobre el impacto que la adopción de la IA puede tener en consumidores vulnerables o en nuestra sociedad en su conjunto. De ahí que se destaque la importancia de la ética digital en los seguros. Alo largo de su existencia, los seguros también se han enfrentado a problemas éticos, algunos de los cuales se agudizan debido a los cambios en la BD/IA. Ante la dificultad que entraña crear un marco que determine de forma indiscutible lo que es ético y lo que no lo es, no puede haber una forma algorítmica de integrar la ética en el uso de los datos de manera que siempre se llegue a soluciones correctas. Este informe aborda las cuestiones éticas de una manera más realista. Por ética se entiende los enfoques justos, basados en recomendaciones, normas y tratados internacionales y nacionales y, por supuesto, en la legislación. En este sentido, se destaca que la economía digital introduce nuevas clases de riesgos en torno al consumidor y, en muchos casos, implica una importante amenaza a la asimetría de información entre el cliente y la empresa de seguros que favorece a esta última. La equidad se ve especialmente amenazada con el tratamiento de datos de las personas en situaciones más o menos vulnerables. De ahí que en el informe se esbocen herramientas de transparencia y explicabilidad para ayudar a identificar las áreas en las que la equidad se ve amenazada y se incorporen sugerencias sobre cómo debería organizarse la gobernanza del uso de la IA para salvaguardar su empleo correcto. Desde el punto de vista 16506-1825d.indb 52116506-1825d.indb 521 26-03-2022 10:34:5626-03-2022 10:34:56 522 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... de la regulación, existen riesgos en torno a la competencia, la equidad y la no discriminación. Por tanto, constituye un auténtico reto para los reguladores y supervisores permitir que el sector asegurador aproveche la innovación que ofrece la economía digital y, al mismo tiempo, proteger los intereses de los consumidores y los ciudadanos11. Al respecto, los datos sobre los consumidores serán cada vez más granulares, lo que determinará una tendencia hacia servicios más personalizados, lo que puede cuestionar el propio principio de mutualización en el que se basan los seguros y su pacto social (de modo particular el seguro de enfermedad), los grupos de primas se granulan y ello podría motivar la exclusión financiera de algunos consumidores de alto riesgo, razón por la cual resulta necesario garantizar la no discriminación y la equidad para los consumidores de las compañías de seguros. El uso de la IA también amenaza ciertas características intrínsecas de los seres humanos, incluidas las nociones de dignidad y autonomía. Todo este nuevo entorno podría requerir nuevas herramientas de regulación, que midan la capacidad del mercado para satisfacer las necesidades de los ciudadanos (inclusión) con productos adecuados (seguro) a un precio justo (competencia). Al respecto, el grupo de expertos de EIOPA destaca que ya existe un marco legislativo integral que también resulta aplicable al uso de IA en seguros, jurídicamente vinculante a nivel internacional, europeo y nacional. Tales fuentes legales incluyen, entre otras, el Derecho primario de la UE (los Tratados de la Unión Europea y su Carta de Derechos Fundamentales), el Derecho derivado de la UE (como la Directiva Solvencia II12, la Directiva de distribución de seguros (IDD)13, el Reglamento general de protección de datos (GDPR)14, la Directiva de Responsabilidad por Productos, las Directivas contra la discriminación o la Directiva de Prácticas Comerciales Desleales15 y la Directiva de (11) Así lo ha puesto de relieve BERNARDINO, G., “Retos y oportunidades para el sector de los seguros en Europa”, Annales de Mines-Realites Industrielles, núm. 1, 2020, págs. 99 a 102. (12) Directiva 2009/138/CE del Parlamento Europeo y del Consejo, de 25 de noviembre de 2009, sobre el seguro de vida, el acceso a la actividad de seguro y de reaseguro y su ejercicio (Solvencia II), versión consolidada de 30 de junio de 2021, http://data.europa. eu/eli/dir/2009/138/oj. (13) Directiva (UE) 2016/97 del Parlamento Europeo y del Consejo de 20 de enero de 2016 sobre la distribución de seguros (versión refundida), Texto pertinente a efectos del EEE https://www.boe.es/doue/2016/026/L00019-00059.pdf. (14) Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de sus datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE, https://www.boe.es/doue/2016/119/L00001-00088.pdf. (15) Directiva 2005/29/CE del Parlamento Europeo y del Consejo, de 11 de mayo de 2005, relativa a las prácticas comerciales desleales de las empresas en sus relaciones con los consumidores en el mercado interior, que modifica la Directiva 84/450/CEE del Consejo, las Directivas 97/7/CE, 98/27/CE y 2002/65/CE del Parlamento Europeo y del Consejo y el Reglamento (CE) n° 2006/2004 del Parlamento Europeo y del Consejo (“Directiva sobre las prácticas comerciales desleales”), texto pertinente a efectos del EEE, https://eur-lex. europa.eu/legal-content/ES/TXT/?uri=celex%3A32005L0029. 16506-1825d.indb 52216506-1825d.indb 522 26-03-2022 10:34:5626-03-2022 10:34:56 523 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... privacidad electrónica (ePD)16, los tratados de Derechos Humanos de la ONU y los convenios del Consejo de Europa (como el Convenio Europeo de Derechos Humanos), y numerosas leyes de los Estados miembros de la UE. En definitiva, se deduce que el conjunto de herramientas que proporciona la IA a las compañías de seguros presenta importantes riesgos que requerirán una supervisión reglamentaria y de control. También hay algunas preocupaciones sobre la llegada de regímenes de vigilancia por los que la IA podría utilizarse para excluir a determinados grupos del acceso a este servicio financiero, lo que se traduce en la necesidad de no discriminación. No obstante, con la BDA (análisis de grandes datos) y la IA en los seguros, nos encontramos ante la dificultad de que la gran velocidad de los avances tecnológicos pueda obtener una rápida respuesta normativa y jurídica. Lo ideal sería que la regulación se esforzara por seguir el ritmo de las nuevas tecnologías y que su vertiginosidad no constituyera una excusa para la inacción reguladora o incluso para la autorregulación. Afalta de un conjunto de normas claras o de un corpus jurídico bien establecido hay que hacer hincapié en el desarrollo de un conjunto de directrices éticas para mitigar los riesgos. En esta línea, aparecen conceptos como el diseño éticamente alineado y la responsabilidad digital corporativa (RDC)17 para aminorar los riesgos que plantea el uso de las tecnologías y los datos digitales por parte de las empresas. Uno de los retos más inminentes hace referencia a la necesidad de crear estructuras de gobernanza suficientemente (16) Directiva 2002/58/CE del Parlamento Europeo y del Consejo, de 12 de julio de 2002, relativa al tratamiento de los datos personales y a la protección de la intimidad en el sector de las comunicaciones electrónicas (Directiva sobre la privacidad y las comunicaciones electrónicas), https://eur-lex.europa.eu/legal-content/ES/ALL/?uri=CELEX%3A32002L0058. El régimen de privacidad de datos de la UE consiste actualmente en el Reglamento General de Protección de Datos (RGPD) y la Directiva sobre la privacidad y las comunicaciones electrónicas. El Reglamento ePrivacy de la UE, cookies y las actualizaciones en 2021 (https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A52017PC0010) es un proyecto de ley del Consejo de la UE que regula todas las comunicaciones electrónicas en servicios y redes disponibles públicamente para los individuos dentro de la Unión Europea. Este Reglamento, que deroga y sustituye a la Directiva ePrivacy de 2020 (también conocida como la Directiva sobre la privacidad y las comunicaciones electrónicas), se ha hecho esperar. Originalmente, estaba previsto que estuviera lista en la fecha de entrada en vigor del RGPD, en mayo de 2018, pero en cambio se ha alargado durante años.El 10 de febrero de 2021, el Consejo de la UE acordó un texto final que empuja al Reglamento ePrivacy hacia una nueva fase de negociaciones a tres bandas, de la que podría surgir una nueva ley de privacidad de datos que entrase en vigor en toda la Unión Europea. La propuesta de Reglamento ePrivacy 2021 abarcatodos los tipos de comunicaciones electrónicas(como textos, emails, mensajes de Facebook, SnapChat, etc.), yprotege a los individuos dentro de la UEde la intromisión de terceros en sus comunicaciones privadas, a no ser que den suconsentimiento previo. (17) Se ha señalado que la RDC “Presupone que garantizar el diseño y los usos éticos de las tecnologías digitales y los datos relacionados no es únicamente un reto tecnológico (por ejemplo, el desarrollo de algoritmos para el razonamiento ético). Más bien, requiere que las organizaciones desarrollen un conjunto completo y coherente de normas, integradas en su cultura organizativa, para gobernar el desarrollo y el despliegue de la tecnología y los datos digitales” (vid. LOSCHAT, L., MUELLER, B., EGGERS, F., BRANDIMARTE, L., DIEFENBACH, S., KROSCHKE, M., y WIRTZ, J., “La responsabilidad digital de las empresas”, Revista de Investigación Empresarial, 2019). 16506-1825d.indb 52316506-1825d.indb 523 26-03-2022 10:34:5626-03-2022 10:34:56 524 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... sólidas para lograr este objetivo y a la de que las entidades aborden conceptos éticos como la equidad y la no discriminación. En concreto, el artículo 41, apartado 1, de Solvencia II exige que “las empresas de seguros y reaseguros dispongan de un sistema de gobernanza eficaz que garantice una gestión sólida y prudente del negocio”. En esta línea, la legislación existente debería constituir la base de cualquier marco de gobernanza de la IA, pero los diferentes textos legislativos deben aplicarse de manera sistemática y requieren un análisis para ayudar a las organizaciones a comprender lo que significan en el contexto de la IA. Además, debe tenerse en cuenta que un uso ético de los datos y las tecnologías digitales implica un enfoque más amplio que el mero cumplimiento de las disposiciones legales y debe tener en cuenta la provisión de un bien público a la sociedad como parte de la responsabilidad social corporativa de las empresas. Estos valores y normas relacionadas con la RDC comparten algunos principios y objetivos con la RSC. Todos estos cambios representan retos y oportunidades tanto para las empresas de seguros como para los reguladores y supervisores que no pueden perder de vista los intereses de los asegurados18. Pues bien, en este contexto, es precisa una labor regulatoria para asegurar un uso ético y responsable que identifique a los encargados del empleo de los algoritmos, prevenga y sancione posibles conductas de manipulación de estos en perjuicio de los consumidores. Al respecto, el 20 de octubre de 2020, el Parlamento Europeo ha aprobado dos Resoluciones que se refieren a la IA: la Resolución del PE con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas (2020/2012 –INL–) que lleva por título “Marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas”, denominada RIAE (Resolución sobre la Inteligencia Artificial Ética)19 y la Resolución del PE, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial (2020/2014 –INL–) intitulada “Régimen de responsabilidad civil en materia de inteligencia artificial”, denominada RIAR20 (Resolución sobre la Inteligencia Artificial Responsable)21. (18) El término empresa utilizado en el informe hace referencia tanto a las empresas de seguros como a los intermediarios de seguros, en la medida en que el gran número de casos de uso de la IA existentes en los seguros pueda ser utilizado por ambas entidades para apoyar sus actividades cotidianas. Por lo tanto, las orientaciones proporcionadas en el informe analizado se dirigen tanto a las empresas de seguros como a los intermediarios cuando utilizan la IA en las respectivas áreas de la cadena de valor de los seguros en las que participan. No obstante, el informe distingue en ocasiones entre intermediarios de seguros y empresas de seguros cuando, debido a la naturaleza de un caso específico de uso de la IA, las empresas de seguros y los intermediarios desempeñan un papel diferente o participan en su aplicación de forma distinta. (19) Https://www.europarl.europa.eu/doceo/document/TA-9-2020-0275_ES.html. (20) Https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html. (21) De la Resolución sobre la Inteligencia Artificial Ética (RIAE) y la Resolución sobre Inteligencia Artificial Responsable (RIAR) se infiere un decálogo de los principios 16506-1825d.indb 52416506-1825d.indb 524 26-03-2022 10:34:5626-03-2022 10:34:56 525 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... En los últimos años han proliferado varias iniciativas a nivel internacional, europeo y nacional destinadas a promover una IA ética y fiable en nuestra sociedad. Ello ha motivado que exista un amplio abanico de principios éticos de la IA desarrollados por instituciones públicas y privadas y por empresas de seguros individuales. Cada uno de ellos tiene su propia idiosincrasia y particularidades que reflejan los diferentes actores implicados, su ámbito de aplicación y el estado de la técnica de la IA en el momento de su publicación, teniendo en cuenta que se trata de una tecnología en evolución. Tales iniciativas tienen varios puntos en común, que abarcan con mayor o menor énfasis cuestiones como los derechos humanos, la responsabilidad profesional, el control humano de la tecnología, la rendición de cuentas, la equidad y la no discriminación, la transparencia y la explicabilidad. En esta línea, la Comisión Europea considera que una IA “fiable” debe cumplir siete requisitos: acción y supervisión humana, solidez técnica y seguridad, gestión de la privacidad y los datos, transparencia, diversidad, no discriminación y equidad, bienestar social y ambiental y responsabilidad proactiva. Partiendo de estas iniciativas intersectoriales, en particular las Directrices éticas para una IA digna de confianza gestadas por el Grupo de Expertos de Alto Nivel en la IA de la Comisión Europea (en adelante regulatorios de la IA en la UE: control de riesgos (el PE hace hincapié en que toda futura regulación ha de seguir un enfoque basado en el riesgo y orientado al futuro para regular la IA, la robótica y las tecnologías conexas, con normas tecnológicamente aplicables a todos los sectores y con normas sectoriales cuando proceda); amplia protección de los consumidores en sentido objetivo, geográfico y funcional; seguridad, transparencia y rendición de cuentas (vinculado al principio fundamental del Derecho de la Unión a la información de los consumidores); igualdad (prevención de la discriminación automatizada evitando que los sesgos culturales y de género se incluyan involuntariamente en los algoritmos, sistemas y aplicaciones de la IA); responsabilidad, que se manifiesta como responsabilidad social (la IA tiene un papel fundamental en la búsqueda de soluciones que salvaguarden y promuevan los valores fundamentales de nuestra sociedad) y responsabilidad civil (las entidades financieras deben garantizar la cobertura de los daños que puedan causar a su clientela a resultas del empleo de la IA), imputabilidad, que presenta un doble alcance, como imputabilidad general a un agente que prevenga la indefensión en la que se encuentran los consumidores que usan de ingenios basados en la IA y como imputabilidad específica en situaciones complejas en las que haya más de un operador, en cuyo caso deben ser responsables civiles solidarios; adaptabilidad de la que se deduce la necesidad de asumir una distinción básica entre dos tipos de sistemas de IA -los de alto riesgo (que ponen en peligro potencial en mayor medida al público en general) y los de riesgos normal; cobertura preventiva, que presenta especial relevancia para la digitalización financiera, y que se articula mediante la exigencia de un seguro obligatorio de responsabilidad civil para los operadores de sistemas de IA de alto riesgo; sostenibilidad (la IA puede contribuir a alcanzar los objetivos de sostenibilidad del Pacto Verde Europeo en una gran diversidad de sectores, puede potenciar el impacto de las políticas en la protección medioambiental y pueden contribuir a reducir la cogestión del tráfico y las emisiones de gases y contaminantes atmosféricos); gobernabilidad (el PE hace hincapié en que una gobernanza adecuada del desarrollo, el despliegue y el uso de la IA, la robótica y tecnologías conexas puede hacer que aumente la seguridad y la confianza de los ciudadanos en dichas tecnologías). Vid., más ampliamente, sobre estas Resoluciones del Parlamento Europeo, TAPIA HERMIDA, A. J., “Decálogo de la inteligencia artificial ética y responsable en la Unión Europea”, Diario La Ley, núm. 9749, 2020, passim. 16506-1825d.indb 52516506-1825d.indb 525 26-03-2022 10:34:5626-03-2022 10:34:56 532 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... tratamiento de sus datos personales. Además, las medidas de gobernanza sobre la solidez y el rendimiento, así como la supervisión humana descrita en los capítulos X y VIII, también tienen como objetivo garantizar una forma de trabajo científica y responsable que ayude a subsanar cualquier deficiencia en los datos. El capítulo anterior se centra en el uso justo y no discriminatorio de los datos y los sistemas de IA. La noción de equidad tiene distintos significados para las diferentes partes interesadas y aplicaciones de la IA. Tal y como sugiere el HLEG de IA, las empresas de seguros deberían, como parte de su compromiso con la RSC y teniendo en cuenta la naturaleza de la libre competencia en los mercados, encontrar un equilibrio entre los diversos y cambiantes intereses de las diferentes partes interesadas a la hora de considerar los retos éticos de la IA y la digitalización. En primer lugar, están los intereses de los consumidores, en segundo lugar, los de las empresas aseguradoras y sus accionistas; en tercer lugar, y especialmente en los modelos de negocio de las mutuas de seguros, los intereses del conjunto de clientes asegurados de una empresa de seguros, que pueden diferir de los de los clientes individuales. Por último, las sociedades tienen interés en los seguros como medio de proporcionar seguridad, salud y bienestar a sus poblaciones. Debe prestarse especial atención a los productos de seguros que son especialmente relevantes para la inclusión financiera, aunque su importancia debe variar según las jurisdicciones33. Los sistemas de IA también tienen el potencial de mejorar la inclusión financiera de algunos consumidores, pero otros, clasificados como de mayor riesgo en los mercados de seguros competitivos o para los consumidores con enfoques más conservadores en cuanto a compartir sus datos personales, pueden enfrentarse a crecientes dificultades para acceder a seguros asequibles en algunas líneas de negocio34. (33) El GDE considera que son productos de seguros especialmente relevantes, el seguro del automóvil, el de salud, el del hogar, el de responsabilidad civil, el de vida/provisión de pensiones y el de indemnización de los trabajadores. Varios Estados miembros de la UE reconocen la importancia de algunos de estos productos configurándolos como obligatorios y organizándolos como seguros sociales. Los sistemas de seguridad social y los requisitos de seguro obligatorio varían según las jurisdicciones. (34) Un estudio patrocinado por la Comisión Europa en 2018 definió la exclusión financiera en los seguros como “un proceso por el que las personas encuentran dificultades para acceder y/o utilizar estos productos en el mercado general que se ajustan a las necesidades y les permiten llevar una vida normal en la sociedad a la que pertenecen”. En la sociedad digital actual, la mayor disponibilidad de datos, combinada con algoritmos cada vez más potentes, permite a las empresas de seguros realizar evaluaciones de riesgos más granulares. En este sentido, una mejor compresión de los riesgos en combinación con servicios de mitigación de riesgos puede mejorar la inclusión financiera de algunos consumidores de alto riesgo que antes no podían acceder a un seguro asequible en los mercados donde hay libre competencia produciéndose importantes problemas de exclusión financiera. Las empresas de seguros pueden contribuir a la inclusión financiera de los consumidores de alto riesgo de diferentes maneras (por ejemplo, restringiendo voluntariamente el uso de datos de ADN en la suscripción de seguros de salud y de vida). 16506-1825d.indb 53216506-1825d.indb 532 26-03-2022 10:34:5626-03-2022 10:34:56 533 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... La equidad en los seguros también afecta al uso de los datos y es clave para garantizar la confianza entre las partes interesadas. Hay otras fuentes de vulnerabilidad de los consumidores que también merecen especial atención. Además de los consumidores de alto riesgo que podrían verse afectados negativamente por las evaluaciones de riesgo granulares, otros grupos de consumidores también podrían resultar afectados negativamente por tales evaluaciones. Entre ellos se encuentran los grupos de personas que, por ejemplo, debido a la pobreza, las discapacidades físicas y mentales, la edad, etc., tienen menos oportunidades de participar en la sociedad. Estas vulnerabilidades pueden manifestarse de diferentes maneras a lo largo del tiempo y pueden verse exacerbadas por la digitalización35. Las empresas de seguros pueden analizar y modificar la forma en que sus prácticas de suscripción y diferenciación de precios afectan a los consumidores vulnerables36, aunque es importante señalar que algunas de las características de vulnerabilidad son factores de riesgo relevantes a efectos de suscripción. Las aseguradoras también pueden evitar el uso de ciertos tipos de prácticas de optimización de precios y siniestros o establecer medidas para mitigar el impacto negativo en los consumidores vulnerables. Por su parte, los consumidores y las autoridades también tienen un papel que desempeñar. Es importante que estos reconozcan sus propias responsabilidades comportándose de forma cuidadosa, sostenible, honesta y responsable, tomando medidas preventivas cuando sea necesario y respetando sus compromisos de primas. Las autoridades también tienen un papel que cumplir en el fomento de la ética y la inclusión financiera en el mercado de los seguros mediante el desarrollo de una legislación adecuada (por ejemplo, la protección de datos, la legislación sobre la conducta empresarial, etc.) y la supervisión del cumplimiento de la normativa (35) Al respecto, un informe de la OCDE de 2019 concluye que los grupos de consumidores con menos acceso y experiencia en el entorno digital son cada vez más vulnerables. Muchos de los diferentes factores y grupos que pueden considerarse vulnerables se solapan, dando lugar a lo que podría describirse como “vulnerabilidad interseccional”. Esto hace que sea difícil salir de esta situación, ya que abordar un factor no necesariamente los resolverá todos. De hecho, mientras que algunos de los tipos de vulnerabilidad están relacionados con el comportamiento (por ejemplo, el sobreendeudamiento, el nivel de educación) que podrían modificarse, otros son intrínsecos y no pueden modificarse fácilmente (por ejemplo, los miembros de grupos minoritarios y las personas con condiciones médicas hereditarias). (36) Como ejemplos de tipos de consumidores vulnerables en los servicios financieros pueden distinguirse los siguientes grupos: características personales (personas mayores, ingresos bajos o en situación de pobreza, bajo nivel de educación, miembros de minorías, migrantes, jóvenes/estudiantes, personas que viven en zonas afectadas por el cambio climático –p. ej., inundaciones–); acontecimientos de la vida (desempleados, sin techo, divorciados/padres solteros, personas sobreendeudadas, personas con antecedentes de impago, reclusos, personas lesionadas en accidente, víctimas de violencia doméstica); condiciones de salud (personas con discapacidades, condiciones médicas hereditarias, p. ej. basadas en datos genéticos o de ADN), mujeres embarazadas, personas con problemas de salud mental o en terapia; competencias digitales (bajo nivel de competencias digitales, dificultades para acceder a los servicios en línea/digitales). 16506-1825d.indb 53316506-1825d.indb 533 26-03-2022 10:34:5626-03-2022 10:34:56 534 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... vigente por parte de las empresas de seguros. Además, de los sistemas de Seguridad Social y de las políticas de previsión social mencionadas, se han establecido una serie de acuerdos de agrupación público-privada. Dichas autoridades también podrían considerar la posibilidad de promover la inclusión financiera de diferentes maneras, por ejemplo, ofreciendo apoyo financiero a las poblaciones de bajos ingresos para que puedan acceder a los productos de seguros esenciales. Además, podrían promover, para un conjunto de productos de seguros esenciales, una “opción por defecto” para garantizar un amplio acceso a los consumidores en riesgo de exclusión. Al respecto, se sugiere que las autoridades podrían definir los “objetivos” claros que debe alcanzar el sector en su conjunto en lo que respecta a la inclusión, por ejemplo, basándose en una evaluación de los resultados de los sistemas de IA en determinados grupos de poblaciones vulnerables o clases protegidas. El uso justo de los datos requiere además que sean adecuados para su finalidad; sin perjuicio de las cuestiones relativas a la propiedad intelectual, las empresas de seguros deben ser transparentes en cuanto a su utilización y ser capaces de explicar estos usos a los clientes. Algunos conjuntos de datos pueden ser especialmente sensibles y mostrar comportamientos y hábitos muy privados de los consumidores (p. ej. datos sanitarios utilizados por las empresas de seguros de salud). Esos datos no deben utilizarse en contra de sus intereses ni para fines distintos de aquellos para los que se recogieron37. De igual modo deben evitarse los que aparecen en las redes sociales cuando sean imprecisos, manipulables y puedan dar lugar a interpretaciones erróneas o inestables. Los consumidores que no están dispuestos a compartir datos muy personales y sensibles que no son estrictamente necesarios para las evaluaciones de riesgo deben seguir teniendo acceso a una cobertura de seguro asequible. De modo que, las compañías de seguros deben explicar a los consumidores que tal vez no puedan ofrecerles determinadas prestaciones o productos que requieran esos datos, si bien deben ofertarles productos alternativos que les proporcionen una cobertura adecuada38. Estas empresas también deben hacer esfuerzos razonables para eliminar los sesgos de los datos y los sistemas de IA. Al respecto, existen muchas fuentes de sesgo que implican juicios humanos que podrían reflejar los prejuicios de la persona que etiquetó los datos. Dado que esas etiquetas sirven como verdad de base, cualquier prejuicio que se mantenga se reproduce y puede aplicarse en el algoritmo final. Otra fuente de sesgo es el proceso de recogida de datos. Si los datos no son representativos y no reflejan la distribución real, un sistema de IA que utilice estos conjuntos de datos para el entrenamiento tendrá un mal rendimiento. Si bien no es posible eliminar completamente tales sesgos, las compañías de seguros deben hacer esfuerzos razonables para limitarlos. Asu vez, deben desarrollar su (37) Principio de limitación y minimización de los datos en el artículo 5 del RGPD. (38) Directrices del EDPB 01/2020 (2021). 16506-1825d.indb 53416506-1825d.indb 534 26-03-2022 10:34:5626-03-2022 10:34:56 535 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... enfoque de equidad y mantener registros de las medidas aplicadas para garantizar la equidad y la no discriminación39. Esto incluye la eliminación de los atributos protegidos de los conjuntos de datos, aunque es importante destacar que a efectos de suscripción de seguros es legal utilizar algunas características protegidas en la medida en que sean necesarias para una adecuada evaluación de riesgo. También deben eliminarse los indicadores que puedan correlacionarse con las características protegidas a menos que su uso esté objetivamente justificado por una finalidad legítima y sea adecuado y necesario. Además, en algunos modelos tradicionales las empresas de seguros también pueden utilizar características protegidas como “variables de control” para eliminar el sesgo. La información adecuada sobre los atributos protegidos, cuando está disponible puede ayudar a garantizar que los resultados de los algoritmos estén libres de sesgo. Finalmente, las empresas de seguros pueden abordar las cuestiones de equidad y no discriminación en los seguros de muchas maneras diferentes. Deben evaluar sus actividades en función de la definición de su enfoque de equidad y aplicar de forma responsable las medidas que consideren adecuadas, de acuerdo con la legislación pertinente y teniendo en cuenta los intereses de todas las partes implicadas. La comunicación transparente de estas medidas reforzaría la confianza de los consumidores. En lo que respecta a la aplicación del principio de equidad y no discriminación en casos específicos de uso de IA en los seguros el informe destaca que la tarificación actuarial basada en el riesgo en los seguros debe fundamentarse en factores con una correlación de riesgo y un vínculo causal en cumplimiento de la legislación antidiscriminatoria. La diferencia de las primas de seguro con respecto al riesgo de siniestros determina que diferentes consumidores con diferentes perfiles de riesgo paguen diferentes primas. Las empresas de seguros deben cumplir la legislación antidiscriminatoria a nivel nacional y de la UE. La lista actual de características protegidas en la UE incluye atributos como la nacionalidad, el género, el origen racial o étnico, la religión o las creencias, la discapacidad, la edad o la orientación sexual. Las leyes nacionales contra la discriminación pueden (39) De conformidad con el art. 17, apartado 1, de la Directiva de distribución de seguros (IDD), los distribuidores de seguros deben actuar siempre de forma honesta, justa y profesional, de acuerdo con los mejores intereses de sus clientes. Este artículo está en consonancia con el principio de tratamiento equitativo de datos del art. 5 del RGPD. Además, el art. 20 de la IDD especifica que todo producto propuesto al cliente debe ser coherente con sus exigencias y necesidades. Por su parte, el art. 25 de la IDD y el Reglamento delegado establecen los requisitos de supervisión y gobernanza de los productos para distribuidores de seguros, incluida la necesidad de identificar un mercado objetivo y de evaluar regularmente que el producto sigue siendo coherente con las necesidades del mercado objetivo identificado. El principio de equidad también se reconoce en el art. 5 del RGPD y en el art. 5 de la Directiva sobre prácticas comerciales desleales (UCPD). Esta última considera desleales aquellas prácticas que distorsionan o pueden distorsionar materialmente el comportamiento económico de un consumidor medio, destacando la necesidad de prestar especial atención a los consumidores vulnerables. Además, el sector de los seguros tiene que cumplir la legislación antidiscriminatoria. 16506-1825d.indb 53516506-1825d.indb 535 26-03-2022 10:34:5626-03-2022 10:34:56 536 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... variar de un país a otro en Europa, pero suelen contener algunas disposiciones específicas para la tarificación de los seguros que aclaran qué atributos son inadmisibles a efectos de evaluación del riesgo para determinar el precio y prestaciones y qué atributos se permiten si se basan en principios reconocidos de cálculo de riesgos (normalmente la discapacidad y la edad). Algunos Estados miembros también permiten el uso de datos sobre la religión y la identidad sexual, si bien otros Estados miembros tienen leyes nacionales más estrictas contra la discriminación. Así pues, mientras que la discriminación directa puede evitarse no utilizando atributos protegidos, la discriminación indirecta es más compleja40. Las empresas de seguros habrán de evaluar y desarrollar medidas para mitigar el impacto de factores de calificación como la puntuación de crédito, la ubicación, los ingresos, la ocupación o el nivel de educación en las poblaciones vulnerables y las clases protegidas en aquellas líneas de negocio esenciales en las que tienen un vínculo causal limitado41. También, deben evitar las prácticas de optimización de precios, como las destinadas (40) A raíz de la Sentencia Test Achats, que prohibía el uso del género como factor de riesgo para calcular las primas o las prestaciones individuales, la Comisión Europea publicó unas directrices (Comisión Europea 2012/C11/01), en las que se aclaraba que los factores de calificación que se correlacionan con el género, y que, por tanto, pueden causar una discriminación indirecta pueden estar “objetivamente justificados por una finalidad legítima” cuando se utilizan para la estimación de los riesgos/el coste de producción. Un enfoque similar debería utilizarse para otras características protegidas. El requisito de que “los medios sean adecuados y necesarios” lo traduce la Comisión Europea en la noción de “verdaderos factores de riesgo por derecho propio”. (41) Ciertos factores de calificación, como las puntuaciones de crédito pueden no ser apropiados en algunas líneas debido a su limitada relación causal. Además, su uso puede tener un impacto negativo desproporcionado en los consumidores vulnerables, como las poblaciones de bajos ingresos o ciertos grupos minoritarios, y contribuir así a reforzar la desigualdad existente. Existen diferentes tipos de puntuaciones de crédito/informes de crédito; algunos utilizan el sistema de IA para acceder a información general como los hábitos de gasto, el comportamiento de compra, el uso del teléfono móvil, etc.; esta información sobre el comportamiento puede ser inexacta y estar estrechamente correlacionada con las características protegidas, y además los consumidores pueden no ser conscientes de que esa información sobre ellos se emplea para calcular su puntuación de crédito. Por lo tanto, esa información no debe utilizarse para la fijación de precios y la suscripción de créditos. Otras puntuaciones crediticias se basan en hechos concretos, como la insolvencia de los clientes, que podría estar relacionada con una mayor probabilidad de impago, o el intento de cometer un fraude debido a la necesidad de dinero, o de un estilo de vida menos cuidadoso, etc. Algunos miembros de la GDE consideran que este último tipo de puntuaciones de crédito de terceros puede utilizarse para fijar los precios de determinadas líneas de negocio, prestando atención a no establecer precios desproporcionadamente altos a los consumidores vulnerables. Otros miembros de la GDE consideran que, si se utilizan, deben hacerlo exclusivamente para prevenir el riesgo de impago, desarrollando procesos de pago. En lo que respecta a los datos de localización, para determinadas líneas de negocio, como los seguros de inundación, existe una fuerte correlación de riesgo y un vínculo causal. También es importante destacar que no utilizar o limitar el uso de factores de calificación podría afectar negativamente a los consumidores vulnerables. El riesgo tendría que ser mutualizado por el conjunto de clientes asegurados. Los factores de calificación en los que puede influir el consumidor pueden resultar preferibles en determinadas circunstancias 16506-1825d.indb 53616506-1825d.indb 536 26-03-2022 10:34:5626-03-2022 10:34:56 537 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... a maximizar la “disposición a pagar” del consumidor, cuando perjudican injustamente a los consumidores especialmente vulnerables o clases protegidas y en líneas de negocio esenciales para la inclusión financiera. Además de la tarifa actuarial “basada en el riesgo”, y dejando de lado los ajustes de la prima para tener en cuenta los costes de reaseguro y otros relativos a la adquisición/producción, algunas aseguradoras ajustan la prima al precio del mercado y optimizan aún más la prima final utilizando una serie de técnicas diferentes que son en gran medida independientes del perfil de riesgo del consumidor. Suelen basarse en las correlaciones (no en la causalidad) de los atributos relevantes para el riesgo, así como en otros factores no basados en el riesgo, como los ingresos, el nivel de estudios, el tipo de dispositivo utilizado, el canal de distribución, la hora del día, la ubicación, las aplicaciones descargadas, etc. Los principales tipos de prácticas de optimización de precios son el estudio de mercado y el análisis de la competencia42, modelos de rotación43, de estimación del valor del tiempo de vida del cliente44, de elasticidad de los precios45 y comparación individual de precios en tiempo real46. Estas prácticas han suscitado y los sistemas de IA pueden utilizarse para encontrar factores de calificación que reflejen mejor el riesgo. Los factores de tarificación como la edad o el código postal suelen estar estrechamente relacionados con los siniestros y, por tanto, se han empleado tradicionalmente con fines de tarificación y suscripción. Sin embargo, son un buen ejemplo de “correlación” con una “causalidad limitada”: no distinguen con precisión el riesgo de los individuos en ese segmento. La IA puede identificar segmentaciones que están más relacionadas con el riesgo y estar influido por el cliente. (42) Utilizar la investigación de mercado para una línea de negocio, así como para los segmentos de clientes, con el fin de determinar la posición de mercado frente a los competidores y, a continuación, ajustar la tarifa para reflejar la competencia del mercado y centrarse en los grupos como objetivo de la empresa (por ejemplo, a través de compañías de marketing dirigidas y descuentos comerciales). Las técnicas utilizadas pueden ser, por ejemplo, estudios de mercado, incluyendo también técnicas de rastreo de la web y métodos matemáticos para generar una visión general del mercado. (43) Utilizar métodos matemáticos, incluidos los sistemas de IA, para identificar a los clientes con riesgo de abandono. Los consumidores con una alta propensión a comparar precios en la fase de renovación pueden recibir un descuento desde el punto de vista comercial y actuarial. (44) Utilizar modelos matemáticos que incluyan sistemas de IA para estimar los gastos de siniestros y los ingresos por primas de los clientes a lo largo de toda su relación con la empresa, incluyendo posibles ventas adicionales y cruzadas de otros productos. Esto puede utilizarse para decidir los correspondientes descuentos comerciales para determinados clientes o grupos de clientes. (45) Utilizar métodos matemáticos, incluidos los sistemas de IA, para determinar la disposición a pagar de los clientes. La estimación de la elasticidad del precio se emplea entonces para adaptar su precio en el sentido de la “mayor prima posible”, y esto puede hacerse tanto en la fase de incorporación como en la de renovación del contrato. (46) Utilizar técnicas de rastreo de la web para concretar en tiempo real el precio que el cliente tendría que pagar en otra empresa de seguros, o preguntarle sus ofertas de precios alternativas de otras compañías, para adaptar el precio en el sentido de la “prima más alta posible” o seleccionar sólo a aquellos clientes en los que sea necesario un descuento mínimo. 16506-1825d.indb 53716506-1825d.indb 537 26-03-2022 10:34:5726-03-2022 10:34:57 538 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... importantes críticas por parte de los reguladores, las organizaciones de consumidores y la industria, debido al posible trato injusto que reciben determinados grupos de consumidores. Algunos miembros de la GDE no están de acuerdo con las intervenciones normativas mencionadas y consideran que, basándose en la libertad de las empresas de seguros para llevar a cabo su actividad, deberían poder ofrecer descuentos comerciales, de marketing o de suscripción a los consumidores para tratar de adquirirlos o retenerlos en el curso de una transacción comercial. La GDE estima que una posible solución equilibrada en este ámbito podría consistir en lo siguiente: para los casos de seguros esenciales, los modelos de elasticidad y las técnicas de comparación de precios individuales en tiempo real utilizadas para maximizarlo deberían considerarse de forma crítica desde el punto de vista de la ética, la equidad y también la competencia y, por tanto, evitarse, tanto durante la incorporación del consumidor como en la fase de renovación. Por otra parte, la GDE entiende que los modelos de rotación, de estimación del valor del tiempo de vida del cliente, las campañas de marketing dirigidas y el análisis de la competencia en el mercado deberían seguir siendo posibles, pero las empresas de seguros tendrían que hacer esfuerzos razonables para garantizar que no perjudican de forma desproporcionada a los consumidores vulnerables y a las clases protegidas. Además, los modelos de rotación no deberían utilizarse para aumentar las primas de los consumidores menos propensos a comparar precios. Se determina, además, que la prima pagada por los consumidores en la fase de renovación sólo debe aumentarse por motivos de incremento de los riesgos o de los costes, si bien los descuentos en las primas con fines comerciales y de marketing pueden tener lugar con las salvaguardas anteriormente señaladas. En lo que respecta a la gestión de siniestros, dicha tramitación representa el mayor coste de la empresa de seguros y, al mismo tiempo, la mejor oportunidad de satisfacer y fidelizar a los clientes. Muchas organizaciones ya cuentan con soluciones de IA para aumentar la toma de decisiones en los flujos de procesos de siniestros existentes. Las aseguradoras que utilizan sistemas de IA siguen desarrollando su respuesta a las cuestiones prácticas, éticas y legales que rodean la aplicación y el control del uso y despliegue de modelos de toma de decisiones cada vez más sofisticados. Sin embargo, no todas las decisiones tienen el mismo peso o impacto, por lo que es fundamental tener en cuenta el impacto y el contexto. En el caso de los siniestros, muchas de las decisiones serán ejecutadas por operadores de siniestros, que proporcionan un respaldo a cada decisión. Dos casos de uso desde la perspectiva de la equidad y la no discriminación son: i) compensación y liquidación en efectivo (prácticas de optimización de siniestros que pretenden estimar la “disposición a aceptar” de un consumidor un efectivo, la oferta de conciliación debe evitarse cuando perjudique injustamente a los consumidores, en particular a los consumidores vulnerables o a las clases protegidas y en las líneas de negocio esenciales); ii) detección del fraude (la supervisión humana eficaz y los sistemas de reparación son 16506-1825d.indb 53816506-1825d.indb 538 26-03-2022 10:34:5726-03-2022 10:34:57 539 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... fundamentales para garantizar un trato justo y resultados no discriminatorios de las prácticas de detección del fraude, en particular cuando se utilizan técnicas complejas de agrupación de aprendizaje profundo de IA no supervisado o análisis de redes)47. 2.3. Principio de transparencia y explicabilidad Las cuestiones de explicabilidad y transparencia no son nuevas para el sector de los seguros o, más ampliamente, para los sectores financieros. El suministro de información transparente a los consumidores es una de las piedras angulares de la legislación sobre servicios financieros, que pueden ilustrarse con la exigencia de proporcionar a los consumidores documentos de información clave sencillos y fáciles de usar para que puedan tomar decisiones con conocimiento de causa. Sin embargo, las medidas de transparencia y explicabilidad tienen limitaciones y deben combinarse con medidas de gobernanza complementarias para garantizar unos buenos resultados para los consumidores. Ambas medidas están relacionadas con la equidad y la no discriminación, ya que las primeras son en muchos aspectos requisitos previos necesarios para revelar problemas en las segundas. Tal y como reconoce el HLEG de la IA, la explicabilidad y la transparencia son aspectos importantes para garantizar la confianza y la responsabilidad de los sistemas de IA, lo que constituye el núcleo de la buena gobernanza en los servicios financieros. La explicabilidad se considera, por tanto, un elemento clave en la construcción de un uso ético y fiable de la IA. Los términos de transparencia y explicabilidad son dos conceptos interrelacionados que abordan el tipo de información sobre un sistema de IA que debe proporcionarse a las distintas partes interesadas. En este informe, la transparencia se entiende en sentido amplio como el suministro de información sobre el uso, la naturaleza o el diseño de un sistema de IA y las variables y parámetros de datos utilizados. La explicabilidad (47) La detección del fraude en la gestión de siniestros es diferente a la detección de la propensión al fraude en la suscripción porque en la última la acción potencialmente fraudulenta ocurrió en el pasado. Desde el punto de vista de la equidad y la no discriminación, ser objeto de una investigación justificada sobre el fraude es complicado, lento y emocionalmente estresante, especialmente si el consumidor se encuentra en una situación vulnerable. Sobre la base de su interés legítimo en la lucha contra el fraude (art. 6 RGPD), las empresas de seguros pueden utilizar los antecedentes penales o bases de datos similares sin consentimiento del consumidor. Además, si se manejan de forma responsable, ciertas técnicas de prevención del fraude, como las técnicas de análisis de redes, podrían perpetuar los patrones existentes de vulnerabilidad/discriminación a través de la “discriminación en la red”, por la que los individuos son penalizados (o recompensados) en función de las características de su familia, amigos u otros miembros de su red personal. Por lo tanto, las empresas de seguros deben poner en práctica las medidas de gobernanza pertinentes para mitigar esos riesgos, como el establecimiento de niveles adecuados de supervisión humana. Un modelo de cualquier tipo no debería poder clasificar a ningún cliente o transacción como “fraudulento” sin la participación del personal adecuado, tanto en la fase precontractual como durante una reclamación. Las empresas de seguros deben probar el fraude y siempre requieren un cierto nivel de supervisión humana y los debidos mecanismos de reparación legal. 16506-1825d.indb 53916506-1825d.indb 539 26-03-2022 10:34:5726-03-2022 10:34:57 540 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... forma parte del concepto de transparencia y se refiere a la capacidad de explicar el resultado del sistema de IA a un público concreto, en particular la influencia y la relación causal de una variable específica en el resultado final. Ambos términos están estrechamente relacionados con la noción de trazabilidad/registro que se desarrolla en el capítulo IX del informe. Los principios de transparencia y explicabilidad desarrollan los tipos de explicaciones que necesitan las diferentes partes interesadas en los seguros en casos específicos de uso de la IA, y también orientan a las empresas de seguros sobre cómo abordar las cuestiones relacionadas con la opacidad de algunos sistemas de IA (conocido como efecto “caja negra”). De estos principios se deduce que las empresas aseguradoras deben adoptar los tipos de explicaciones a los casos específicos de uso de la IA y a las partes receptoras interesadas (consumidores, supervisores, auditores) y esforzarse por utilizar modelos de IA explicables, en particular en los casos de uso de la IA de alto impacto, aunque, en ciertos casos, pueden combinar la explicabilidad de los modelos con otras medidas de gobernanza en tanto que garanticen la responsabilidad de las empresas incluido el acceso a mecanismos de reparación adecuados. Para los procesos en los que las empresas de seguros avanzan hacia la creación y el despliegue de modelos automatizados con una supervisión humana limitada deberían adoptar una mayor capacidad de explicación de los modelos. Además de contar con niveles adecuados de supervisión humana, las empresas de seguros deben establecer procesos sólidos de gestión de datos en casos de uso de la IA. Las empresas de seguros necesitan, además, pruebas estadísticas para revelar dónde podría surgir una posible discriminación. El nivel y los detalles de la explicabilidad deben adaptarse al impacto de un caso de uso de la IA específico en los consumidores y/o en la empresa de seguros. En igualdad de condiciones cuanto mayor sea el impacto de un caso de uso de la IA, mayores serán las medidas de transparencia y explicabilidad que deberá adoptar la empresa de seguros. Las explicaciones deben ser significativas y fáciles de entender para ayudar a las partes interesadas a tomar decisiones informadas. Además de contar con niveles adecuados de supervisión humana, las aseguradoras tienen que establecer procesos sólidos de gestión de datos en casos de uso de la IA y realizar pruebas estadísticas para revelar dónde podría surgir una posible discriminación. Las aseguradoras deben comunicar de forma transparente a los consumidores los datos utilizados en los modelos de IA y asegurarse de que son conscientes de que están interactuando con un sistema de IA, así como de sus limitaciones y ser capaces de explicar suficientemente el modelo de toma de decisiones de IA. Hay tres enfoques principales que las empresas de seguros pueden utilizar para la creación de modelos de IA transparentes/ explicables48: i) uso de sistemas de IA explicables; ii) uso de sistemas de caja negra, combinados con herramientas de explicabilidad complementarias; (48) Para la elaboración de estos enfoques se tiene en cuenta el trabajo desarrollado por el Oficial de la Comisión de Información y el Instituto Alan Turing (2020). 16506-1825d.indb 54016506-1825d.indb 540 26-03-2022 10:34:5726-03-2022 10:34:57 541 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... iii) métodos híbridos. Pues bien, para los procesos en los que las empresas de seguros avanzan hacia la creación y el despliegue de modelos automatizados con una supervisión humana limitada, las empresas de seguros deberían adoptar una mayor capacidad de explicación de los modelos. Los destinatarios de las explicaciones de los resultados de un sistema de IA deben ser capaces de comprender la información que se les proporciona. Por tanto, las empresas de seguros deben ser capaces de adaptar la compleja lógica matemática y los resultados de los sistemas de IA a explicaciones sencillas y fáciles de entender. Los consumidores necesitan conocer claramente los tipos de datos que intervienen en las decisiones de las empresas de seguros para poder verificar si son pertinentes y precisos. Concretamente, deben ser informados sobre los principales factores de tarificación que afectan a su prima para promover la confianza y permitirles adoptar decisiones informadas. Estas empresas también deben evitar ciertos tipos de prácticas de optimización de precios y reclamaciones como las que tienen como objetivo maximizar la “disposición a pagar” o la “disposición a aceptar” de los consumidores. Además del impacto del caso de uso específico de la IA, la naturaleza, el contenido, los detalles de las explicaciones pueden variar de un caso de uso a otro. Mientras que en la suscripción de precios las explicaciones para los consumidores deben ser más detalladas, en otros casos de uso de la IA, como la detección de fraudes, esto no siempre es posible. En estos supuestos, aunque algunas partes interesadas, como las autoridades de supervisión, tengan la posibilidad de acceder plenamente pueden a toda la información necesaria, puede que no sea posible proporcionar explicaciones totalmente detalladas a los consumidores para evitar comprometer el interés legítimo de las empresas de seguros en la lucha contra el fraude y la protección del fondo común. El principio de transparencia se reconoce en el artículo 5 del RGPD, que se desarrolla en los artículos 13 y 14 del RGPD, en los que se exige a las empresas que informen a los consumidores de forma oportuna, adecuada y transparente sobre el tratamiento de sus datos personales y sobre los tipos, las fuentes y los fines del uso y el tratamiento de los datos personales en los modelos de IA. El RGPD también establece explícitamente que los consumidores deben ser informados de la existencia de procesos automatizados de toma de decisiones (a menudo respaldados por tecnología de IA) y, lo que es más importante, proporcionarles información “significativa” sobre la lógica implicada, así como la importancia y las consecuencias previstas en dicho tratamiento. Por su parte, el artículo 6 del RGPD establece seis fundamentos jurídicos para el tratamiento de datos personales, siendo la necesidad de obtener el consentimiento del cliente para determinados tipos de tratamiento especialmente importante desde la perspectiva de la transparencia49. (49) Tal y como destacan las directrices del Grupo de Trabajo del artículo 29 sobre el consentimiento [Grupo de Trabajo de Protección de Datos del art. 29 (wp259rev.01 (2016)]. 16506-1825d.indb 54116506-1825d.indb 541 26-03-2022 10:34:5726-03-2022 10:34:57 548 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... los sistemas de fijación de precios y suscripción de la IA. Dicha supervisión puede utilizarse en el diseño, el desarrollo, la calibración y las pruebas de los sistemas de IA de precios. Al respecto, la automatización es un aspecto importante de la fijación de precios y también desempeña un papel relevante para la equidad en el sentido de que los riesgos similares deben tener un precio similar. Por lo tanto, las decisiones humanas con respecto al precio en el caso de un consumidor individual pueden no ser sensatas y no deseables desde el punto de vista ético. La supervisión humana de la IA aplicada a la gestión de las reclamaciones debe ser proporcional al impacto de la reclamación en el consumidor. Los impactos de escasa cuantía o los que tienen un impacto no significativo en los consumidores pueden beneficiarse de un bajo nivel de supervisión55. En materia de prevención de pérdidas las empresas de seguros pueden desempeñar un papel importante en dicha prevención proporcionando notificaciones y recomendaciones a los consumidores. Apesar de sus ventajas, todavía hay que tener en cuenta los riesgos y cualquier sistema impulsado por la IA o automatizado para este tipo de acciones debe estar sujeto a una supervisión humana adecuada basada en la influencia que podría tener en el comportamiento y el estilo de vida de las personas. La supervisión humana debe aplicarse de forma proporcionada al impacto potencial que estas actividades podrían tener en el cliente y si son practicables. También debe haber un seguimiento regular de las notificaciones y recomendaciones que han sido objeto de supervisión humana y de las que no lo han sido, de modo que puedan identificarse los errores y los posibles desajustes en la interpretación de los principios acordados. 2.5. Principio de gobernanza de datos del mantenimiento de registros Por lo que respecta al principio de gobernanza de datos del mantenimiento de registros, se destaca que las disposiciones incluidas en las leyes nacionales y europeas de protección de datos deben constituir la base para la aplicación de una sólida gobernanza a lo largo del ciclo de vida del sistema de IA adaptado a los casos de uso específicos de la IA. Las aseguradoras deben garantizar que los datos utilizados en los sistemas de IA sean precisos, completos y adecuados, y deben aplicar las mismas medidas de gobernanza de datos, independientemente de si se obtienen de fuentes internas o externas. Esos datos deben almacenarse en un entorno seguro y protegido y, en particular, para los casos de uso de alto impacto, las empresas de seguros deben mantener registros adecuados de los procesos de gestión de datos y las metodologías de modelado para permitir su trazabilidad y auditabilidad56. (55) A la hora de evaluar si un siniestro tiene un impacto significativo en los consumidores, las aseguradoras deben considerar también los factores no financieros y tenerlos en cuenta a la hora de decidir el grado de supervisión humana necesario. (56) El art. 5 del RGPD incluye otros principios pertinentes, como el de exactitud de los datos, así como el de limitación de la finalidad, que exige a las empresas que todo tratamiento ulterior de los datos personales sea compatible con la finalidad original. 16506-1825d.indb 54816506-1825d.indb 548 26-03-2022 10:34:5726-03-2022 10:34:57 549 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... La HLEG de la IA señala que es fundamental que las empresas garanticen la calidad e integridad de los datos para evitar posibles daños derivados de los modelos de IA. Dicha calidad no sólo es importante por razones éticas, sino también por el rendimiento empresarial. Además de estas exigencias, este grupo de expertos reconoce la importancia de respetar la privacidad y la protección de los datos a lo largo de todo el ciclo de vida del modelo de IA para que los consumidores puedan confiar en su proceso de recopilación. Además, teniendo en cuenta la dificultad de entender el funcionamiento de un sistema de IA (el llamado efecto caja negra), y, por tanto, las dificultades asociadas para auditarlos, es importante mantener los registros pertinentes de los datos utilizados en los modelos de IA, así como el método de modelización. Por lo que respecta al gobierno de los datos y al mantenimiento de registros en los seguros, las aseguradoras deben adaptar las medidas de gobernanza de datos y mantenimiento de registros al impacto de los casos de uso específicos de IA. Esto significa que las aplicaciones de IA que se espera que tengan un mayor impacto deberían contar con medidas de gobierno de datos más estrictas, y las de menor impacto deberían tener requisitos menos onerosos de forma proporcional. Además, las empresas de seguros deben utilizar el cumplimiento del RGPD como base para un buen gobierno de los datos. Esta normativa ya incluye requisitos exhaustivos sobre la gobernanza de los datos relativos al tratamiento de datos personales por parte de las empresas de seguros que deben cumplir todos los requisitos de gobernanza de datos incluidos en el RGPD, como el de tener tanto una razón legal para el tratamiento de datos personales y haber obtenido el consentimiento informado del consumidor. Además, deben garantizar que los datos utilizados en los modelos de IA son precisos, completos y adecuados. Estas exigencias son fundamentales para crear modelos de IA que ofrezcan resultados fiables y estables. Se debe aplicar una sólida gobernanza de los datos a lo largo de todo el ciclo de vida del modelo de IA. El tratamiento y la aplicación de los datos pueden producir errores y sesgos que, si no se corrigen, se reflejarán posteriormente en los resultados de los modelos de IA. Por tanto, es imprescindible que las aseguradoras cuenten con una buena gestión de los datos de la IA en todas las etapas de su diseño e implementación (recogida de datos, preparación de los datos y post-procesamiento). Las mismas normas de calidad de los datos deberían aplicarse a los adquiridos a terceros proveedores de datos. Al respecto, los requisitos de Solvencia II para la subcontratación también son pertinentes cuando se confía en modelos y datos de terceros. Los datos utilizados en los modelos de IA deben manejarse y almacenarse de forma segura. En consonancia con el principio de integridad y confidencialidad del artículo 5 del RGPD, es importante que las empresas de seguros dispongan de protocolos para almacenar los datos en un 16506-1825d.indb 54916506-1825d.indb 549 26-03-2022 10:34:5726-03-2022 10:34:57 550 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... entorno seguro y protegido, en zonas de acceso restringido a los usuarios de las empresas. Los datos más sensibles (como los de salud) deben contar con requisitos de seguridad y acceso más estrictos que los datos menos sensibles. Además, las aseguradoras deben mantener un registro adecuado de los datos y las metodologías de modelización para garantizar su reproducibilidad y trazabilidad. Esto permite, por un lado, rastrear las decisiones y verificarlas en caso de que puedan ser eventualmente impugnadas, y, por otro lado, evitar el mal uso de los modelos por falta de atención. Por lo que respecta al gobierno de datos y al mantenimiento de registros en casos específicos de uso de IA en los seguros, en materia de precios y suscripción el informe destaca la necesidad de realizar comprobaciones minuciosas sobre la calidad/insesgadez de los datos, el reentrenamiento/ reestimación del algoritmo de IA y la conciliación de datos, así como la actualización de los registros de la fuente de datos/preparación/postprocesamiento y el rendimiento del modelo. En el caso concreto de las prácticas de optimización de precios que suelen requerir sistemas de IA más complejos, los datos de comportamiento utilizados en estos modelos exigen un reentrenamiento y una reestimación más a menudo y, por lo tanto, las prácticas de validación y conciliación de datos, así como las de mantenimiento de registros, deben actualizarse periódicamente. En la gestión de siniestros, la fase de recopilación de datos se actualiza con la imagen proporcionada por el demandante, por lo que éste debe respetar estos requisitos para garantizar una alta calidad de los datos y la imparcialidad. Los registros sobre las razones para utilizar la IA y la integración en la infraestructura informática son especialmente importantes. En el ámbito de prevención de pérdidas, una vez que se ha entrenado y probado un modelo de IA y se ha desplegado para su uso, el algoritmo de IA puede actualizar dinámicamente sus estimaciones basándose en datos actualizados con frecuencia. Las nuevas estimaciones generadas pueden proporcionar una evaluación más precisa de los riesgos, así como notificaciones, estadísticas y recomendaciones como orientación para evitar que se produzcan pérdidas. Los datos que se recojan deben ser de alta calidad e imparciales. 2.6. Principio de solidez y rendimiento De conformidad con el principio de solidez y rendimiento, las empresas de seguros deben utilizar sistemas de IA sólidos, tanto si se desarrollan internamente como como si se subcontratan a terceros, teniendo en cuenta su uso previsto y el potencial de causar daños. El impacto potencial de un caso de uso específico de IA determinará el nivel de rendimiento requerido. Los sistemas de IA deben ser adecuados para su finalidad y su rendimiento debe ser evaluado y supervisado de forma continua, incluyendo el desarrollo de métricas de rendimiento pertinentes y deben desplegarse en infraestructuras informáticas resistentes y seguras, incluso contra los ciberataques. Al respecto, resulta muy importante que la calibración, la validación y la reproducibilidad de los sistemas de IA se realicen de forma sólida, de modo que se garantice que sus resultados sean estables a lo largo 16506-1825d.indb 55016506-1825d.indb 550 26-03-2022 10:34:5726-03-2022 10:34:57 551 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... del tiempo y/o de naturaleza constante. Los criterios para un cambio significativo del modelo deben estar bien documentados para cada aplicación de IA, y ser más estrictos a medida que aumenta la importancia del sistema de IA. En esta línea, la solidez es uno de los requisitos clave para que la IA sea digna de confianza. Esto se aplica en el sentido técnico y ético, garantizando que la IA funcione de forma fiable y que no cause daños. Para ello, hay que tener en cuenta el contexto y el entorno en el que funciona desde el punto de vista operativo y social. La IA es sólida cuando puede utilizarse con confianza y se comporta como está previsto. Esto se aplica a una amplia gama de elementos, desde la seguridad informática del sistema hasta la estabilidad del modelo pasando por la protección de los datos. De hecho, un modelo de IA que proporciona de forma fiable y consistente predicciones similares para entradas similares puede considerarse estable y, por tanto, sólido. Debe prestarse atención a cómo funciona el modelo a lo largo del tiempo y si hay diferencias significativas en sus resultados para datos recientes y antiguos. Para garantizar que el sistema de IA es adecuado a su propósito, las empresas de seguros deben contar con procesos de validación estructurados, incluso cuando los sistemas de IA se actualizan o reentrenan con frecuencia, debiendo producir resultados estables a lo largo del tiempo y desarrollar sistemas e infraestructuras de TI resistentes para hacer frente a las posibles limitaciones de software y hardware de TI al implementar soluciones de IA. Además, deberían establecer planes de retirada en caso de que los sistemas de IA no funcionen como se preveía o sean víctimas de un ciberataque o un ataque adverso. El artículo 25 del RGPD incluye el requisito de que las empresas garanticen la protección de datos desde el diseño y por defecto, lo que significa que las empresas de seguros deben integrar la protección de datos en todas las actividades de tratamiento de datos y prácticas empresariales, desde la fase de diseño hasta el ciclo de vida de los sistemas de IA. Por lo que respecta a la legislación en materia de seguros Solvencia II también incluye disposiciones pertinentes relacionadas con la solidez y el rendimiento en el contexto de los modelos internos y el cálculo de las proyecciones en los seguros. La Asociación Internacional de Actuarios también ha desarrollado Normas Internacionales para la práctica Actuarial con la finalidad de garantizar la solidez y la precisión de los modelos57. Por último, una vez que entre en vigor la propuesta de Reglamento sobre la resiliencia operativa digital para el sector financiero y la modificación de los Reglamentos (DORA)58, se introducirán nuevos requisitos de resistencia operativa y seguridad informática. El rendimiento desempeña un papel importante en la consecución de una IA sólida. Un sistema de IA de alto rendimiento suele proporcionar una mayor confianza en la fiabilidad de los resultados, lo que facilita la (57) Asociación Internacional de Actuarios (2016). (58) https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:52020PC0595&from=EN Comisión Europea (COM/2020/595). 16506-1825d.indb 55116506-1825d.indb 551 26-03-2022 10:34:5726-03-2022 10:34:57 552 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... prevención de daños involuntarios y su despliegue en un entorno controlado. Sin embargo, el rendimiento técnico no es suficiente y también es necesario garantizar que la IA se utilice de la manera prevista. En síntesis, puede entenderse que una buena gestión de los datos es fundamental para garantizar el rendimiento de los sistemas de IA y los controles de calidad e integridad de los datos son un factor clave para la solidez y rendimiento del modelo59. El impacto potencial de un caso de uso específico de IA determinará el nivel de rendimiento requerido. Las medidas mínimas de solidez y rendimiento exigidas a un sistema de IA están estrechamente relacionadas con su uso previsto y el potencial de causar daños. Cuanto mayor sea el riesgo de causar un daño involuntario en un caso de uso específico de la IA, más estrictos serán los requisitos de rendimiento que deben cumplirse, y viceversa. Sin embargo, también se tendrán en cuenta otras medidas de gobernanza, como el nivel de supervisión humana de una aplicación de IA. El sistema IA elegido también debe ser apropiado para su uso previsto. Las aseguradoras deberían concretar claramente cuál es la función y el objetivo que pretenden alcanzar con un sistema de IA específico, evaluar y supervisar el funcionamiento de los sistemas de IA de forma continua y teniendo debidamente en cuenta sus limitaciones y posibles deficiencias. Por un lado, esto permitirá definir los parámetros de rendimiento adecuados para ese sistema de IA específico y, por otro lado, garantizará que el modelo no se utilice para un propósito diferente al que fue creado. Los parámetros de rendimiento deben adaptarse al objetivo que se persigue y a la naturaleza de los datos utilizados. También es importante supervisar dicho rendimiento con respecto a los consumidores vulnerables y desarrollar métricas adecuadas para este fin. Por último, la selección de las métricas de rendimiento debe documentarse junto con su justificación. Una buena gestión de los datos es fundamental para garantizar el rendimiento de los sistemas de IA. Es importante destacar el papel fundamental que desempeñan los datos en el rendimiento del modelo y, por lo tanto, debe prestarse la debida atención a su integridad y adecuación al propósito buscado, valorando si son precisos, completos, imparciales y representativos. Por tanto, los controles de calidad e integridad de los datos contribuyen en gran medida al rendimiento del modelo. En IA los sistemas subcontratados a terceros deben contar con requisitos de solidez y rendimientos similares, si bien las aseguradoras son responsables en última instancia de las aplicaciones de IA que subcontratan60. Los proveedores de servicios deberán garantizar que las aplicaciones de IA que comercializan cumplen normas de calidad más estrictas y proporcionan a (59) El capítulo X del informe de la EIOPA ya aborda la importancia de que los datos sean imparciales, completos y precisos, pero a efectos de solidez y rendimiento, los datos de entrenamiento también deben ser representativos de las poblaciones a las que se dirigen los modelos de IA y coherentes con los datos disponibles cuando se utilizan. (60) Vid. art. 49 de la Solvencia II. 16506-1825d.indb 55216506-1825d.indb 552 26-03-2022 10:34:5726-03-2022 10:34:57 553 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... las empresas de seguros información suficiente para que puedan comprender adecuadamente su funcionamiento y las limitaciones de los sistemas de IA61. Por lo que respecta al principio de robustez y rendimiento en casos específicos de uso de IA en los seguros, en materia de precios y suscripción, la orientación sobre lo que constituye un rendimiento adecuado del modelo de fijación de precios depende en gran medida del riesgo que se valora, los datos disponibles y el impacto de una posible falta de rendimiento del modelo. En este sentido, debe prestarse una especial atención a las consecuencias de un rendimiento inadecuado del modelo y debe proporcionarse información a las partes interesadas que les permita comprender las consecuencias para la empresa y sus consumidores. Los modelos de fijación de precios tienen que ser muy sólidos, debiendo entenderse y explicarse claramente las diferencias significativas en los precios para riesgos aparentemente similares, así como la diferencia de precios de un periodo a otro apoyándose en una razón bien documentada. Por su parte, en la gestión de siniestros el rendimiento requerido del modelo debe ser proporcional al papel que las técnicas de OCR o de procesamiento de imágenes desempeñan en dichos procesos y al impacto que, en última instancia, tienen sobre los reclamantes cualquier supervisión humana que pueda formar parte del proceso. La calidad de las imágenes o de los documentos puede afectar significativamente al rendimiento del modelo, por lo que las compañías de seguros deben ser conscientes de esta deficiencia y tenerla en cuenta en sus procesos. En materia de prevención de pérdidas, la importancia de estas iniciativas radica, en la mayoría de los casos, en la forma en que se aplican los modelos y en el impacto potencial sobre el comportamiento de los consumidores, por lo que los requisitos de rendimiento y solidez deben considerarse tomando esto en consideración. IV. CONCLUSIONES Como ya hemos señalado, además de diversas iniciativas intersectoriales, de forma específica para el sector de los seguros, EIOPA publicó en mayo de 2019 las principales conclusiones de su revisión temática sobre el uso de Big Data Analitics en los seguros de automóviles y de salud. Un paso más en esta revisión vino representado por la creación de un grupo multidisciplinar de partes interesadas de la GDE, entre otras cosas, porque los retos derivados de la IA a menudo implican compensaciones relevantes que van más allá de las consideraciones puramente reguladoras o de supervisión, por lo que EIOPA entendió que sería útil un examen más amplio (61) La información que deben proporcionar los terceros proveedores de servicios a las empresas de seguros debe ser similar a los requisitos de información incluidos en el art. 13 Comisión Europea 2021/0106 (COD) (2021). 16506-1825d.indb 55316506-1825d.indb 553 26-03-2022 10:34:5726-03-2022 10:34:57 554 A. B. VEIGA COPO Y M. MARTÍNEZ MUÑOZ: SEGURO DE PERSONAS... de estos retos. Teniendo en cuenta las oportunidades y los retos de la IA, la GDE ha desarrollado un marco de gobernanza de la IA ético y fiable que pretende permitir a los interesados del sector de los seguros aprovechar los beneficios derivados de la IA, al tiempo que se abordan los retos de manera proporcionada. El marco propuesto reconoce la libertad de las empresas de seguros para seleccionar la combinación de medidas de gobernanza que mejor se adapte a sus respectivos modelos de negocio y, más concretamente, a los casos concretos de uso de la IA que pretenden aplicar, pero al mismo tiempo destaca las áreas que requieren una consideración especial para promover la confianza en el uso de la IA por parte de las aseguradoras. Pretende ser una caja de herramientas útil que pueda utilizarse para hacer frente a las oportunidades y los retos derivados del uso de la IA. En consecuencia, resulta necesario aplicar medidas de gobernanza adecuadas a lo largo de todo el ciclo de vida del sistema de IA de forma proporcionada. Esto debe hacerse evaluando el impacto potencial que un caso concreto de uso de la IA puede tener en las empresas de seguros y/o en los consumidores. Cuanto mayor sea el impacto de un caso concreto de uso de la IA, más sólido será el marco de gobernanza que se requiere, teniendo en cuenta que un marco de gobernanza ético y fiable se consigue mediante una combinación de medidas y no mediante una sola o independiente. El principio de equidad y no discriminación pone de manifiesto que, como parte de su responsabilidad social corporativa las empresas de seguros deben tener en cuenta que hay algunas líneas de negocio de seguros que son particularmente importantes para la inclusión social y financiera. Deben ser conscientes de que, si no se maneja de manera responsable, la IA tiene el potencial de reforzar las desigualdades existentes al afectar de manera desproporcionada a los consumidores que, debido a sus circunstancias personales, ya se encuentran en una situación vulnerable. Por lo tanto, es crucial realizar los esfuerzos pertinentes para evaluar los resultados de los sistemas de IA. También deben esforzarse por utilizar sistemas de IA explicables, en particular para las aplicaciones de IA de alto impacto, aunque en algunos casos su falta puede compensarse con medidas de gobernanza alternativas. Las aseguradoras también tienen que establecer niveles adecuados de supervisión humana a lo largo del ciclo de vida del sistema de IA y asignar funciones y responsabilidades claras entre su personal proporcionándoles la formación adecuada. La gestión de los datos y el mantenimiento de los registros son fundamentales para garantizar la responsabilidad de las empresas de seguros y, por lo tanto, deben hacer esfuerzos razonables para eliminar los sesgos en los datos de formación y mantener los registros pertinentes de los métodos de modelización utilizados y de cómo se procesaron los conjuntos de datos. Además, el principio de robustez y rendimiento pone de manifiesto la necesidad de supervisar la precisión de las predicciones de los sistemas de IA utilizando métricas pertinentes, y estos deben desplegarse en infraestructuras informáticas resistentes y seguras. 16506-1825d.indb 55416506-1825d.indb 554 26-03-2022 10:34:5726-03-2022 10:34:57 555 19. PRINCIPIOS DE GOBERNANZA PARA UNA INTELIGENCIA ARTIFICIAL ÉTICA... Para concluir, es importante tener en cuenta que las empresas de seguros deben cumplir con todas las legislaciones aplicables en todo momento, lo que puede influir en la selección de las medidas de gobernanza de la IA para un caso concreto de uso de la IA. Además, se espera que los principios de gobernanza de la IA propuestos en este informe deban revisarse en los próximos años a la luz de los amplios avances que se están produciendo en el campo de la IA, incluido el desarrollo de herramientas para hacer frente a los posibles riesgos derivados del incremento de casos de uso de la IA de alto riesgo. Las cuestiones que afecta el progreso de la IA son muy variadas y pueden tener efectos profundos en la forma de entender los seguros y nuestra sociedad actual, por lo que requieren un diálogo continuo entre todas las diferentes partes interesadas del sector de los seguros y más allá. 16506-1825d.indb 55516506-1825d.indb 555 26-03-2022 10:34:5726-03-2022 10:34:57