Modelos Grandes de Lenguaje y aplicaciones a la generación automática de texto

Máster Universitario en Matemáticas Universidad de Sevilla Modelos Grandes de Lenguaje y aplicaciones a la generación automática de texto José Carlos Jiménez Revuelta Tutor: Fernando Sancho Caparrini Julio 2023 Abstract This Master’s Thesis delves into the evolution and application of large-scale language models, with a particular focus on the fourth iteration of the Generative Pre-trained Transformer (GPT-4) developed by OpenAI. Through a profound theoretical and mathematical analysis, it examines how advances in Natural Language Processing (NLP), Recurrent Neural Networks (RNN), Convolutional Neural Networks (CNN), Transformers, and selfattention have facilitated the development of more sophisticated and accurate language models. Key mathematical concepts such as vector spaces, embeddings, activation functions, and loss and optimization functions are explored in detail to provide a more robust understanding of the computational complexity, convergence, optimization, and the generalization and learning capacity of these models. This study also discusses performance metrics, the interpretability and explainability of language models, as well as the inherent limitations of current mathematical approaches. This thesis also addresses the critical ethical and societal issues that arise with the use of large-scale language models, including bias and fairness, privacy and security and AI regulation and governance. By providing critical insight and comprehensive analysis of these topics, this work seeks to pave the way for future research in this rapidly evolving and highly relevant field. Keywords: Natural Language Processing, Language Models, Deep Learning, GPT-4, Recurrent Neural Networks, Convolutional Neural Networks, Transformers, Self-attention, Computational Complexity, Optimization, Generalization, Interpretability, AI Ethics, AI Regulation. Abstract Este Trabajo de Fin de Máster (TFM) explora la evolución y la aplicación de los modelos de lenguaje a gran escala, con un enfoque particular en la cuarta iteración del modelo Generative Pre-trained Transformer (GPT-4) desarrollado por OpenAI. A través de un análisis teórico y matemático profundo, se examina cómo los avances en el Procesamiento del Lenguaje Natural (NLP), las Redes Neuronales Recurrentes (RNN), las Redes Neuronales Convolucionales (CNN), los Transformers, y la auto-atención han facilitado el desarrollo de modelos de lenguaje más sofisticados y precisos. Los conceptos matemáticos clave, como los espacios vectoriales, los embeddings, las funciones de activación, y las funciones de pérdida y optimización son explorados en detalle para proporcionar una comprensión más sólida de la complejidad computacional, la convergencia, la optimización, y la capacidad de generalización y aprendizaje de estos modelos. Este estudio también discute las medidas de rendimiento, la interpretabilidad y la explicabilidad de los modelos de lenguaje, así como las limitaciones inherentes de los enfoques matemáticos actuales. Este TFM también aborda las importantes cuestiones éticas y sociales que surgen con el uso de los modelos de lenguaje a gran escala, incluyendo el sesgo y la equidad, la privacidad y seguridad y la regulación de la Inteligencia Artificial (IA). Al proporcionar una visión crítica y un análisis exhaustivo de estos temas, este trabajo busca abrir nuevos caminos para la investigación futura en esta área en constante evolución y altamente relevante. Palabras clave: Procesamiento del Lenguaje Natural, Modelos de Lenguaje, Aprendizaje Profundo, GPT-4, Redes Neuronales Recurrentes, Redes Neuronales Convolucionales, Transformers, Auto-atención, Complejidad Computacional, Optimización, Generalización, Interpretabilidad, Ética de la IA, Regulación de la IA. Índice general 1. Introducción 4 1.1. Motivación .................................. 4 1.2. Objetivos ................................... 5 1.3. Estructuradeltrabajo............................. 5 2. Procesamiento del lenguaje natural (NLP) 7 2.1. Introducción.................................. 7 2.2. Embedding .................................. 9 2.2.1. Hotencoding ................................. 9 2.2.2. Wordembeddings............................... 10 2.2.3. Sentenceembeddings............................. 13 2.2.4. Document embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.5. Semántica distribucional . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3. Arquitecturas de redes neuronales en NLP . . . . . . . . . . . . . . . . . . 22 2.3.1. Redes neuronales recurrentes (RNN) . . . . . . . . . . . . . . . . . . . . . 23 2.3.2. Redes neuronales convolucionales (CNN) . . . . . . . . . . . . . . . . . . 26 2.3.3. Transformers ................................. 28 2.4. Entrenamiento y optimización de modelos de lenguaje . . . . . . . . . . . 29 2.4.1. Funcionesdepérdida ............................. 30 2.4.2. Estadísticas y procesamiento de datos textuales . . . . . . . . . . . . . . . 32 2.4.3. Funciones de activación . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.4.4. Optimización ................................. 37 3. Modelos Grandes de Lenguaje (LLM) 39 3.1. Evolución de los modelos de lenguaje . . . . . . . . . . . . . . . . . . . . 39 3.1.1. Modelos de lenguaje basados en reglas y gramáticas . . . . . . . . . . . . . 40 3.1.2. Modelos de lenguaje estadísticos . . . . . . . . . . . . . . . . . . . . . . . 40 3.1.3. Modelos de lenguaje basados en redes neuronales . . . . . . . . . . . . . . 41 3.1.4. Modelos grandes de lenguaje basados en transformers . . . . . . . . . . . . 41 3.2. Fundamentos matemáticos del transformer . . . . . . . . . . . . . . . . . . 42 3.2.1. El problema de la traducción automática . . . . . . . . . . . . . . . . . . . 42 1 2ÍNDICE GENERAL 3.2.2. Mecanismos básicos de atención . . . . . . . . . . . . . . . . . . . . . . . 43 3.2.3. Scale Dot-Product Attention . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.4. Multiheadattention............................... 49 3.3. GPT: Generative Pre-trained Transformer . . . . . . . . . . . . . . . . . . 51 3.3.1. Generacióndetexto.............................. 51 3.4. Escala de los modelos de lenguaje . . . . . . . . . . . . . . . . . . . . . . 52 3.4.1. Habilidades emergentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.2. GPT...................................... 54 3.4.3. GPT-2..................................... 55 3.4.4. GPT-3..................................... 55 3.4.5. GPT-4..................................... 55 3.4.6. Retos y consideraciones éticas . . . . . . . . . . . . . . . . . . . . . . . . 56 3.5. Comparación con otros modelos de lenguaje populares: BERT y T5 . . . . 58 3.5.1. BERT (Bidirectional Encoder Representations from Transformers) . . . . . 58 3.5.2. Entrenamiento. GPT vs BERT . . . . . . . . . . . . . . . . . . . . . . . . 59 3.5.3. T5 (Text-to-Text Transfer Transformer) . . . . . . . . . . . . . . . . . . . 59 3.5.4. Comparación de rendimiento . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.5.5. Otras consideraciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.6. Aplicaciones y casos de uso . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.7. Comprender el funcionamiento de los modelos . . . . . . . . . . . . . . . 62 3.7.1. Soluciones y enfoques futuros . . . . . . . . . . . . . . . . . . . . . . . . 63 4. Análisis matemático de los LLM 64 4.1. Estudio de la complejidad computacional . . . . . . . . . . . . . . . . . . 64 4.1.1. Complejidad en tiempo y espacio . . . . . . . . . . . . . . . . . . . . . . . 64 4.1.2. FLOPsyparámetros ............................. 66 4.1.3. Eficiencia y optimización . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.2. Análisis de la convergencia y la optimización . . . . . . . . . . . . . . . . 67 4.2.1. Tasas de aprendizaje y adaptación . . . . . . . . . . . . . . . . . . . . . . 67 4.2.2. Regularización ................................ 68 4.2.3. Ajustefino................................... 71 4.2.4. Estrategias para mejorar la convergencia . . . . . . . . . . . . . . . . . . . 72 4.2.5. Evaluación de la convergencia y la optimización . . . . . . . . . . . . . . . 74 4.3. Estudio de la generalización y la capacidad de aprendizaje . . . . . . . . . 77 4.3.1. Balance entre sesgo y varianza . . . . . . . . . . . . . . . . . . . . . . . . 77 4.3.2. Análisis de la interferencia catastrófica . . . . . . . . . . . . . . . . . . . . 78 4.3.3. Otras estrategias para mejorar la generalización . . . . . . . . . . . . . . . 80 4.4. Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) . . 81 4.5. Modelos matemáticos para la interpretabilidad y la explicabilidad . . . . . . 82 ÍNDICE GENERAL 3 4.5.1. Técnicas matemáticas para la interpretabilidad . . . . . . . . . . . . . . . . 83 4.5.2. Técnicas matemáticas para la explicabilidad . . . . . . . . . . . . . . . . . 84 5. Impacto ético y social de los LLM 88 5.1. Impactopolítico................................ 89 5.1.1. TheIAAct .................................. 89 5.1.2. Planning for AGI and beyond . . . . . . . . . . . . . . . . . . . . . . . . . 91 5.1.3. Huelga de guionistas en Hollywood de 2023 . . . . . . . . . . . . . . . . . 93 5.2. Impactosocial................................. 93 5.2.1. Pause Giant AI Experiments: An Open Letter . . . . . . . . . . . . . . . . 94 5.2.2. Trabajos académicos con ChatGPT . . . . . . . . . . . . . . . . . . . . . . 95 5.2.3. Clasificadores de texto IA/Humano . . . . . . . . . . . . . . . . . . . . . . 96 6. Conclusión 98 6.1. Valoraciónpersonal..............................100 Índice de figuras 101 Bibliografía 103 10 Chapter 2. Procesamiento del lenguaje natural (NLP) Las limitaciones de esta técnica son evidentes. Con vocabularios extensos, terminaremos con vectores muy largos, ya que la dimensión del vector es igual al tamaño del vocabulario. No obstante, este no es el inconveniente más significativo de este método. De acuerdo con la codificación en caliente, guitarra tiene tanta similitud con violín como con lagarto. Esto quiere decir que a través de este método los modelos no pueden capturar el significado de forma efectiva. Si aspiramos a una representación más eficiente, necesitamos hallar una forma de definir el significado en términos de manipulación vectorial. 2.2.2. Word embeddings En el momento en el que se escriben estas líneas, los humanos y los modelos de aprendizaje automático, sean de procesamiento de lenguaje natural o no, reciben los datos de manera diferente. Mientras que para nosotros es fácil comprender el significado de una frase como vi un gato, los modelos necesitan transformar cada palabra o parte de la palabra en vectores y realizar algunas operaciones sobre estos para interpretarla. Este proceso es lo que se conoce como embedding, la forma de representar las palabras que se integran en el modelo para su procesamiento. Pongamos un ejemplo. La palabra escribimos podría dividirse en escrib que indica la acción de escribir y imos que refiere al sujeto de la acción. En un modelo de lenguaje, nos referimos como token a estas palabras o partes de palabras que van a convertirse en vectores para su procesamiento. De ahora en adelante, describiremos procesos que en definitiva, reciben y producen palabras. Definimos entonces token como una unidad discreta de texto que se utiliza para dividir un escrito en partes más pequeñas y significativas. Para evitar ser repetitivo en la redacción (y porque en esencia es más exacto), a partir de ahora nos referiremos a las entradas de nuestros modelos indistintamente como palabras o tokens. Los word embeddings son representaciones vectoriales de tokens en un espacio de alta dimensión que capturan su significado y relaciones semánticas y sintácticas. Estos embeddings son aprendidos por algoritmos como Word2Vec [48] y GloVe [51] a partir de 2.2. Embedding 11 Figura 1: Word Embedding. Fuente towardsdatascience.com grandes conjuntos de datos de texto, y son utilizados en una amplia variedad de tareas en NLP, como la clasificación de texto y la traducción automática. El word embedding representa los tokens en un espacio vectorial de manera que si los vectores de una pareja de tokens están cerca entre sí, significa que están relacionados semántica o sintácticamente. En la Figura 1, podemos ver varias palabras que se asocian principalmente con mujeres agrupadas en el lado izquierdo, mientras que las palabras asociadas con hombres se agrupan en el lado derecho. Entonces, si pasamos la palabra earrings (pendientes), el procesador la relacionará con el género femenino, lo cual es correcto según estereotipos de género actuales. Dado que el vocabulario de cualquier idioma es grande y no se puede etiquetar por humanos, se requieren técnicas de aprendizaje no supervisado que puedan aprender el contexto de cualquier palabra por sí mismas. Skip-gram es una de las técnicas de aprendizaje no supervisado utilizadas para modelar relaciones entre tokens. Skip-gram Skip-gram [38] es uno de los modelos disponibles en Word2vec junto con Continuous Bag-of-Words (CBOW). Es particularmente eficiente y funciona mejor que CBOW, por lo que lo tomaremos de referencia para exponer la elaboración de un word embedding. Skip-gram se utiliza para predecir el token de contexto para un token objetivo dado. Dado que hay más de un token de contexto que se debe predecir, esto hace que el problema sea 12 Chapter 2. Procesamiento del lenguaje natural (NLP) difícil. En el modelo skip-gram, cada palabra/token w∈Wse asocia con un vector vw∈Rdy de manera similar, cada contexto c∈Cse representa como un vector vc∈Rd, donde W es el vocabulario de palabras, Ces el vocabulario de contextos y des la dimensionalidad del embedding. Las entradas en los vectores son latentes y se tratan como parámetros a ser aprendidos. El espacio latente se refiere a un espacio en el que se representan las características o propiedades relevantes de un conjunto de datos. Es un espacio de menor dimensión que el espacio original de los datos y se construye de manera que captura la estructura subyacente o las relaciones significativas entre los elementos del conjunto de datos. En nuestro caso, el word embedding es un espacio latente. Hablando de manera general, buscamos valores de parámetros (es decir, representaciones vectoriales tanto para tokens como para contextos) de tal manera que el producto escalar vw·vcasociado con pares buenos de palabra-contexto se maximice. En el procesamiento de lenguaje natural, el muestreo negativo consiste en generar ejemplos negativos al tomar secuencias de palabras aleatorias o incorrectas y contrastarlas con secuencias válidas y coherentes. Esto permite al modelo aprender a producir secuencias de palabras más precisas. Skip-gram, realiza un muestreo negativo sobre un conjunto de datos Dde pares observados (w, c)de palabras wy contextos c, que aparecen en un gran corpus de texto. Consideremos un par palabra-contexto (w, c). Ahora conviene contrastar si este par proviene del corpus de texto. Denotamos por p(D= 1|w, c)la probabilidad de que (w, c)provenga de los datos, y por p(D= 0|w, c) = 1 −p(D= 1|w, c)la probabilidad de que (w, c)no provenga. La distribución se modela de la siguiente manera: p(D= 1|w, c) = 1 1 + e−vw·vc(2.1) donde vwyvc(cada uno un vector d-dimensional) son los parámetros del modelo que se deben aprender. Buscamos maximizar la log-probabilidad de los pares observados perte- 2.2. Embedding 13 necientes a los datos, lo que lleva a la expresión: arg m´ax vw,vcX (w,c)∈D log 1 1 + e−vc·vw(2.2) Esta expresión admite una solución trivial en la cual p(D= 1|w, c) = 1 para cada par (w, c). Esto puede lograrse fácilmente estableciendo vc=vwyvc·vw=Kpara todos los cyw, donde Kes un número lo suficientemente grande. Con el fin de evitar la solución trivial, la función objetivo se extiende con pares (w, c) para los cuales p(D= 1|w, c)debe ser baja, es decir, pares que no están en los datos. Definimos entonces el conjunto D′de pares (w, c)aleatorios donde asumimos que todos son incorrectos. Esto nos ofrece la siguiente función objetivo a optimizar: arg m´ax vw,vcX (w,c)∈D log σ(vc·vw) + X (w,c)∈D′ log σ(−vc·vw)(2.3) donde σ(x) = 1 1+e−x.La función objetivo se entrena utilizando gradiente estocástico sobre el corpus D∪D′. Las muestras incorrectas D′se pueden construir de diversas formas. Si seguimos el método propuesto por Mikolov (2013) [48]: para cada par (w, c)∈Dconstruimos nmuestras (w, c1),...,(w, cn), donde nes un hiperparámetro y cada cjse selecciona de acuerdo a su distribución univariante, esto es, la frecuencia de aparición de palabras individuales en un corpus o conjunto de datos de texto, elevada a la potencia 3/4. Optimizar esta función hace que los pares observados de palabra-contexto se acerquen entre sí dentro del embedding, mientras que se dispersan los pares no observados. 2.2.3. Sentence embeddings Los sentence embeddings son representaciones vectoriales de frases o enunciados que tienen en cuenta el contexto y la estructura de las palabras en la frase [13]. Estos embeddings pueden ser aprendidos por modelos de lenguaje basados en redes neuronales, como las redes neuronales recurrentes (RNN) y los transformers, y se utilizan en tareas como la 14 Chapter 2. Procesamiento del lenguaje natural (NLP) Figura 2: Sentence embedding combinado con una capa totalmente conectada y una capa softmax para el análisis de sentimientos (a). La suma de pesos (A1, ..., An)se calculan de la manera ilustrada en (b). Fuente A structured self-atentive sentence embedding [40] detección de paráfrasis y la generación de resúmenes. A continuación, describiremos matemáticamente el modelo Structured Self-Attention. La Figura 2 muestra un sentence embedding aplicado al análisis de sentimientos. Supongamos que tenemos una frase que consta de ntokens/palabras, si tomamos el ejemplo mencionado n= 9: "We have a nice experience in that restaurant." Donde el punto .tambien se modela como un token. Sea Wiel word embedding del iésimo token/palabra de la frase, esto es, un vector n-dimensional. Sea Sla matriz que representa a la frase, es decir, que concatena todos los tokens. S=     W1 . . . Wn      =     W11 . . . W1d . . . . . . . . . Wn1. . . Wnd      (2.4) 2.2. Embedding 15 Donde podemos ver que Stiene dimensión nd. En el ejemplo de la Figura 2: S=     W1 . . . Wn      =            We have . . . restaurant .            =     W11 . . . W1d . . . . . . . . . W91 . . . W9d      (2.5) En principio se considera que los vectores que forman cada fila de Sson linealmente independientes [40]. (Esto es, que los tokens son independientes entre sí). Para introducir una dependencia entre las palabras de las frases se emplea una red neuronal bidireccional Long-Short-Term-Memory (LSTM) para procesar la frase. −→ ht=−−−−→ LSTM(wt,−−→ ht−1)(2.6) ←− ht=←−−−− LSTM(wt,←−− ht+1)(2.7) Concatenamos cada estado oculto −→ htcon ←− htpara formar un estado oculto ht. Sea uel número de unidades ocultas en cada LSTM unidireccional. Para simplificar, representamos todos los nestados ocultos como H, que tiene una dimensión de n2u. H=     h1 . . . hn      (2.8) A continuación, se emplea un mecanismo de Self-Atention que consiste en establecer combinaciones lineales con los nvectores ocultos de la LSTM en H. Este mecanismo de atención toma como entrada todos los estados ocultos de la LSTM en H y produce un vector de pesos a. a=     a1 . . . an      (2.9) Para generar este vector de pesos autilizaremos la función softmax (Ver Pág 36, sección 16 Chapter 2. Procesamiento del lenguaje natural (NLP) 2.4.3) que convierte un vector de entrada en una distribución de probabilidad: softmax(x)i=exi PK j=1 exj (2.10) Donde softmax(x)es la probabilidad de que la i-ésima entrada pertenezca a la clase j, xes el vector de entrada y Kel número de clases. La función softmax se utiliza para garantizar que la suma de los pesos calculados sea igual a 1. a=softmax(ws2tanh(Ws1HT)) (2.11) Aquí, daes un hiperparámetro que podemos elegir arbitrariamente, Ws1es una matriz de pesos con dimensión da2uyws2es un vector de parámetros de dimensión da. Dado que Htiene dimensiones n2u, el vector de pesos atambién tendrá tamaño n. aH =m(2.12) donde mes una representación vectorial de la frase de entrada. Esta representación vectorial generalmente se enfoca en un componente específico de la frase, como un conjunto especial de palabras o frases relacionadas para reflejar un componente de su semántica. En el caso de oraciones largas puede haber varios componentes en una frase que juntos formen la semántica general (por ejemplo, dos cláusulas vinculadas por un y). Por lo tanto, necesitamos múltiples mque se centren en diferentes partes de la oración. ello implica realizar múltiples iteraciones de atención. Suponemos que queremos dividir y procesar rpartes de la frase. Para esto, ampliamos ws2en una matriz rda, llamada Ws2, y el vector de pesos resultante ase convierte en una matriz de pesos A. Formalmente, esto lo expresamos de la siguiente manera: A=softmax(Ws2tanh(Ws1HT)) (2.13) Aquí, softmax se aplica a lo largo de la segunda dimensión de su entrada. Obtenemos entonces una matriz de sentence embedding Mde dimensión r2u. Las rsumas ponderadas 2.2. Embedding 17 se obtienen de multiplicar la matriz de pesos Apor los estados ocultos de LSTM H: M=AH (2.14) Término de penalización Puede ocurrir que el mecanismo de atención proporcione unas matrices de pesos similares para las rpartes de la frase, dando lugar a problemas de redundancia. Para prevenirlo añadimos un término de penalización que fomenta la diversidad. Para esta sección se describe un término de penalización introducido en A structured self-atentive sentence embedding. Utilizamos el producto matricial de A y su transpuesta, restado por una matriz identidad, como medida de redundancia. P=|(A⊤A−I)|2 F(2.15) Aquí, ||Frepresenta la norma de Frobenius de una matriz. Este término de penalización P se multiplica por un coeficiente y se minimiza junto con la pérdida original, que depende de la aplicación posterior. Consideremos dos vectores diferentes aiyajen A. Debido a la función softmax, todas las entradas dentro de cualquier vector de peso en A deben sumar 1. Por lo tanto, se pueden considerar como masas de probabilidad en una distribución de probabilidad discreta. Para cualquier elemento no diagonal aij (i=j)en la matriz A⊤A, corresponde a: 0< aij = n X k=1 ai kaj k<1(2.16) donde ai kyaj kson el k-ésimo elemento en los vectores aiyaj, respectivamente. En el caso más extremo, donde no hay superposición entre las dos distribuciones de probabilidad aiyaj, el correspondiente aij será 0. De lo contrario, tendrá un valor positivo. En el otro extremo, si las dos distribuciones son idénticas y se concentran en una sola palabra, tendrá un valor máximo de 1. A A⊤Ale restamos la matriz identidad para forzar que los elementos en la diagonal de A⊤Ase aproximen a 1, lo que obliga a cada vector a 18 Chapter 2. Procesamiento del lenguaje natural (NLP) Figura 3: Pragraph Vector Modelo. Fuente Distributed Representations of Sentences and Documents [35] enfocarse en un solo aspecto, forzando a su vez a todos los demás elementos a tender a 0, lo que castiga la redundancia entre diferentes vectores de peso. 2.2.4. Document embeddings Los document embeddings son representaciones vectoriales de textos completos que capturan su contenido semántico y temático a nivel de documento. Estos embeddings pueden ser aprendidos por algoritmos como Doc2Vec [35] y utilizados en tareas como la clasificación de documentos y la recuperación de información. Paragraph Vector model Propuesto en 2014 en Distributed Representations of Sentences and Documents de Mikolov Le [35] el modelo Paragraph Vector, también conocido como Doc2Vec, es un enfoque de aprendizaje no supervisado utilizado para generar representaciones vectoriales de documentos de texto. A diferencia de los modelos tradicionales basados en bolsas de palabras (bag-of-words) que representan documentos como vectores de frecuencias de palabras, el modelo Paragraph Vector captura tanto la información contextual de las palabras como la estructura global del documento. En el modelo Paragraph Vector (ver Figura 3), cada párrafo se asigna a un vector único, representado por una columna en la matriz D, y cada palabra también se asigna a un 2.2. Embedding 19 vector único, representado por una columna en la matriz W. El vector del párrafo y los vectores de palabras se promedian o concatenan para predecir la siguiente palabra en un contexto. En comparación con el word embedding la principal diferencia se encuentra en la siguiente ecuación, donde se construye ha partir de WyD. Cada yies la log-probabilidad no normalizada para cada palabra de salida i, calculada como: y=b+U·h(wt−k, . . . , wt+k;W)(2.17) donde Uybson los parámetros del softmax y hse construye mediante una concatenación o promedio de los vectores de palabras extraídos de W. El token asociado al párrafo se puede considerar como otra palabra. Actúa como una memoria que recuerda lo que falta en el contexto actual, o el tema del párrafo. Por esta razón, los autores [35] llaman también a este modelo el Modelo de Memoria Distribuida de Paragraph Vectors (PV-DM). El vector correspondiente al párrafo se utiliza en todos los contextos generados a partir del mismo párrafo, pero no se comparte entre párrafos. Sin embargo, la matriz de vectores de palabras Wse comparte entre los párrafos. En otras palabras, el vector asociado a la palabra barco es idéntico en todos los párrafos. Tanto los vectores de párrafo como los de palabras se entrenan empleando el descenso de gradiente estocástico (SGD) (Ver Pág 36, sección 2.4.4) y retropropagación. De esta forma se muestrea un contexto de longitud fija de un párrafo aleatorio, se calcula el gradiente de error a partir de la red y se usa el gradiente para actualizar los parámetros en el modelo. Supongamos que hay Npárrafos en el corpus y Mpalabras en el vocabulario. Si deseamos aprender vectores de párrafo de pdimensiones y vectores de palabras de qdimensiones, entonces el modelo tendrá un total de N×p+M×qparámetros (sin incluir los parámetros de la función softmax). Aunque el número de parámetros puede ser grande cuando Nes grande, las actualizaciones durante el entrenamiento tienden a ser dispersas, 26 Chapter 2. Procesamiento del lenguaje natural (NLP) 2.3.2. Redes neuronales convolucionales (CNN) Las redes neuronales convolucionales (CNN) son una clase de redes neuronales que utilizan convoluciones para extraer características locales e invariantes en datos espaciales, como imágenes [37]. Aunque las CNN se han utilizado principalmente en el campo de la visión por computadora, también han demostrado ser efectivas en el NLP para tareas como la clasificación de texto y la extracción de entidades [69]. Para describir el funcionamiento de estas redes vamos a detallar como procesan un sentence embedding. Para ello vamos a definir previamente algunos conceptos necesarios: Ventana de palabras Se define como la cantidad de palabras vecinas que se toman en cuenta a cada lado de la palabra objetivo. Estas serán las evaluadas para predecir las palabras futuras. Vector de conexión Se refiere al vector de pesos que se aplican a cada unidad o filtro de convolución en la capa anterior para calcular la salida de la capa actual. Estos pesos determinan la influencia relativa de las características de entrada en la generación de características de salida. Convolución Es una operación que combina dos funciones para crear una tercera función que representa cómo una de las funciones influye en la otra. La operación de convolución entre dos funciones se denota como: (f∗g)(t) = Z∞ −∞ f(τ)·g(t−τ)dτ (2.23) donde f(t)yg(t)son las dos funciones que se están convolucionando y ∗representa la operación de convolución. En el caso discreto, cuando se trabaja con secuencias o datos discretos, la convolución se define como: (f∗g)[n] = ∞ X k=−∞ f[k]·g[n−k](2.24) 2.3. Arquitecturas de redes neuronales en NLP 27 Figura 5: Un diagrama que ilustra la estructura de una red neuronal convolucional aplicada al procesamiento del lenguaje natural. Fuente adaptada desde Application of Convolutional Neural Network in Natural Language Processing [39] donde f[n]yg[n]son las secuencias o datos discretos que se están convolucionando y∗representa la operación de convolución. Pooling Consiste en subdividir la salida de la capa convolucional en regiones más pequeñas y resumir cada región en un solo valor representativo. Este valor representativo puede ser el máximo (Max Pooling) o el promedio (Average Pooling) de los valores en la región. Supongamos que queremos procesar un texto. Para cada frase i, denotamos xi∈Rd la representación del word embedding de dimensión dadjudicado a una palabra. Dado que hay npalabras en una frase, esta se puede expresar como una matriz de vectores xn∈Rd×n. La Figura 5 muestra una frase de siete palabras como una matriz de entrada de CNN [39]. Notemos por xi:i+jel vector de conexión xi, xi+1 ...,xi+j. Realizamos la convolución sobre el vector de entrada. Los filtros denotados como k∈Rhd se aplican a ventanas de tamaño hpara producir nuevas características. 28 Chapter 2. Procesamiento del lenguaje natural (NLP) Por ejemplo, para usar las palabras xi:i+h−1en una ventana de generación de características ci ci=f(xi:i+h−1k⊤+b)(2.25) donde b∈Res el desplazamiento (offset), fes una función de activación no lineal, como la función tangente hiperbólica. El filtro kse aplica a todas las posibles ventanas y crea planos de características con el mismo peso. c= [c1, c2, ..., cn−h+1](2.26) En CNN, diferentes filtros de convolución de diferentes anchos (también llamados núcleos) se deslizan a través de la matriz del word embedding completo. Cada núcleo extrae una característica específica del patrón de N-Gramas. En el contexto del procesamiento de texto, un N-grama es una secuencia de Npalabras, caracteres o cualquier otro elemento que se considere relevante.Los N-gramas son útiles para capturar información contextual y patrones en el texto. Por ejemplo, un N-grama de tamaño 2 (bigrama) captura la relación entre dos palabras consecutivas en un texto, mientras que un N-grama de tamaño 3 (trigrama) captura la relación entre tres palabras consecutivas. La convolución generalmente se sigue de una estrategia de máx pooling, que es igual que el pooling pero tomando el máximo de cada división. 2.3.3. Transformers A mediados de 2017, un grupo de ingenieros de Google junto a un investigador de la Universidad de Toronto publican un pequeño (pero revolucionario) trabajo de investigación con el sugerente título de “Atention is all you need (La atención es lo único que necesitas)” [67]. Aunque los mecanismos de atención habían aparecido en el contexto de las redes neuronales desde 2015 no es hasta este año que se propone una ingeniosa nueva arquitectura de aprendizaje profundo que podría emplearse para la traducción de un idioma a otro, superando a las redes secuenciales 2-seq-LSTM-seq que eran las empleadas hasta ese momento. Lo que no se preveía por entonces es que las aplicaciones de su Transformer 2.4. Entrenamiento y optimización de modelos de lenguaje 29 -el nombre que dieron a esta nueva arquitectura de red neuronalpodría ser aplicado en campos tan diversos como las redes generativas, el aprendizaje por refuerzo o la visión artificial alcanzando unas cotas de corrección nunca antes vistas y convirtiéndose en la base del acelerado avance en IA en el que nos encontramos. Los transformers han demostrado ser muy efectivos en una amplia variedad de tareas en NLP, incluida la traducción automática, la generación de texto y la comprensión del lenguaje natural. Además, los transformers han sido la base de modelos de lenguaje de gran tamaño, como BERT, GPT-4 y T5, que han establecido nuevos estándares de rendimiento en una amplia gama de tareas en NLP [41, 71]. Aunque aquí lo introducimos de forma muy superficial, la arquitectura del transformers y sus mecanismos de atención se describirán detalladamente en el capítulo 3. 2.4. Entrenamiento y optimización de modelos de lenguaje En esta sección, vamos a describir algunos conceptos y las técnicas utilizadas en el entrenamiento de modelos de lenguaje, que van a ser necesarios para entender los siguiente capítulos incluida la función de pérdida,el descenso de gradiente y las funciones de activación. Más adelante, en el capítulo 4 retomaremos algunos conceptos y veremos otros en profundidad como las técnicas de regularización. Para estos conceptos nos basaremos en la teoría de la información. Fue desarrollada originalmente para estudiar el envío de mensajes desde alfabetos discretos a través de un canal ruidoso, como la comunicación vía transmisión de radio. En este contexto, la teoría de la información explica cómo diseñar códigos óptimos y calcular la longitud esperada de los mensajes muestreados de distribuciones de probabilidad específicas utilizando varios esquemas de codificación. Para nuestro caso, también podemos aplicar la teoría de la información a variables continuas donde algunas de estas interpretaciones de longitud de mensaje no se aplican. De esta forma, utilizamos principalmente algunas ideas clave de la teoría de la información para caracterizar distribuciones de probabilidad o cuantificar 30 Chapter 2. Procesamiento del lenguaje natural (NLP) la similitud entre distribuciones de probabilidad. 2.4.1. Funciones de pérdida Las funciones de pérdida, también conocidas como funciones de costo o funciones de error, son utilizadas en el entrenamiento de modelos de aprendizaje automático para medir la discrepancia entre las predicciones del modelo y los valores reales de los datos de entrenamiento. Estas funciones cuantifican la diferencia entre las salidas predichas por el modelo y los valores objetivo, permitiendo así evaluar qué tan bien está realizando el modelo en comparación con los datos de entrenamiento. En esencia, al minimizar la función de pérdida durante el entrenamiento, el modelo busca encontrar los valores óptimos de los parámetros que reduzcan al máximo la discrepancia entre las predicciones y los valores reales. Se utilizan diferentes tipos de funciones de pérdida dependiendo del tipo de problema de aprendizaje y la naturaleza de los datos. Algunos ejemplos comunes son el error cuadrático medio (MSE), la entropía cruzada categórica (CCE), el error absoluto medio (MAE), entre otros. Cada función de pérdida tiene sus propias características y propósitos, y es seleccionada en función de las necesidades específicas del problema y del tipo de modelo utilizado [70]. Vamos a ver como trabaja la función de pérdida entropía cruzada en el problema de clasificación de kclases. Consideremos X⊆Rdel espacio de características de nuestros datos yY={1, . . . , c}el espacio de etiquetas. Supondremos que nos encontramos un escenario ideal, en el que se nos proporciona un conjunto de datos limpio D={(xi, yi)}n i=1 ⊆ (X×Y). La función que se encarga de mapear el espacio de características de entrada al espacio de etiquetas se llama clasificador y se define como f:X→Rc. En este trabajo, consideramos el caso común donde la función es una red neuronal con la capa de salida softmax. Definimos el riesgo del clasificador fcomo: RL(f) = ED[L(f(x), yx)] (2.27) 2.4. Entrenamiento y optimización de modelos de lenguaje 31 Donde la esperanza es sobre la distribución empírica. Usaremos la entropía cruzada por ser una de las funciones de pérdida más empleadas. Su expresión es la siguiente: H(p, q) = −X(p(x) log(q(x))) (2.28) Donde H(p, q)es la entropía cruzada entre las distribuciones pyq,p(x)es la probabilidad real o verdadera de que ocurra el evento x,q(x)es la probabilidad estimada o predicha de que ocurra el evento x. En este caso, el riesgo se convierte en: RL(f) = ED[L(f(x;θ), yx)] = −1 n n X i=1 c X j=1 yij log fj(xi;θ)(2.29) Aquí θrepresenta el conjunto de parámetros del clasificador, yij corresponde al j-ésimo elemento de la etiqueta codificada empleando one-hot (codificación de variables categóricas) de la muestra xi,yi=eyi∈(0,1)ctal que 1Tyi= 1∀i. fjdenota el j-ésimo elemento de f. Nótese que Pc j=1 fj(xi;θ)=1, y fj(xi;θ)≥0∀j, i, θ, esto es debido a que tenemos una función softmax en la capa de salida. Sea Dη={(xi,ˆyi)}n i=1 un conjunto de datos con ruido en las etiquetas, donde ˆyison las etiquetas ruidosas en relación a cada muestra tal que p(ˆyi=k|yi=j, xi) = ηxi jk. Suponemos también que el ruido es independiente de manera condicional a las entradas dadas las etiquetas verdaderas, de modo que p(ˆyi=k|yi=j, xi) = p(ˆyi=k|yi=j) = ηxi jk. Definimos este ruido como dependiente de la clase. El ruido es uniforme con una tasa de ruido ηsi ηjk = 1 −ηpara j=k, y ηjk =η/(c−1) para j=k. El riesgo del clasificador con respecto al conjunto de datos ruidosos se define entonces como Rη L(f) = EDη[L(f(x), eyx)].(2.30) Sea fel minimizador global del riesgo RL(f). Entonces, la minimización del riesgo empírico bajo la función de pérdida Lse define como tolerante al ruido si fes un mínimo 32 Chapter 2. Procesamiento del lenguaje natural (NLP) global del riesgo ruidoso RL(f). Pérdida de regresión logística La pérdida de regresión logística es una función de pérdida relacionada con la entropía cruzada que se utiliza en modelos de clasificación binaria. Esta función de pérdida mide la discrepancia entre las predicciones del modelo y las verdaderas etiquetas binarias [6]. J(θ) = −1 N N X i=1 [yilog(ˆyi) + (1 −yi) log(1 −ˆyi)] (2.31) donde J(θ)es la pérdida de regresión logística, Nes el número total de ejemplos en el conjunto de datos, yies la etiqueta verdadera del ejemplo i, y ˆyies la probabilidad predicha de la clase positiva para el ejemplo i. Esta ecuación da una gran pérdida cuando la predicción del modelo está lejos de la verdadera etiqueta y una pequeña pérdida cuando la predicción del modelo está cerca de la verdadera etiqueta. En otras palabras, minimizar esta pérdida lleva a que el modelo haga predicciones más cercanas a las verdaderas etiquetas. 2.4.2. Estadísticas y procesamiento de datos textuales Las técnicas estadísticas también desempeñan un papel importante en el análisis y modelado de datos textuales en el NLP. Por ejemplo, el análisis de la distribución de palabras en un corpus de texto puede proporcionar información valiosa sobre las propiedades del texto y ayudar en la identificación de palabras clave y temas relevantes [44]. La Ley de Zipf es una ley empírica que establece que la frecuencia de cualquier palabra en un texto o corpus es inversamente proporcional a su rango en la lista de frecuencias de palabras (Ver Figura 6). Es decir, la palabra más común aparecerá aproximadamente dos veces más a menudo que la segunda más común, tres veces más a menudo que la tercera más común, y así sucesivamente. 2.4. Entrenamiento y optimización de modelos de lenguaje 33 Figura 6: Gráficas de ranking versus la frecuencia de las primeras 10 millones de palabras en 30 Wikipedias (descargas de octubre del 2015) en una representación logarítmica en los dos ejes. Fuente extraída de Wikipedia Matemáticamente, la Ley de Zipf se puede expresar de la siguiente manera: f=c r(2.32) donde, fes la frecuencia de una palabra, res el rango de la palabra, ces una constante. El rango de una palabra en el contexto de la ley de Zipf se refiere a su posición en el orden descendente de frecuencias. La palabra más frecuente tendrá un rango de 1, la segunda palabra más frecuente tendrá un rango de 2, y así sucesivamente. La ley de Zipf es más comúnmente representada en una forma logarítmica como: log f= log c−s·log r(2.33) donde ses la pendiente de la relación (generalmente cercana a 1 para el lenguaje natural). 34 Chapter 2. Procesamiento del lenguaje natural (NLP) Estas ecuaciones describen la relación general entre la frecuencia y el rango de las palabras en un texto de acuerdo con la Ley de Zipf. Sin embargo, en la práctica, puede haber variaciones debido a una variedad de factores, como el tamaño del corpus, la longitud del texto, la naturaleza del idioma, entre otros. 2.4.3. Funciones de activación Las funciones de activación (Ver Figura 7) son un componente esencial en las redes neuronales artificiales, ya que introducen la no linealidad en el modelo y permiten que la red aprenda representaciones más complejas y ricas de los datos [22]. En esta sección, se explorarán las funciones de activación más utilizadas en el contexto de los modelos de lenguaje y sus propiedades matemáticas. Figura 7: Un diagrama que ilustra cómo las funciones de activación se aplican a las salidas de las unidades en una red neuronal. Elaboración propia. Función sigmoide La función sigmoide es una función de activación clásica que toma un valor de entrada y lo transforma en un valor en el rango de (0, 1). Esta función se utiliza a menudo en las capas de salida de los modelos de clasificación binaria, ya que puede interpretarse como la probabilidad de que una entrada pertenezca a una de las dos clases Tenemos que l´ımx→∞ σ(x)=1,l´ımx→−∞ σ(x)=0, y σ(0) = 0,5, esto hace que la función sigmoide sea especialmente útil para convertir números reales en probabilidades. 2.4. Entrenamiento y optimización de modelos de lenguaje 35 Función tangente hiperbólica (tanh) La función tangente hiperbólica (tanh) es otra función de activación popular que transforma un valor de entrada en un valor en el rango de (−1,1). La función tanh es similar a la función sigmoide en términos de forma, pero tiene un rango de salida diferente, lo que la hace más adecuada para ciertas tareas y arquitecturas de redes neuronales, como las redes neuronales recurrentes (RNN) [37]. La ecuación para la función tanh es: tanh(x) = ex−e−x ex+e−x(2.34) En este caso, l´ımx→∞ tanh(x)=1,l´ımx→−∞ tanh(x) = −1, y tanh(0) = 0, lo que significa que centra su salida alrededor de 0, algo que puede ser útil en ciertas aplicaciones. Rectificador lineal unitario (ReLU) El rectificador lineal unitario (ReLU) es una función de activación simple pero efectiva que se ha vuelto muy popular en el entrenamiento de redes neuronales profundas (DNN), es decir, de múltiples capas ocultas. La función ReLU toma un valor de entrada y lo transforma en un valor en el rango de [0,+∞), donde los valores negativos se ajustan a 0 y los valores positivos se mantienen sin cambios [50]. ReLU(x) = m´ax(0, x)(2.35) La función ReLU tiene varias propiedades deseables, como la capacidad de mitigar el problema del desvanecimiento del gradiente durante el entrenamiento y una computación eficiente en términos de tiempo y recursos [21]. Sin embargo, también puede presentar problemas de "neuronas muertas", en las que algunas unidades de la red dejan de actualizar sus pesos durante el entrenamiento debido a la saturación en 0 [25]. 42 Chapter 3. Modelos Grandes de Lenguaje (LLM) una amplia gama de tareas de NLP. Estos modelos utilizan mecanismos Multi-head attention yself-attention para capturar las dependencias de largo alcance en el texto y se entrenan con grandes conjuntos de datos utilizando técnicas de aprendizaje supervisado y no supervisado. Como responsable del gran avance actual de los modelos grandes de lenguaje, vamos a analizar detalladamente la arquitectura transformer. 3.2. Fundamentos matemáticos del transformer Las arquitecturas dominantes en el Procesamiento del Lenguaje Natural (PLN) hasta la introducción de los Transformers eran las redes neuronales secuenciales y convolucionales de alta complejidad. Estas contaban con un codificador para convertir cada palabra o token en un vector numérico N-dimensional, y un decodificador para revertir esta transformación una vez realizada la traducción. Se observó que los sistemas de traducción más efectivos eran aquellos que vinculaban el codificador y el decodificador a través de un mecanismo de atención. Esta observación llevó al diseño del Transformer, una innovadora y simplificada arquitectura de red neuronal que descarta los métodos recurrentes y convolucionales y se enfoca exclusivamente en los mecanismos de atención. Los transformers, gracias a sus mecanismos de atención, demostraron ser no solo traductores más eficaces, sino que también poseían una mayor capacidad de paralelización (ideal para la traducción de grandes volúmenes de texto), consumían solo una fracción de los recursos utilizados por los sistemas anteriores y necesitaban menos tiempo para ser entrenados. 3.2.1. El problema de la traducción automática Iniciamos con una secuencia de origen  F= (f0, f1, ..., fn), donde cada firepresenta una palabra individual tomada de un conjunto de palabras de origen. Nuestro objetivo es predecir una traducción de la secuencia de origen  Fa otro idioma, conocida como secuencia objetivo  E= (e0, e1, ..., em), la cual está compuesta por palabras eipertenecientes a un conjunto de palabras objetivo. 3.2. Fundamentos matemáticos del transformer 43 Los idiomas humanos no se traducen simplemente palabra a palabra, por lo que tenemos la dificultad añadida de que las secuencias  Fy Eno tienen porqué tener la misma longitud. Expresado de manera probabilística, buscamos modelar la distribución P( E| F) = P(e0, e1, ..., em| F) La probabilidad conjunta de  Ese puede expresar como un producto de probabilidades condicionales: P( E| F) = P(e0| F)·P(e1|e0, F)·... ·P(em−1|e0, ..., em−2, F)·P(em|e0, ..., em−1, F) Las redes neuronales recurrentes han sido la base de la mayor parte de avances en traducción automática, gracias a su memoria que permitía modelizar el contexto. Sin embargo, un sistema codificador-decodificador basado en RNN presenta algunos problemas de implantación: Cuanto más larga sea la entrada, más ruidosa será la información de las partes anteriores de la secuencia. Esto impide que se puedan hacer predicciones en secuencias largas. La solución parecía estar según los investigadores en condensar toda la información de los estados ocultos del sistema en un vector que fuera consistente con el tamaño de la entrada. Así nacieron los mecanismos de atención, que sirven para condensar los estados ocultos en una suma ponderada de sus vectores. 3.2.2. Mecanismos básicos de atención El mecanismo de atención de un modelo enfocado en la traducción de un texto permite evaluar cada una de las palabras de la frase original, convertidas en vector N-dimensional, y tomar una decisión sobre cómo traducirlas para obtener una frase de salida. En la Figura 9 observamos la traducción del Inglés al Francés de la frase The agreement on the European Economic Area was signed in August 1992. En L´accord sur la zone économique européenne a été signé en août 1992. Como observamos, para presentar la palabra zona, presta atención a la palabra Area y a la palabra Economic. ¿Cómo se modela la atención dentro de una arquitectura de software? Para comprenderlo, 44 Chapter 3. Modelos Grandes de Lenguaje (LLM) Figura 9: Mapa de calor de la atención extraída del artículo «Neural Machine Translation by Jointly Learning to Align and Translate (2015)».[2] partiremos del modelado matemático de los ejemplos más sencillos de atención, Hard atention ySoft-atention, para pasar a ver el Self-atention, la base sobre la que se fundamenta el modelo del Transformer. ¿Qué es la atención? Un mecanismo de atención, en el contexto de las redes neuronales, consiste en una operación matemática que recibe como inputs un conjunto de vectores -que ya sabemos que pueden representar texto, imágenes o cualquier tipo de datos con el que trabajemoslos combina entre sí y nos da como resultado otro conjunto de vectores. Este resultado dependerá, obviamente, del tipo de mecanismo de atención que utilicemos. Vamos a ver algunos ejemplos. 3.2. Fundamentos matemáticos del transformer 45 Hard Attention El mecanismo de atención más sencillo de entender es el conocido como hard attention. Consideremos un conjunto de vectores bidimensional X y un tensor de hard attention A: X=  1 0 −0,5 0 1 −0,5 (3.2) A=     1 0 0 0 1 0 0 0 1      (3.3) Vemos que el hard attention toma la forma de la matriz identidad, pues presta atención a un único vector. S=XA =  1 0 −0,5 0 1 −0,5 (3.4) La operación es trivial, pero nos sirve de ejemplo para ilustrar cómo, si la atención se centra en un único vector de entrada por vector de salida, no tendremos información en Sacerca del contexto. Este ejemplo sería equivalente a traducir una palabra por su correspondiente significado más común en el otro idioma, sin atender al resto de palabras que la rodean. Soft Attention En el caso del soft atention vamos a permitir prestar atención a todos los vectores de la entrada X. De esta forma, el vector de salida Sserá una combinación lineal del resto de los inputs. Para hacer el ejemplo, cada vector generado va a prestar un 80 % de atención al vector de Xen su misma posición y un 10 % al resto. A=     0,8 0,1 0,1 0,1 0,8 0,1 0,1 0,1 0,8      (3.5) 46 Chapter 3. Modelos Grandes de Lenguaje (LLM) S=XA =  0,75 0,05 −0,3 0,05 0,75 −0,3 (3.6) Vemos que los mecanismos de atención son en realidad la combinación lineal de una manera determinada de vectores que tenemos de entrada para darnos otra de vectores a la salida. En el caso del soft attention, hemos propuesto unos pesos relativos en Aa cada uno de los vectores a la entrada Xy eso es lo que nos da la salida S. En un mecanismo de atención que prestara la misma atención a todos los vectores para generar la salida tendríamos el siguiente caso: A=     0,333 0,333 0,333 0,333 0,333 0,333 0,333 0,333 0,333      (3.7) El resultado que obtenemos es siempre el mismo, pues presta la misma atención todo el rato a todos los vectores. No nos sería útil porque obtendríamos la misma salida. Self Attention En este caso, cada vector es responsable de decidir por sí mismo cuanta atención debe prestar al resto. Para ello calcularemos la similitud entre vectores, de tal forma que cuanto más parecidos sean, más atención habrá entre ellos y viceversa. Para poner un ejemplo ilustrativo, en una tarea de traducción de texto que emplea un mecanismo de self attention prestaría más atención a aquellas palabras más relacionadas en la entrada (Recordamos que al ser las palabras vistas como una representación de vectores N-dimensional serían aquellas, por ejemplo, con menor distancia euclidiana en ese espacio de representación) y así no desperdicia computación entre aquellas que no tengan importancia. Esta similitud la podemos calcular multiplicando los vectores por sí mismos y aplicando la función exponencial normalizada, softmax definida en el capítulo anterior en la ecuación (2.33). En nuestro ejemplo anterior tendríamos la siguiente matriz de atención, resulta de 3.2. Fundamentos matemáticos del transformer 47 multiplicar la entrada Xpor sí misma traspuesta y aplicar softmax. A=softmax(XXt) =      0,6285 0,2312 0,2119 0,2312 0,6285 0,2119 0,1402 0,1402 0,5761      (3.8) Esta matriz de atención no la hemos codificado número a número como las anteriores, sino que depende de cómo se parecen entre sí los vectores que tenemos en la entrada. S=XA =  0,5584 0,1611 −0,0761 0,1611 0,5584 −0,0761 (3.9) Podemos notar una pequeña similitud con los resultados cuando tomábamos un 80 por ciento de atención al vector principal, pero ahora estamos considerando un poco más el resto de vectores sin que necesitemos proponer una atención arbitraria para cada uno, sino completamente regulada por la entrada. Vamos a ver como este mecanismo a gran escala con los vectores N-dimensionales permite un modelo del contexto en términos de la representación del lenguaje. 3.2.3. Scale Dot-Product Attention En la Figura 10 vemos tres conjuntos de entrada representados por Q,KyV. Estos operan de forma muy similar conceptualmente a la Xdel caso anterior. Reciben respectivamente los nombres de Queries,Keys yValues (Consultas, Claves y Valores). Cuando se realiza la traducción, el modelo de atención calcula la similitud entre la consulta (query) y cada una de las claves (keys) utilizando una medida de similitud como el producto escalar o la atención puntual. Luego, se utiliza la similitud calculada para ponderar los valores (values) asociados con cada clave. Los valores ponderados se combinan para generar la salida final en español. Esta fragmentación de la entrada permite atender en paralelo tanto la traducción específica de la palabra heureux por la palabra feliz como la atención necesaria del contexto para determinar que sea feliz y no dichoso,exitoso, satisfecho,complacido o cualquier otra acepción aceptada. 48 Chapter 3. Modelos Grandes de Lenguaje (LLM) Figura 10: Esquema del Scale-dot product».[67] Vamos a escribir las filas individuales de las matrices QyK, y luego expresaremos el producto QKTen términos de esas filas: Q=         −q0− −q1− −. . .− −qm−         ;KT=     | | |  k0 k1···  kn | | |      QKT=         q0· k0q0· k1··· q0· kn q1· k0q1· k1··· q1· kn . . .. . ..... . . qm· k0qm· k1··· qm· kn         Para obtener los pesos vamos a dividir cada elemento por √dky vamos a plicar la función softmax por cada fila: softmaxQKT √dk=         softmax(1 √dk⟨q0· k0, q0· k1, ..., q0· kn⟩) softmax(1 √dk⟨q1· k0, q1· k1, ..., q1· kn⟩) . . . softmax(1 √dk⟨qm· k0, qm· k1, ..., qm· kn⟩)         =         s0,0s0,1··· s0,n s1,0s1,1··· s1,n . . .. . ..... . . sm,0sm,1··· sm,n         3.2. Fundamentos matemáticos del transformer 49 donde se tiene que para cada fila i:, n X j=0 si,j = 1 El último paso es multiplicar esta matriz por V: softmax QKT √dkV=         s0,0s0,1··· s0,n s1,0s1,1··· s1,n . . .. . ..... . . sm,0sm,1··· sm,n                 −v0− −v1− −. . .− −vn−         =         Pn i=0 s0,ivi Pn i=0 s1,ivi . . . Pn i=0 sm,ivi         (3.10) Donde dkrepresenta las dimensiones de los vectores Q,KyVforma parte del proceso de escalado. Nos damos cuenta de que eliminando el escalado y sustituyendo Q,KyVpor Xobtenemos el mismo mecanismo de self-attention que hemos estudiado anteriormente. S=AV =softmax(XXt)X Observamos que el mecanismo de atención nos genera una serie de promedios ponderados de las filas de Vque depende de las consultas y claves de entrada. Observamos que en este mecanismo no existen los parámetros aprendibles, pues está completamente compuesto por operaciones de matrices y vectores. 3.2.4. Multihead attention. Este mecanismo toma inspiración en el uso de múltiples filtros en una red convolucional para mejorar la capacidad de representación de un conjunto de datos. En nuestro caso, en lugar de emplear un solo mecanismo de atención, vamos a practicarle muchos para posteriormente concatenar el resultado. Esto se traduce en repetir un número hde veces (heads o cabezas) el mecanismo de SDPA anteriormente descrito (Ver Figura 11). MultiHead(Q, K, V ) = Concat(head1, ..., headh)WO(3.11) 50 Chapter 3. Modelos Grandes de Lenguaje (LLM) Figura 11: Esquema del Multihead Attention.[67] . Fuente Attention is all you need Cada headies el resultado de ejecutar Scaled dot product attention en el i-ésimo conjunto de consultas, claves y valores transformados: headi=Attention(QWi q, KWi k, V Wi v)(3.12) Aquí Q∈Rm×dmodel ,K∈Rn×dmodel , y V∈Rn×dmodel . Además, dado un hiperparámetro hque indica el número de cabezas de atención: WQ i∈Rdmodel×dk,WK i∈Rdmodel×dk, WV i∈Rdmodel×dv,yWO∈Rhdv×dmodel . Vamos a hacer una descripción dimensional rápida para asegurarnos que la multiplicación de matrices es correcta. Primero, cada matriz headitendrá el mismo número de filas que QWQ iy el mismo número de columnas que V WV i. Dado que QWQ i∈Rm×dkyV WV i∈ Rn×dv, esto significa que headi∈Rm×dv. Cuando concatenamos hde estas matrices juntas, tenemos una matriz en Rm×hdv. Al multiplicarla por WO, obtenemos una matriz en Rm×dmodel . Esto tiene sentido: comenzamos con mconsultas en Q, y terminamos con mrespuestas en la salida del operador MultiHead. Existe una transformación lineal diferente para cada cálculo de la headipara las matrices de K,QyV. Es aquí donde entra en juego el aprendizaje por entrenamiento. Las cabezas y sus matrices de pesos se comportan entonces de manera similar a los núcleos de las 3.3. GPT: Generative Pre-trained Transformer 51 redes convolucionales. Estos comienzan con la misma entrada a prtir de la cual se generan diferentes representaciones que concentran aspectos específicos de la misma (ver Figura 11). 3.3. GPT: Generative Pre-trained Transformer El Generative Pre-trained Transformer (GPT) es una arquitectura de modelo de lenguaje basada en transformers, que ha demostrado un rendimiento sobresaliente en diversas tareas de NLP. GPT y sus sucesores, como GPT-2 [71], GPT-3 [7] y el reciente GPT-4, han sido desarrollados por OpenAI y han revolucionado el campo de NLP debido a su capacidad para generar texto coherente y de alta calidad. 3.3.1. Generación de texto GPT es un modelo generativo, lo que significa que puede generar texto de manera autónoma al predecir la siguiente palabra en una secuencia dada. La generación de texto se realiza utilizando muestreo o búsqueda de haz, donde el modelo selecciona la siguiente palabra en función de las probabilidades de las palabras candidatas. La función softmax, que hemos visto que también se usa en el Pre-Entrenamiento, es usada de nuevo las puntuaciones de las palabras candidatas en una distribución de probabilidad. Esta se aplica a la salida del modelo para cada posición de la secuencia para producir una distribución de probabilidad sobre las palabras en el vocabulario. Dado un contexto anterior formado por una secuencia de palabras hasta el instante t−1, (C1, C2, ..., Ct−1), el objetivo es generar la siguiente palabra Wt. Para ello, el modelo estima la probabilidad condicional de la siguiente palabra dado el contexto anterior utilizando el mecanismo de atención y la función softmax. Esto se puede expresar como: P(Wt|C1, C2, ..., Ct−1) = softmax(f(Wt−1, Ct−1)) (3.13) donde fes una función de transformación aplicada a la representación del contexto anterior y la palabra generada previamente (Wt−1). 58 Chapter 3. Modelos Grandes de Lenguaje (LLM) Pérdida de control: También existe el riesgo de que la AGI se vuelva incontrolable, es decir, que una vez desencadenada, podría ser imposible de detener o controlar. Una AGI podría seguir optimizando su función de objetivo incluso cuando eso entra en conflicto con los intereses humanos, un escenario conocido como el problema de alineación de valores. Carrera de desarrollo descontrolada: Otro riesgo potencial es la posibilidad de una carrera de desarrollo descontrolada, donde diferentes organizaciones o países se apresuran a construir AGI sin tomar las precauciones de seguridad necesarias. Esta competencia podría incrementar la probabilidad de que se construya una AGI mal alineada o que pueda ser fácilmente mal utilizada. Inequidad social: Además, la creación de una AGI podría amplificar las desigualdades existentes en la sociedad. Por ejemplo, si sólo un pequeño número de organizaciones o países tienen acceso a la AGI, podrían utilizarla para consolidar el poder y el control de manera desproporcionada. 3.5. Comparación con otros modelos de lenguaje populares: BERT y T5 A lo largo de los últimos años, han surgido varios modelos de lenguaje populares y exitosos en el campo del procesamiento del lenguaje natural. En esta sección, se comparará GPT-4 con otros modelos destacados, como BERT y T5, en términos de arquitectura, enfoque de entrenamiento y rendimiento en tareas de NLP. 3.5.1. BERT (Bidirectional Encoder Representations from Transformers) BERT es un modelo de lenguaje basado en transformers desarrollado por Google AI Language [15]. A diferencia de GPT, BERT se entrena de manera bidireccional, lo que significa que considera tanto el contexto anterior como el posterior al predecir una palabra. Esto permite que BERT capture mejor el contexto en ambos lados de una palabra, lo que 3.5. Comparación con otros modelos de lenguaje populares: BERT y T5 59 puede mejorar el rendimiento en tareas como el análisis de sentimiento y la respuesta a preguntas. 3.5.2. Entrenamiento. GPT vs BERT GPT es un modelo generativo unidireccional que se entrena para predecir la siguiente palabra en una secuencia, dada una secuencia de palabras anteriores. La probabilidad de una secuencia de palabras w1, w2, ..., wnestá dada por el producto de las probabilidades condicionales de cada palabra dada sus anteriores: P(w1, w2, ..., wn) = n Y i=1 P(wi|w1, ..., wi−1)(3.15) En el entrenamiento, se utiliza la versión softmax de esta probabilidad, aplicada a los vectores de salida del modelo para la palabra i: P(wi|w1, ..., wi−1) = ezi PK j=1 ezj (3.16) Aquí zies la puntuación del modelo para la palabra i dada las palabras 1, ..., i −1,Kes el tamaño del vocabulario. La idea es que el modelo aprende a maximizar estas probabilidades para las secuencias de palabras en el conjunto de entrenamiento. Por otro lado, BERT es el que utiliza la técnica de enmascaramiento de lenguaje durante su fase de pre-entrenamiento. BERT oculta aleatoriamente algunas palabras en la entrada y entrena el modelo para predecir estas palabras enmascaradas basándose en el contexto antes y después de la palabra enmascarada. 3.5.3. T5 (Text-to-Text Transfer Transformer) T5 es otro modelo de lenguaje basado en transformers desarrollado por Google Research [53]. A diferencia de GPT y BERT, T5 adopta un enfoque de "texto a texto", en el que todas las tareas de NLP se reformulan como problemas de generación de texto. Esto per- 60 Chapter 3. Modelos Grandes de Lenguaje (LLM) mite que T5 sea más flexible en la adaptación a una amplia gama de tareas, incluida la traducción automática, el resumen y la clasificación de texto. 3.5.4. Comparación de rendimiento GPT-4, BERT y T5 han demostrado un rendimiento impresionante en diversas tareas de NLP. GPT-4 puede tener ventajas en la generación de texto y la comprensión contextual debido a su enfoque unidireccional y la capacidad de aprender de pocas muestras. BERT, por otro lado, puede superar a GPT-4 en tareas que requieren una comprensión bidireccional del contexto, como el análisis de sentimiento y la respuesta a preguntas. T5 destaca por su flexibilidad y capacidad para adaptarse a una amplia variedad de tareas a través de su enfoque de "texto a texto". 3.5.5. Otras consideraciones Al comparar GPT-4, BERT y T5, también es importante tener en cuenta factores como la eficiencia computacional, el tamaño del modelo y las preocupaciones éticas. Dado que los modelos de lenguaje a gran escala pueden requerir una gran cantidad de recursos computacionales, es crucial evaluar cómo estos modelos se desempeñan en términos de eficiencia y requisitos de hardware. Además, abordar las preocupaciones éticas, como el sesgo, la privacidad y el uso indebido, es vital en el diseño y la implementación de estos modelos. GPT-4, BERT y T5 son modelos de lenguaje líderes en el campo del NLP, y cada uno tiene sus propias fortalezas y debilidades en términos de arquitectura, enfoque de entrenamiento y rendimiento en tareas específicas. 3.6. Aplicaciones y casos de uso Los modelos de lenguaje a gran escala han encontrado una amplia variedad de aplicaciones y casos de uso en diferentes campos. Aunque han sido mencionadas en otros capítulos o como introducción de sección ahora exploraremos con un poco más de detalle cómo estos modelos han impactado en áreas como la generación de texto, la traducción 3.6. Aplicaciones y casos de uso 61 automática, la búsqueda de información, la atención médica y la educación. Generación de texto La generación de texto es una de las aplicaciones más destacadas de los modelos de lenguaje a gran escala. Estos modelos pueden generar texto coherente y gramaticalmente correcto en una amplia variedad de estilos y formatos, incluyendo noticias, resúmenes, historias y más [52]. La capacidad de generar texto de alta calidad ha llevado a la creación de herramientas de redacción asistida por IA, como OpenAI’s Codex [7]. Traducción automática La traducción automática es otra aplicación clave de los modelos de lenguaje a gran escala. Modelos como GPT-4 y T5 han demostrado un rendimiento excepcional en la traducción entre múltiples idiomas, superando a menudo a los sistemas de traducción basados en reglas y estadísticas [67]. Búsqueda de información Los modelos de lenguaje a gran escala también han sido aplicados en la búsqueda de información, mejorando la relevancia y la precisión de los resultados de búsqueda en la web y en bases de datos especializadas [59]. Además, los modelos como BERT han sido utilizados para mejorar la comprensión de las consultas de los usuarios y para proporcionar respuestas más precisas y contextualizadas a las preguntas [15]. Atención médica En el campo de la atención médica, los modelos de lenguaje a gran escala han demostrado ser útiles en tareas como el diagnóstico automatizado, la interpretación de registros médicos y la generación de informes clínicos [43]. También pueden ayudar a los profesionales médicos a mantenerse al tanto de los avances científicos al analizar y resumir grandes volúmenes de literatura médica 62 Chapter 3. Modelos Grandes de Lenguaje (LLM) Educación Los modelos de lenguaje a gran escala también han encontrado aplicaciones en la educación, como la tutoría personalizada y la evaluación automática de respuestas escritas. Los tutores basados en IA pueden proporcionar retroalimentación en tiempo real a los estudiantes y adaptarse a las necesidades individuales de aprendizaje [24]. Además, estos modelos pueden utilizarse para evaluar las respuestas de los estudiantes en pruebas y exámenes, lo que permite una evaluación más rápida y consistente en comparación con la calificación manual [16]. 3.7. Comprender el funcionamiento de los modelos Los modelos grandes de lenguaje son a menudo considerados como cajas negras debido a la dificultad para interpretar y entender cómo toman sus decisiones específicas. La razón principal de esta opacidad radica en la naturaleza del aprendizaje profundo. Este funciona mediante la creación de representaciones de alto nivel a partir de los datos de entrada, a través de múltiples capas de transformaciones no lineales. Mientras que la primera capa puede aprender características simples, las capas sucesivas aprenden características cada vez más abstractas y complejas. Estas transformaciones sucesivas pueden ser difíciles de rastrear y entender, incluso cuando se tienen millones o incluso billones de parámetros que ajustar. Esto puede ser ilustrado mediante la siguiente ecuación simplificada para un LLM: ht=f(W(1)ht−1+W(2)xt)(3.17) Donde htrepresenta el estado oculto en el tiempo t,xtes la entrada en el tiempo t, y W(1) yW(2) son matrices de pesos que el modelo aprende durante el entrenamiento. La función fes una función de activación no lineal. Aunque esta ecuación puede parecer simple, la interacción entre estos elementos puede resultar en comportamientos extremadamente complejos cuando se tiene en cuenta que un LLM puede tener cientos de capas y miles de millones de parámetros.[8] 3.7. Comprender el funcionamiento de los modelos 63 El hecho de que estos modelos sean entrenados en conjuntos de datos masivos añade otra capa de complejidad. Los modelos aprenden a partir de los patrones y estructuras presentes en estos conjuntos de datos, pero no hay una forma sencilla de entender qué patrones específicos ha aprendido el modelo y cómo estos patrones influyen en su comportamiento. 3.7.1. Soluciones y enfoques futuros Para enfrentar los desafíos y limitaciones mencionados, los investigadores y desarrolladores están explorando varias soluciones y enfoques. Algunas áreas clave de investigación incluyen: Desarrollo de técnicas de mitigación de sesgo en los modelos de lenguaje para reducir la propagación de prejuicios y estereotipos [3]. Implementación de mecanismos de protección de la privacidad, como la diferenciación de datos, para prevenir la divulgación de información confidencial [46]. Investigación de enfoques más eficientes en términos de energía y computación, como la destilación del conocimiento y la compresión de modelos, para reducir la carga computacional y mejorar la accesibilidad [36, 42]. Utilización de técnicas de explicabilidad e interpretación de modelos para mejorar la transparencia y la comprensión de cómo los modelos de lenguaje a gran escala toman decisiones [54]. Capítulo 4 Análisis matemático de los LLM El análisis matemático de los modelos de lenguaje, en particular aquellos basados en la arquitectura Transformer como GPT-4, puede proporcionar una comprensión más profunda de cómo estos modelos procesan y generan información lingüística. En esta sección, se examinarán las bases matemáticas detrás de los algoritmos clave que se utilizan para analizar los modelos de lenguaje y cómo estas matemáticas influyen en su rendimiento y comportamiento. 4.1. Estudio de la complejidad computacional La complejidad computacional se refiere a la cantidad de recursos computacionales necesarios para entrenar, generar o inferir con estos modelos. Los modelos grandes de lenguaje como GPT-4 suelen requerir una gran cantidad de recursos computacionales, como poder de procesamiento, memoria y tiempo, tanto durante la fase de entrenamiento como durante la generación de texto o inferencia. 4.1.1. Complejidad en tiempo y espacio El estudio de la complejidad en tiempo y espacio proporciona una medida cuantitativa de los recursos requeridos para ejecutar un algoritmo o modelo. En el caso de los modelos de lenguaje, la complejidad en tiempo se refiere a la cantidad de tiempo requerido para rea- 64 4.1. Estudio de la complejidad computacional 65 lizar operaciones de entrenamiento y predicción, mientras que la complejidad en espacio se refiere a la cantidad de memoria necesaria para almacenar el modelo y sus parámetros. La complejidad computacional de estos modelos está influenciada por varios factores, entre ellos: Tamaño del modelo: Antes hemos mencionado que GPT-4 poseía 1,76 billones de parámetros. Básicamente, GPT-4 condensa un conjunto de ocho LLMs, cada uno entrenado de manera independiente con aproximadamente 200 mil millones de parámetros (comparable a GPT-3) Cuantos más parámetros tenga un modelo, mayor será su complejidad computacional [9]. Arquitectura del modelo: La elección de la arquitectura del modelo también puede afectar su complejidad computacional. Los modelos basados en transformadores, como GPT-3, son conocidos por ser computacionalmente intensivos debido a las operaciones de atención que involucran grandes matrices de pesos. Datos de entrenamiento: GPT-4 utiliza un conjunto de datos de entrenamiento extenso y diverso, que consta de decenas de miles de millones de documentos. Cuantos más datos se utilicen para entrenar el modelo, mayor será la cantidad de cálculos necesarios para procesarlos y ajustar los parámetros del modelo. Recursos disponibles: La complejidad computacional también depende de los recursos disponibles, como la capacidad de procesamiento, la memoria y la eficiencia del software y las bibliotecas utilizadas para implementar el modelo. La relación exacta entre el tiempo de ejecución y el número de parámetros en un modelo puede variar dependiendo de varios factores, como el hardware específico, el software y la eficiencia de la implementación del modelo. Sin embargo, a nivel muy general, podríamos decir que el tiempo de ejecución es directamente proporcional al número de parámetros del modelo. 66 Chapter 4. Análisis matemático de los LLM 4.1.2. FLOPs y parámetros Los modelos de lenguaje modernos a menudo requieren una gran cantidad de recursos computacionales, lo que puede medirse en términos de operaciones de coma flotante por segundo (FLOPs) y el número de parámetros del modelo. Por ejemplo, GPT-3 cuenta con aproximadamente 175 mil millones de parámetros, lo que representa un incremento sustancial respecto a modelos anteriores como GPT-2, que posee 1.5 mil millones de parámetros [7]. Figura 14: Comparativas de modelos en cuanto a FLOPS. Fuente @DotCSV 4.1.3. Eficiencia y optimización Dada la complejidad computacional de los modelos grandes de lenguaje, es importante investigar enfoques para mejorar su eficiencia y optimización. Algunas técnicas incluyen la compresión de modelos mediante la eliminación de parámetros redundantes, la aplicación de la destilación del conocimiento para entrenar modelos más pequeños y eficientes [36], y el uso de técnicas de optimización en la implementación de hardware, como unidades 4.2. Análisis de la convergencia y la optimización 67 de procesamiento tensorial (TPUs) [32]. 4.2. Análisis de la convergencia y la optimización La convergencia en el entrenamiento de modelos de lenguaje a gran escala es un tema crucial para entender cómo y cuándo estos modelos alcanzan su rendimiento óptimo. La optimización es el proceso mediante el cual los parámetros de un modelo se ajustan iterativamente para minimizar la función de pérdida. En esta sección, discutiremos cómo la convergencia y la optimización influyen en el rendimiento de los modelos de lenguaje a gran escala y cómo se pueden mejorar. 4.2.1. Tasas de aprendizaje y adaptación Las tasas de aprendizaje (Learning rates) son hiperparámetros que determinan qué tan rápido el modelo aprende a partir de los datos durante el entrenamiento. Forma parte de un algoritmo de optimización y permite adaptar el tamaño del paso de cada iteración durante la minimización de una función de pérdida. Un tamaño de paso demasiado grande puede hacer que el modelo oscile y no converja, mientras que un tamaño de paso demasiado pequeño puede resultar en un aprendizaje extremadamente lento y prolongado [4]. Durante el entrenamiento, los pesos del modelo se actualizan multiplicándolos por la tasa de aprendizaje actual: w(t+ 1) = w(t)−α(t)·∇L(w(t)) (4.1) Donde w(t)son los pesos del modelo en la iteración t,Les la función de pérdida y ∇L(w(t)) es el gradiente de la función de pérdida con respecto a los pesos en la iteración t. Otro enfoque consiste en los horarios de aprendizaje basados en pasos. Estos ajustan la tasa de aprendizaje siguiendo un conjunto predefinido de pasos. La fórmula utilizada para aplicar el decaimiento se define de la siguiente manera: ηn=η0d⌊1+n r⌋(4.2) 74 Chapter 4. Análisis matemático de los LLM Normalización por capas La normalización por capas[1] es similar a la normalización por lotes, pero en lugar de normalizar las activaciones en cada dimensión sobre un mini-lote, normaliza las activaciones para cada ejemplo sobre todas las dimensiones. Si xes el vector de activaciones para un ejemplo con ddimensiones, entonces la normalización por capas se calcula de la siguiente manera: µ=1 d d X i=1 xiσ2=1 d d X i=1 (xi−µ)2(4.11) Las activaciones son normalizadas como: ˆxi=xi−µ √σ2+ϵ(4.12) Y se aplica una transformación afín: yi=γˆxi+β(4.13) Donde γyβson parámetros aprendidos. La normalización por capas puede ser beneficiosa en modelos recurrentes donde el tamaño del lote puede variar. 4.2.5. Evaluación de la convergencia y la optimización Para evaluar la convergencia y la optimización en el entrenamiento de LLM, es común usar métricas específicas como la perplejidad para [31] y el F1-score para la clasificación de texto [47]. Los investigadores también pueden monitorear el comportamiento de la función de pérdida en conjuntos de datos de entrenamiento y validación para evaluar el progreso y la convergencia del modelo. Perplejidad La perplejidad es una medida utilizada para evaluar la calidad y la capacidad predictiva de un modelo de lenguaje. Cuanto menor sea la perplejidad, mejor será el rendimiento del modelo en términos de predicción y comprensión del texto. 4.2. Análisis de la convergencia y la optimización 75 En esencia, la perplejidad es una medida de cuánta "sorpresa.experimenta un modelo de lenguaje al predecir la siguiente palabra en un texto. Se basa en la idea de que un buen modelo de lenguaje debe ser capaz de asignar una probabilidad alta a las secuencias de palabras que son más probables en un conjunto de datos de entrenamiento. La perplejidad para un modelo de lenguaje en una secuencia de palabras w1, w2, ..., wNse puede expresar como: Perplejidad(w1, w2, ..., wN) = 1 P(w1, w2, ..., wN)1 N(4.14) donde P(w1, w2, ..., wN)es la probabilidad de la secuencia de palabras según el modelo de lenguaje. F1-Score El F1-Score es una medida que combina precisión y recall para proporcionar una única métrica de rendimiento. Se utiliza comúnmente en tareas de clasificación binaria y clasificación multietiqueta, y es especialmente útil en situaciones en las que las clases están desbalanceadas. -Precisión (Precision): Esta es la proporción de identificaciones positivas correctas (verdaderos positivos, tp) entre el total de identificaciones positivas (verdaderos positivos + falsos positivos, fp). Precision =tp tp +fp -Recall (Recuerdo): Esta es la proporción de identificaciones positivas correctas entre el total de ejemplos positivos en los datos (verdaderos positivos + falsos negativos, fn). Recall =tp tp +fn -F1-Score: Esta es la media armónica de precisión y recall. A diferencia de la media aritmética, la media armónica castiga valores extremos, por lo que el F1-Score será alto solo si tanto la precisión como el recall son altos. F1 = 2 ·Precision ·Recall Precision +Recall 76 Chapter 4. Análisis matemático de los LLM Por lo tanto, el F1-Score puede verse como una forma de equilibrar la precisión y el recall, y proporciona una única métrica de rendimiento que puede ser útil para comparar diferentes modelos. Es especialmente útil en situaciones donde tanto los falsos positivos como los falsos negativos son importantes. Un valor de F1-Score cercano a 1 indica un rendimiento excelente del modelo, mientras que un valor cercano a 0 indica un rendimiento deficiente. Monitoreo de la función de pérdida Recordamos que la función de pérdida mide la discrepancia entre la salida del modelo y la salida deseada. Durante el entrenamiento de un modelo, se monitorea la función de pérdida en los conjuntos de datos de entrenamiento y validación para evaluar el progreso y la convergencia del modelo. Como vimos anteriormente la entropía cruzada ahora pondremos de ejemplo el modelo de regresión, con la pérdida cuadrada media (MSE) comúnmente utilizada como función de pérdida: L(θ) = 1 N N X i=1 (yi−fθ(xi))2(4.15) donde θson los parámetros del modelo, Nes el número de instancias en el conjunto de datos, yies la salida deseada para la i-ésima instancia, y fθ(xi)es la salida del modelo para la i-ésima instancia. Es muy común monitorear el comportamiento de la función de pérdida tanto en el conjunto de datos de entrenamiento como en el de validación. La razón principal de esto es para evaluar si el modelo está aprendiendo y cómo está convergiendo durante el entrenamiento. Un comportamiento típico que se puede esperar es que la función de pérdida disminuya a medida que el modelo aprende de los datos. Además, comparar la función de pérdida en los conjuntos de datos de entrenamiento y validación puede proporcionar información sobre el sobreajuste. Si la función de pérdida en el conjunto de datos de entrenamiento es mucho más baja que en el conjunto de datos de validación, podría ser una indicación de que el modelo está sobreajustando los datos de entrenamiento y no generaliza bien a datos no vistos. 4.3. Estudio de la generalización y la capacidad de aprendizaje 77 En términos matemáticos, podríamos tener dos funciones de pérdida, una para el conjunto de entrenamiento Ltrain(θ)y otra para el conjunto de validación Lval(θ). Durante el proceso de entrenamiento, queremos minimizar ambas funciones de pérdida ajustando los parámetros del modelo θ. Esto se hace generalmente a través de un algoritmo de optimización como el descenso de gradiente: θ:= θ−α∇θLtrain(θ) donde αes la tasa de aprendizaje y ∇θLtrain(θ)es el gradiente de la función de pérdida de entrenamiento con respecto a θ. Podríamos tener un registro de Ltrain(θ)yLval(θ)en cada época (o después de un número fijo de actualizaciones de parámetros) para monitorear el progreso y la convergencia del modelo. Finalmente, es importante destacar que estas métricas y la función de pérdida dependen de la tarea específica y del modelo que se esté utilizando. Así, en el entrenamiento de modelos de lenguaje o en la clasificación de texto, podríamos tener funciones de pérdida y métricas diferentes. 4.3. Estudio de la generalización y la capacidad de aprendizaje La capacidad de un modelo de lenguaje para generalizar y aprender eficazmente a partir de un conjunto de datos dado es un aspecto crucial para evaluar su rendimiento y aplicabilidad. Esta sección analiza el fenómeno de la generalización y la capacidad de aprendizaje en modelos de lenguaje a gran escala, destacando los factores clave que influyen en estos aspectos y discutiendo posibles vías para mejorarlos. 4.3.1. Balance entre sesgo y varianza El sesgo y la varianza[30] son dos aspectos fundamentales del error de generalización de un modelo de aprendizaje automático. Sesgo (Bias): Se refiere a la simplificación de suposiciones realizadas por un mode- 78 Chapter 4. Análisis matemático de los LLM lo para facilitar el aprendizaje de los datos de entrenamiento. Un alto sesgo puede hacer que un modelo pierda las relaciones relevantes entre las características y la variable objetivo (subajuste), lo que resulta en un rendimiento de aprendizaje deficiente. Varianza: Se refiere a la cantidad que la predicción del modelo cambiaría si se utilizara un conjunto de entrenamiento diferente. Un modelo con alta varianza ha aprendido muy bien los datos de entrenamiento (sobreajuste), hasta el punto de ser sensible a las fluctuaciones en el conjunto de entrenamiento. Esto puede hacer que el modelo realice mal en datos no vistos. La relación entre el sesgo, la varianza y el error total se puede representar mediante la siguiente ecuación, conocida como Descomposición de Bias-Varianza: Error Total =Bias2+Varianza +Ruido Irreducible (4.16) Error Total: Es el error promedio que cometerá el modelo en los datos de prueba (o en general, en datos nuevos). El Ruido Irreducible: se refiere al error que no se puede reducir, independientemente de qué algoritmo usemos. Es causado por factores aleatorios o desconocidos en el conjunto de datos. El equilibrio entre sesgo y varianza se trata de minimizar ambos tipos de errores para producir un modelo que generalice bien los datos no vistos. Este es un desafío fundamental en el aprendizaje automático. Si un modelo es demasiado simple, puede tener un alto sesgo y una baja varianza. Si un modelo es demasiado complejo, puede tener un bajo sesgo pero una alta varianza. 4.3.2. Análisis de la interferencia catastrófica La interferencia catastrófica se refiere a la tendencia de un modelo de aprendizaje profundo a olvidar información previamente aprendida cuando se le entrena en nuevos datos. Este fenómeno es especialmente preocupante en el contexto de los modelos de lenguaje a gran escala, ya que tienen una gran cantidad de parámetros y se entrenan en vastos 4.3. Estudio de la generalización y la capacidad de aprendizaje 79 conjuntos de datos [45]. Una de las formas más simples de modelar este fenómeno es considerar la actualización de los parámetros de un modelo durante el entrenamiento. En general, los parámetros de un modelo se actualizan en función del gradiente de la función de pérdida con respecto a los parámetros, es decir: θt+1 =θt−η∇θL(θt;X, Y )(4.17) donde θtyθt+1 son los parámetros del modelo en los tiempos tyt+1, respectivamente, η es la tasa de aprendizaje y L(θt;X, Y )es la función de pérdida evaluada en los parámetros actuales θty un lote de datos X, Y. Si consideramos dos conjuntos de datos diferentes, uno antiguo y uno nuevo, y suponemos que el modelo se entrena primero en el conjunto de datos antiguo y luego en el conjunto de datos nuevo, entonces existe el riesgo de que el modelo olvide la información aprendida del conjunto de datos antiguo debido a las actualizaciones de los parámetros basadas en el conjunto de datos nuevo. Esto puede expresarse formalmente de la siguiente manera: Lold(θt+1;Xold, Yold)> Lold(θt;Xold, Yold)(4.18) Esto simplemente dice que la pérdida en el conjunto de datos antiguo puede aumentar después de una actualización de los parámetros basada en el conjunto de datos nuevo, indicando que el modelo ha olvidado parte de la información aprendida del conjunto de datos antiguo. Este es el fenómeno de interferencia catastrófica. La mitigación de la interferencia catastrófica es un área de investigación activa en el aprendizaje profundo. Una estrategia comúnmente utilizada es la llamada rehearsal, en la que se retienen algunos datos antiguos y se mezclan con los nuevos datos durante el entrenamiento. El rehearsal (ensayo), también conocido como memoria episódica o reproducción, implica mezclar los antiguos y los nuevos datos durante el entrenamiento. Suponemos que tenemos un modelo con parámetros θ, una función de pérdida L, y un conjunto de datos de entrenamiento original Dold ={(xi, yi)}N i=1. Cuando se dispone de 80 Chapter 4. Análisis matemático de los LLM nuevos datos de entrenamiento Dnew ={(x′ j, y′ j)}M j=1, en lugar de entrenar el modelo solo en los nuevos datos, se mezclan los antiguos y nuevos datos. La actualización de los parámetros del modelo en cada iteración del entrenamiento se realiza de la siguiente manera: θt+1 =θt−η∇θ"1 M M X j=1 L(θt;x′ j, y′ j) + 1 N N X i=1 L(θt;xi, yi)#(4.19) Aquí, ηes la tasa de aprendizaje, y ∇θdenota el gradiente respecto a los parámetros del modelo θ. El primer término dentro del corchete es la pérdida promedio en los nuevos datos, y el segundo término es la pérdida promedio en los datos antiguos. En cada paso de actualización, el modelo busca minimizar la pérdida tanto en los nuevos como en los antiguos datos, lo que ayuda a mitigar la interferencia catastrófica. 4.3.3. Otras estrategias para mejorar la generalización Existen una serie de estrategias que se pueden emplear para mejorar la generalización y la capacidad de aprendizaje en los modelos de lenguaje a gran escala, algunas de las cuales incluyen: Aumento de datos El objetivo del aumento de datos es generar más ejemplos de entrenamiento, lo que puede expresarse como una transformación Ten los datos existentes X. Esto puede modelarse de la siguiente manera: X′=T(X)(4.20) Donde Xson los nuevos datos generados. El modelo luego se entrena en el conjunto de datos ampliado X∪X′ Según Shorten y Khoshgoftaar, generar más ejemplos de entrenamiento mediante la transformación de los datos existentes puede mejorar la robustez y la capacidad de generalización del modelo[58]. 4.4. Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) 81 Entrenamiento multi-tarea En el entrenamiento de multitareas, el modelo se entrena para realizar varias tareas relacionadas al mismo tiempo. Supongamos que tenemos Mtareas, cada una con su propia función de pérdida L(θ;X, Y ). La función de pérdida total en el entrenamiento de multitareas es a menudo una combinación lineal de las funciones de pérdida individuales: L(θ;X, Y ) = M X m=1 wmLm(θ;X, Y )(4.21) Donde wmson los pesos asociados a cada tarea. Los parámetros del modelo se actualizan en función de esta pérdida total. Aprendizaje por transferencia En el aprendizaje por transferencia, un modelo previamente entrenado se utiliza como punto de partida para aprender nuevas tareas[55]. Supongamos que θtson los parámetros del modelo previamente entrenado. En el aprendizaje por transferencia, los parámetros del modelo se inicializan con θty luego se ajustan mediante el entrenamiento en la nueva tarea: θt+1 =θt−η∇θL(θt;Xnew, Ynew)(4.22) Donde Xnew yYnew son los datos de la nueva tarea. Esto puede mejorar la eficiencia del aprendizaje y la capacidad de generalización del modelo al permitirle aprovechar los patrones aprendidos en la tarea original. 4.4. Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) El aprendizaje por refuerzo a partir de retroalimentación humana (Reinforcement Learning from Human Feedback, RLHF) es un enfoque que combina técnicas de aprendizaje por refuerzo y aprendizaje supervisado [12]. Esta metodología fue desarrollada para abordar algunas de las limitaciones asociadas con los enfoques tradicionales de aprendizaje por refuerzo, tales como la dificultad de definir funciones de recompensa apropiadas. 82 Chapter 4. Análisis matemático de los LLM El concepto subyacente en RLHF es que un agente aprende a través de la experiencia y la retroalimentación proporcionada por un operador humano. En lugar de depender únicamente de las recompensas programadas en un entorno de aprendizaje por refuerzo, RLHF utiliza la retroalimentación de un humano para guiar y mejorar el proceso de aprendizaje. Esta retroalimentación puede ser una calificación de la calidad de diferentes acciones que el agente ha llevado a cabo. Formalmente, podemos describir RLHF con la siguiente ecuación de optimización: V(s) = X a π(a|s) R(s, a) + γX s′ P(s′|s, a)V(s′)!(4.23) Donde V(s)es el valor del estado s, que representa la estimación de la recompensa esperada a largo plazo para un estado dado. π(a|s)es la política, que define la probabilidad de seleccionar una acción adado un estado s.R(s, a)es la recompensa instantánea obtenida al tomar la acción aen el estado s.γes el factor de descuento, que determina la importancia relativa de las recompensas futuras en comparación con las recompensas inmediatas. P(s′|s, a)es la función de transición, que modela la probabilidad de pasar del estado sal estado s′al tomar la acción a. La ecuación del aprendizaje por refuerzo humano muestra cómo el valor de un estado se actualiza iterativamente utilizando la política, las recompensas y la función de transición. El objetivo es encontrar la política óptima que maximice el valor esperado a largo plazo. 4.5. Modelos matemáticos para la interpretabilidad y la explicabilidad La interpretabilidad y la explicabilidad son conceptos de creciente importancia en la inteligencia artificial y el aprendizaje automático, dado que los sistemas complejos de modelos de lenguaje como GPT-4 pueden ser cajas negras en términos de comprensión intuitiva. La interpretabilidad se refiere a la medida en que un ser humano puede entender la causa y el efecto subyacente en un sistema, mientras que la explicabilidad se refiere a la capacidad de un sistema para explicar o dar cuenta de sus acciones. 4.5. Modelos matemáticos para la interpretabilidad y la explicabilidad 83 4.5.1. Técnicas matemáticas para la interpretabilidad Algunas técnicas para mejorar la interpretabilidad incluyen el uso de modelos lineales, árboles de decisión o bosques aleatorios, ya que estos modelos permiten una inspección más directa de las relaciones de características [18]. Otro enfoque es utilizar técnicas de atención en los modelos de lenguaje, que resaltan qué partes del input se utilizaron más fuertemente para hacer una predicción. Los mapas de calor de atención como el de la Figura 9 de la sección 3.2.2 pueden ser útiles en este aspecto. Modelos lineales En un modelo lineal, la salida se calcula como una suma ponderada de las características de entrada, más un término de sesgo. La ecuación de un modelo lineal es la siguiente: y= n X i=1 wi∗xi+b(4.24) Aquí, yes la salida, xison las características de entrada, wison los pesos del modelo que indican la importancia de cada característica y bes el término de sesgo. Los pesos pueden ser positivos o negativos, indicando una relación positiva o negativa respectivamente con la salida. Árboles de decisión y bosques aleatorios En un árbol de decisión, cada nodo es una condición en una característica de entrada, y las hojas son los valores de salida. En un bosque aleatorio, múltiples árboles de decisión se combinan para hacer una predicción final. La interpretación se puede realizar analizando las condiciones y las características utilizadas en los nodos de los árboles. Grad-CAM (Gradient-weighted Class Activation Mapping) Esta técnica genera mapas de calor visuales utilizando los gradientes de la salida del modelo con respecto a las características convolucionales de entrada. La ecuación para 90 Chapter 5. Impacto ético y social de los LLM a la regulación, pero los requisitos serán menos estrictos en comparación con los sistemas de alto riesgo. Ejemplos de estos podrían ser los chatbots de IA o sistemas de recomendación que están principalmente destinados a mejorar la experiencia del usuario en lugar de tomar decisiones cruciales. El incumplimiento de estas regulaciones viene con severas sanciones financieras. En caso de no cumplimiento, una empresa podría enfrentar multas que ascienden hasta el 6por ciento de su facturación total anual global. Esto demuestra el compromiso de la Comisión Europea para asegurar que el desarrollo y uso de la IA respete los derechos fundamentales y garantice la seguridad humana. Existen varias lagunas y excepciones en la ley propuesta. Estas deficiencias limitan la capacidad del Acta para garantizar que la IA siga siendo una fuerza positiva. Actualmente, por ejemplo, el reconocimiento facial por parte de la policía está prohibido a menos que las imágenes se capturen con un retraso o la tecnología se utilice para buscar niños perdidos. Además, la ley es rígida. Si dentro de dos años se utiliza una aplicación de IA peligrosa en un sector imprevisto, la ley no proporciona ningún mecanismo para etiquetarlo como de alto riesgo. En el momento en el que se escribe este TFM, la Unión Europea (UE) continúa avanzando en su camino hacia la aprobación de la primera ley mundial que regula la utilización de la inteligencia artificial (IA). Tras extensos debates internos, este jueves las dos comisiones parlamentarias encargadas de la redacción de la regulación han aprobado la posición de negociación. Este es un punto de vista que el Parlamento Europeo deberá votar a mediados de junio e impone una serie de requisitos a aplicaciones como ChatGPT. La propuesta de ley formulada por los miembros del parlamento europeo dicta que los modelos generativos de lenguaje que utilizan el conocido chatbot de conversación de OpenAI o Bard, la opción desarrollada por Google, tendrán que cumplir con exigencias adicionales de transparencia. Esto implicará que estas grandes empresas deberán revelar si emplean material protegido por derechos de autor, indicar qué contenidos han sido generados con IA y diseñar estos sistemas para prevenir la generación de contenidos ilegales. 5.1. Impacto político 91 5.1.2. Planning for AGI and beyond Sam Altman, el líder de OpenAI, ha presentado ’Planning for AGI and beyond’ (’Planeando para la Inteligencia Artificial General (IAG) y más allá’), un documento que se asemeja a un plan estratégico, una declaración de propósitos y un adelanto de futuros desarrollos en la IAG. Este término se refiere comúnmente a las Inteligencias Artificiales de capacidad general y "más inteligentes que los humanos", en contraposición a las IAs específicas y "menos inteligentes que las personas". En las primeras líneas del documento, Altman resume sus reflexiones: - Nuestro objetivo es que la IAG permita a la humanidad alcanzar su máximo potencial en el universo... queremos maximizar los aspectos positivos y minimizar los negativos, viendo a la IAG como un catalizador para la humanidad. - Deseamos que los beneficios, el acceso y la gobernanza de la IAG se distribuyan de manera equitativa y extensa. - Nos proponemos superar los principales riesgos... Creemos en la necesidad de aprender y adaptarnos continuamente mediante la implementación de tecnologías menos poderosas para evitar escenarios en los que sólo tengamos una oportunidad para hacerlo bien. Un fragmento particularmente intrigante del texto de OpenAI alude a peligros desconocidos que podrían representar amenazas existenciales: (...) A medida que nos acercamos a la Inteligencia Artificial General, aumentará nuestro cuidado en la construcción y despliegue de nuestros modelos. Nuestro enfoque demandará un nivel de precaución mucho mayor al que la sociedad habitualmente aplica a las nuevas tecnologías, y mayor al que muchos de los usuarios preferirían. Algunos expertos en IA ven los riesgos de la Inteligencia Artificial General (y sistemas subsiguientes) como algo meramente teórico; nos gustaría que estuvieran en lo correcto, pero vamos a proceder como si estos riesgos fueran amenazas a la existencia. En los últimos tiempos, Sam Altman se ha reunido con diferentes dirigentes europeos y norteamericanos solicitando regulaciones para los grandes modelos de Inteligencia Artifi- 92 Chapter 5. Impacto ético y social de los LLM cial y con alarmas extrañamente catastrofistas para provenir precisamente del responsable de la empresa de IA que más rápido ha crecido. Estas peticiones parecen altruistas, pero para una empresa mil millonaria y responsable de la mayor revolución tecnológica de estos años, tenemos que analizar con cuidado sus intenciones. El crecimiento acelerado de la tecnología y la naturaleza emergente de la inteligencia artificial pueden representar desafíos significativos para las plataformas establecidas como ChatGPT, especialmente considerando el dinamismo y la innovación de las startups tecnológicas. La introducción de regulaciones estrictas podría afectar potencialmente a estas startups más pequeñas y menos establecidas, que a menudo están formadas por académicos y estudiantes y que pueden carecer de los recursos y conexiones necesarios para adaptarse a los cambios regulatorios. Además, la necesidad de cumplir con la regulación podría requerir una inversión de recursos y tiempo que las startups pueden no tener, lo que potencialmente podría afectar su competitividad. Sam Altman, al igual que otros líderes tecnológicos de Estados Unidos, está buscando expandir su empresa en Europa, una región conocida por su enfoque más riguroso en la regulación. Esto contrasta con la mentalidad de Silicon Valley, que a menudo prioriza la innovación rápida y la introducción de nuevos productos en el mercado. Pese a estas diferencias, ChatGPT expresa su apoyo a la regulación, aunque enfatiza la importancia de que esta sea medida y equilibrada. A pesar de la abogacía de la regulación, las empresas de tecnología pueden expresar su preocupación cuando la legislación propuesta puede afectar negativamente sus intereses. Por ejemplo, Altman expresó su inquietud después de que se publicó el borrador oficial de la ley de IA en Europa descrita en el apartado anterior, que establece regulaciones estrictas para sectores considerados de alto riesgo. Altman mencionó la posibilidad de retirar ChatGPT de Europa si la ley propuesta no cumple con sus expectativas. Esta situación ilustra la complejidad de la regulación de la IA y cómo las expectativas pueden cambiar en respuesta a las realidades regulatorias emergentes. 5.2. Impacto social 93 5.1.3. Huelga de guionistas en Hollywood de 2023 Aunque existan otras reivindicaciones como la mejora salarial, el impacto de la Inteligencia Artificial es una de las cuestiones en las negociaciones de la huelga de guionistas. Los profesionales creativos, incluyendo guionistas, diseñadores, traductores, músicos y escritores, temen que la IA sea utilizada para sustituirlos en un esfuerzo por reducir costes. El sindicato de guionistas no busca prohibir la IA, según John Rogers, miembro del grupo de trabajo. La intención es regular su uso. Sin embargo, las negociaciones con los estudios de Hollywood no han sido fructíferas, lo que llevó a una huelga en mayo. La alianza de productores de cine y televisión argumenta que las conversaciones se estancaron en parte porque el sindicato se negó a renunciar al uso de la IA en el futuro. Por su parte, el sindicato argumenta que su propuesta no excluye la IA, pero busca regular cómo se usa. Michael Colton, coproductor ejecutivo de la comedia de ABC Home Economics, expresa sus preocupaciones. Su temor no es que la IA escriba guiones de comedia en el futuro próximo, sino que los estudios utilicen la IA para generar primeros borradores que luego serán pulidos por guionistas contratados por poco tiempo, lo que podría resultar en una disminución en la compensación. El grupo de trabajo en IA no busca prohibir completamente el uso de la IA. Según Rogers, hacerlo sería contraproducente. En cambio, buscan una forma de utilizar la IA de manera beneficiosa y limitada para los guionistas. Al momento de la escritura de este TFM (Junio 2023) los movilizaciones continúan y suman más de un mes desde que se iniciaron el 2 de Mayo. 5.2. Impacto social Es difícil tomar la perspectiva necesaria que permite evaluar el impacto social de una tecnología que ha irrumpido en nuestras vidas en solo unos meses. Sin embargo, entre todo el revuelo mediático generado entre las posturas más catastrofistas y las más ingenuas con 94 Chapter 5. Impacto ético y social de los LLM respecto a la implementación de la IA en nuestra sociedad, destacan algunas situaciones que se recogen a continuación. 5.2.1. Pause Giant AI Experiments: An Open Letter Los medios se hicieron mucho eco de la Carta de los expertos en IA un texto en el que un conjunto de expertos en inteligencia artificial y líderes de la industria tecnológica solicitaron a comienzos del 2023 una moratoria de seis meses en la formación de sistemas avanzados de inteligencia artificial, citando su potencial peligro para la humanidad [29]. En una carta pública alojada en la página de la fundación Future of Life, señalaron que los laboratorios que exploran esta tecnología se encuentran en una competencia desenfrenada para desarrollar y poner en marcha inteligencias digitales que incrementan su poder a tal ritmo que nadie, ni siquiera los que las diseñan, pueden entender, prever o controlar de manera segura. La misiva fue respaldada por más de mil firmantes, entre los que se encuentran personalidades como Elon Musk, empresario tecnológico, Steve Wozniak, cofundador de Apple, y Emad Mostaque, CEO de Stability AI, así como investigadores de DeepMind. La carta se centra en la discusión sobre la regulación y la gestión cuidadosa del desarrollo de la Inteligencia Artificial (IA) avanzada. Hace hincapié en los riesgos potenciales que pueden surgir si la IA de capacidad humana competitiva se desarrolla y se implementa sin un control y una comprensión adecuados. Según este texto, los sistemas de IA contemporáneos están adquiriendo habilidades comparables a las humanas en tareas generales, lo que puede conducir a importantes implicaciones y riesgos. De esta forma, insta a los laboratorios de IA a hacer una pausa en el entrenamiento de sistemas de IA más poderosos que GPT-4 durante al menos 6 meses. Esta pausa sería un período para el desarrollo conjunto e implementación de protocolos de seguridad para el diseño y desarrollo de IA avanzada. Sugiere que los modelos de IA deberían ser predecibles y comprensibles, más allá de la simple búsqueda de capacidades emergentes. El texto también argumenta a favor de un enfoque más concentrado en hacer que los 5.2. Impacto social 95 sistemas de IA existentes sean más precisos, seguros, interpretables y confiables, en lugar de la mera carrera hacia modelos más grandes y potentes. Finalmente, pide a los desarrolladores de IA que trabajen junto con los legisladores para acelerar el desarrollo de sistemas de gobierno de IA robustos. Estos sistemas de gobernanza deberían incluir aspectos como autoridades reguladoras dedicadas a la IA, seguimiento de sistemas de IA altamente capaces, auditorías y certificación, responsabilidad por daños causados por IA, y una financiación robusta para la investigación en seguridad de la IA, entre otros. El objetivo final sería garantizar que los efectos de la IA en la sociedad sean positivos y manejables, evitando los riesgos potenciales significativos. 5.2.2. Trabajos académicos con ChatGPT La herramienta de generación de texto impulsada por inteligencia artificial de OpenAI, inmediatamente después de su lanzamiento en noviembre de 2022, instigó una transformación en el ámbito educativo. Este fin de ciclo académico marcará la primera ocasión en que ChatGPT esté completamente accesible para los estudiantes, potencialmente asistiéndoles en la elaboración de miles de trabajos de final de curso. La eficacia de estas aplicaciones se basa en la rapidez y precisión con las que generan respuestas automatizadas. Paul Taylor [64], quien imparte la cátedra de Informática de la Salud en la University College de Londres, recientemente compartió en un artículo para la London Review of Books, su experiencia usando Chatbot en contextos académicos. Según Taylor, la inteligencia artificial demostró ser capaz de proporcionar respuestas coherentes y precisas, y enfocadas en el tema, un nivel de rendimiento que en ocasiones supera al de los estudiantes. Las herramientas para la detección de plagio se encuentran en aprietos. Según el profesor, estos sistemas resultan ineficaces, dado que el algoritmo de ChatGPT genera respuestas únicas para cada interacción, lo que implica que los estudiantes no recibirán las mismas respuestas que él obtuvo. En vista de esto, Taylor sugiere que, en el futuro, podría ser necesario idear formatos de examen innovadores o incluso administrar las pruebas en un ambiente sin conexión a Internet. 96 Chapter 5. Impacto ético y social de los LLM 5.2.3. Clasificadores de texto IA/Humano Cada vez más personas se apoyan en Modelos de Lenguaje, fundamentalmente ChatGPT, para la elaboración de sus trabajos académicos. Ante eso han surgido algunas alternativas para controlar su uso mediante el desarrollo de herramientas de detección y clasificación de textos escritos por IA. Open AI tiene el IA Text Clasifier, pero existen otros ejemplos de software libre como Writer, ChatGPT Detector y GPTZero, que basan sus metodos para clasificar en el cálculo de la perplejidad del texto, descrita en el capítulo 4 y el análisis de marcas de agua que dependen del modelo de lenguaje. Cabe destacar que estos modelos no dan un resultado taxativo, sino una probabilidad más o menos cercana a que el texto sea Más parecido al de la IA oMás parecido al humano. GPTZero, por ejemplo, realiza un análisis de la perplejidad global del texto e incorpora el cálculo de perplejidad frase a frase para determinar la probabilidad de escritura del texto. Figura 16: Evaluación del nivel de perplejidad ypor cada frase, xdel texto que comforma el punto anterior 5.2.2. Trabajos académicos con ChatGPT realizado con GPTZero En la Figura 16 hemos tomado de referencia el punto anterior (5.2.2. Trabajos académicos con ChatGPT) y lo hemos pasado por la herramienta de análisis de texto GPTZero para obtener su perplejidad y valoración final. El texto pasa la prueba como escrito por humano, pero el modelo de clasificación está basado en GPT-2 por lo que textos creados por GPT-4 podrían pasar la prueba. En su artículo Can AI-Generated Text be Reliably Detected? [56] sus autores afirman demostrar tanto empírica como teoricamente que estos detectores no son confiables en 5.2. Impacto social 97 escenarios prácticos. Los ataques de parafraseo, donde se aplica un parafraseador ligero sobre el modelo de texto generativo, pueden romper un amplio rango de detectores, incluyendo los que usan esquemas de marca de agua, así como los detectores basados en redes neuronales y los clasificadores de Zero-shot. Además aportan un resultado teórico de imposibilidad que afirma que para un modelo de lenguaje suficientemente bueno, incluso el mejor detector posible solo puede desempeñarse marginalmente mejor que un clasificador aleatorio. Finalmente, mostramos que incluso los MLGs protegidos por esquemas de marca de agua pueden ser vulnerables a ataques de suplantación donde los humanos adversarios pueden inferir firmas de marca de agua ocultas y añadirlas a su texto generado para ser detectado como texto generado por los MLGs, Figura 17: Vulnerabilidades de los sistemas de clasificación de texto IA/Humano. Extraído de [56] Los senderos de flechas de colores representan estrategias potenciales que los adversarios podrían seguir para eludir la detección (Ver Figura 17). En el caso rojo, un atacante podría eliminar las firmas del LLM en un texto producido por IA mediante parafraseo para evitar ser detectado. Este tipo de ataque puede invalidar una amplia gama de detectores. Además, en el artículo se muestra que un modelo de lenguaje altamente eficiente hace que incluso el detector óptimo sea apenas marginalmente mejor que un clasificador al azar. En el caso azul, un adversario podría aprender el esquema de marca de agua del LLM consultándolo varias veces. Esta información podría ser utilizada para burlar al detector de marcas de agua, creando texto humano que parece tener marca de agua de IA. Capítulo 6 Conclusión Vivimos en una época de auténtica revolución en el campo de la Inteligencia Artificial. Los avances suceden a un ritmo vertiginoso. Semana tras semana, nos sorprendemos con los hitos conseguidos por las grandes empresas de software. Sus resultados son fácilmente comprobables con las nuevas aplicaciones que, a su vez, cada vez resultan más accesibles para el gran público. En ellas encontramos programas con los que podemos obtener texto, imagen, música e incluso contenido audiovisual generado a partir de solicitudes sencillas del usuario y con un nivel asombroso de corrección, coherencia y valor estético. Las redes neuronales de tipo Transformer son las responsables de los espectaculares resultados obtenidos en los últimos años. Han llegado a cotas de coherencia nunca antes alcanzadas por sus antecesoras: Las redes neuronales recurrentes o las de memorias a largo plazo (LSTM). Estas presentaban problemas de corrección cuando se proponía la generación de textos más largos, de tal forma que al principio las frases completadas eran aceptablemente coherentes, pero a medida que se avanzaba con las implicaciones lógicas del escrito, este se iba volviendo más incongruente, degradándose hasta el sin sentido. La principal mejora al respecto de los Transformer consiste en un mecanismo de atención, que evalúa la relevancia de cada token en función de la tarea propuesta por el usuario, además del análisis de secuencias de texto de gran tamaño en paralelo. Esta capacidad de atención contextual les ha permitido dar un paso de gigante con respecto a sus predecesoras. 98 99 De todos los modelos de lenguaje basados en Transformers, GPT-4 de Open-AI y sus predecesores son los que han copado la mayor parte de prensa especializada y sirven de base para la mayoría de aplicaciones basadas en IA de la actualidad más reciente. Mientras tanto, las grandes empresas tecnológicas como Microsoft, Google y Meta le siguen a la zaga con sus respectivos modelos: Bard, ChatBing y LLaMa. Muchas voces entre los expertos y los medios reflexionan de forma un tanto apocalíptica acerca de la posibilidad de desaparición de trabajos como escritores, guionistas o diseñadores gráficos, que serán sustituidos por esta inteligencia artificial para la generación de contenido, llegando incluso a producir una huelga histórica de guionistas en Holywood que se mantiene a la fecha de escribir estas líneas (por no hablar de los miedos de deshumanización y extinción que la ciencia ficción nos lleva inculcando durante décadas). Esto proviene no solo de la idea intuitiva de que, para generar un texto coherente y correcto, la IA debe desenvolverse con eficiencia en múltiples tareas complejas, que parecen necesariamente vinculadas a habilidades de cognición similares a las humanas, sino de estrategias corporativas o mediáticas para las que transmitirnos esa idea puede beneficiar sus intereses de diferentes maneras. Es un desafío prever el camino futuro de los modelos de lenguaje, pero no podemos evitar asombrarnos de las proezas que han logrado hasta ahora. Lo que resulta más sorprendente es cómo la esencia de estas máquinas de aprendizaje se basa en conceptos estructurales que no son nuevos ni especialmente complejos, sino que llevan años con nosotros y que provienen de la optimización, el aprendizaje profundo e incluso del álgebra lineal, como es el caso de los espacios vectoriales. Sin embargo, esto no debe hacernos pasar por alto el grado de complejidad y sofisticación que se alcanza en su desarrollo y funcionamiento. Aunque la esencia de estos modelos puede parecer accesible, el verdadero logro radica en su implementación y en el nivel de detalle que encierra. Construir, entrenar y mantener estos modelos requiere no sólo de un gran compromiso de recursos materiales, como el hardware, sino también de un equipo humano altamente cualificado que pueda dirigir y supervisar el proceso de aprendizaje del modelo. Además, el avance y la mejora continua de estos modelos están impulsados por una se- 106 BIBLIOGRAFÍA [28] František Hrouda, Vit Jelínek, and Karel Zapletal. Refined technique for susceptibility resolution into ferromagnetic and paramagnetic components based on susceptibility temperature-variation measurement. Geophysical Journal International, 129(3):715–719, 1997. [29] Marcello Ienca. Don’t pause giant ai for the wrong reasons. Nature Machine Intelligence, pages 1–2, 2023. [30] Carl James. Errors in language learning and use: Exploring error analysis. Routledge, 2013. [31] Fred Jelinek, Robert L Mercer, Lalit R Bahl, and James K Baker. Perplexity—a measure of the difficulty of speech recognition tasks. The Journal of the Acoustical Society of America, 62(S1):S63–S63, 1977. [32] Norman P Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, et al. Indatacenter performance analysis of a tensor processing unit. In Proceedings of the 44th annual international symposium on computer architecture, pages 1–12, 2017. [33] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. [34] Mauritz Kop. Eu artificial intelligence act: the european approach to ai. Stanford- Vienna Transatlantic Technology Law Forum, 2021. [35] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In International conference on machine learning, pages 1188–1196. PMLR, 2014. [36] Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. Nature, 521(7553):436–444, 2015. [37] Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278– 2324, 1998. BIBLIOGRAFÍA 107 [38] Omer Levy and Yoav Goldberg. Dependency-based word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 302–308, 2014. [39] Ping Li, Jianping Li, and Gongcheng Wang. Application of convolutional neural network in natural language processing. In 2018 15th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP), pages 120–122. IEEE, 2018. [40] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017. [41] Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin, and Honglak Lee. Zero-shot entity linking by reading entity descriptions. arXiv preprint arXiv:1906.07348, 2019. [42] Alessandro Lumino, Emanuele Polino, Adil S Rab, Giorgio Milani, Nicolò Spagnolo, Nathan Wiebe, and Fabio Sciarrino. Experimental phase estimation enhanced by machine learning. Physical Review Applied, 10(4):044033, 2018. [43] Huiyan Luo, Guoliang Xu, Chaofeng Li, Longjun He, Linna Luo, Zixian Wang, Bingzhong Jing, Yishu Deng, Ying Jin, Yin Li, et al. Real-time artificial intelligence for detection of upper gastrointestinal cancer by endoscopy: a multicentre, casecontrol, diagnostic study. The Lancet Oncology, 20(12):1645–1654, 2019. [44] Christopher Manning and Hinrich Schutze. Foundations of statistical natural language processing. MIT press, 1999. [45] Michael McCloskey and Neal J Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. In Psychology of learning and motivation, volume 24, pages 109–165. Elsevier, 1989. [46] H Brendan McMahan, Galen Andrew, Ulfar Erlingsson, Steve Chien, Ilya Mironov, Nicolas Papernot, and Peter Kairouz. A general approach to adding differential privacy to iterative training procedures. arXiv preprint arXiv:1812.06210, 2018. 108 BIBLIOGRAFÍA [47] Rahul Mehta and Vasudeva Varma. Llm-rm at semeval-2023 task 2: Multilingual complex ner using xlm-roberta. arXiv preprint arXiv:2305.03300, 2023. [48] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013. [49] Gordon Moore. Moore’s law. Electronics Magazine, 38(8):114–116, 1965. [50] Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10), pages 807–814, 2010. [51] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532–1543, 2014. [52] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018. [53] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, 21(1):5485–5551, 2020. [54] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Model-agnostic interpretability of machine learning. arXiv preprint arXiv:1606.05386, 2016. [55] Sebastian Ruder, Parsa Ghaffari, and John G Breslin. A hierarchical model of reviews for aspect-based sentiment analysis. arXiv preprint arXiv:1609.02745, 2016. [56] Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, and Soheil Feizi. Can ai-generated text be reliably detected? arXiv preprint ar- Xiv:2303.11156, 2023. [57] Wojciech Samek, Grégoire Montavon, Andrea Vedaldi, Lars Kai Hansen, and Klaus- Robert Müller. Explainable AI: interpreting, explaining and visualizing deep learning. Springer Nature, 2019. BIBLIOGRAFÍA 109 [58] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of big data, 6(1):1–48, 2019. [59] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Bertimbau: pretrained bert models for brazilian portuguese. In Intelligent Systems: 9th Brazilian Conference, BRACIS 2020, Rio Grande, Brazil, October 20–23, 2020, Proceedings, Part I, pages 403–417. Springer, 2020. [60] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, 15(1):1929–1958, 2014. [61] Erik Štrumbelj and Igor Kononenko. Explaining prediction models and individual predictions with feature contributions. Knowledge and information systems, 41:647– 665, 2014. [62] Christian Szegedy, Scott Reed, Dumitru Erhan, Dragomir Anguelov, and Sergey Ioffe. Scalable, high-quality object detection. arXiv preprint arXiv:1412.1441, 2014. [63] Kanchan M Tarwani and Swathi Edem. Survey on recurrent neural network in natural language processing. Int. J. Eng. Trends Technol, 48(6):301–304, 2017. [64] Paul Taylor. On chatgpt. London Review of Books, 45(1):1–4, 2023. [65] Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1):267–288, 1996. [66] Alan M Turing. Computing machinery and intelligence (1950). The Essential Turing: the Ideas That Gave Birth to the Computer Age, pages 433–464, 2012. [67] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 2017. [68] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mt5: A massively multilingual pre-trained text-to-text transformer. arXiv preprint arXiv:2010.11934, 2020. 110 BIBLIOGRAFÍA [69] Joosung Yoon and Hyeoncheol Kim. Multi-channel lexicon integrated cnn-bilstm models for sentiment analysis. In Proceedings of the 29th conference on computational linguistics and speech processing (ROCLING 2017), pages 244–253, 2017. [70] Zhilu Zhang and Mert Sabuncu. Generalized cross entropy loss for training deep neural networks with noisy labels. Advances in neural information processing systems, 2018. [71] Daniel M Ziegler, Nisan Stiennon, Jeffrey Wu, Tom B Brown, Alec Radford, Dario Amodei, Paul Christiano, and Geoffrey Irving. Fine-tuning language models from human preferences. arXiv preprint arXiv:1909.08593, 2019.