Ampliación automática de corpus mediante la colaboración de varios etiquetadores

Ampliaci´on autom´atica de corpus mediante la colaboraci´on de varios etiquetadores Fernando Enr´ıquez, Jose´ A. Troyano, Ferm´ın Cruz y F. Javier Ortega Dep. de Lenguajes y Sistemas Inform´aticos Universidad de Sevilla Avda. Reina Mercedes s/n 41012 Sevilla [email protected] Resumen: La disponibilidad de grandes corpus con texto etiquetado es un aspecto esencial en muchas tareas del procesamiento del lenguaje natural. El esfuerzo que se requiere para etiquetar manualmente este gran n´umero de frases ha animado a los investigadores a crear aplicaciones autom´aticas para este trabajo. Nuestra propuesta representa un m´etodo para incrementar el tama˜no de un corpus peque˜no de manera totalmente autom´atica o con un m´ınimo esfuerzo, hasta que adquiera el n´umero deseado de frases. El contenido que se a˜nade al corpus se obtiene de cualquier fuente como puede ser Internet, de la cual se puedan extraer frases sin etiquetar para ser analizadas. Si consideramos el peque˜no corpus etiquetado como la semilla, nuestro m´etodo hace que evolucione hasta lograr el tama˜no deseado. El proceso se basa en la opini´on de varios etiquetadores mediante la t´ecnica de co-training y de la aplicaci´on de un segundo nivel de aprendizaje mediante stacking. Esta ´ultima ser´alat´ecnica que nos servir´a para decidir cu´ales de las nuevas frases etiquetadas ser´an seleccionadas para pasar a formar parte del corpus. Palabras clave: Generaci´on de recursos, aprendizaje autom´atico, combinaci´on de sistemas Abstract: The availability of extense tagged data corpus is an essential aspect in many NLP tasks. The effort required for tagging manually this large number of phrases has encouraged many researchers like us to create automatic applications for this issue. Our approach represents a completely automatic method (optionally applying a minimum effort) for enlarging an already existing corpus, so it acquires the desired number of tagged phrases. The extra content of the corpus will be obtained from any knowledge source like the web, from where we extract untagged sentences to be analyzed. Considering the initial small corpus as the seed, our method makes it evolve until it reaches the goal size. The process is based on several taggers using the co-training technique, achieving the results after a number of iterations and applying the stacking scheme for deciding which new tagged sentences must be incorporated to the new corpus. Keywords: Resource generation, machine learning, system combination 1. Introducci´on Hay m´ultiples t´ecnicas en el campo del procesamiento del lenguaje natural que est´an basadas en corpus. Esto significa que dependen de la disponibilidad de grandes corpus etiquetados para poder funcionar y obtener buenos resultados. Este tipo de t´ecnicas se ∗Parcialmente financiado por el Ministerio de Educaci´on y Ciencia (TIN2004-07246-C03-03). aplica a todas las tareas del PLN como son la extracci´on de entidades con nombre, la desambiguaci´on de significados o el etiquetado morfol´ogico com´unmente conocido como etiquetado POS. Esta dependencia de estos recursos generalmente no supone ning´un problema para los que trabajan en las tareas y en los idiomas m´as populares. Sin embargo, existen situaciones en las que la ausencia de grandes textos etiquetados se convierte en un serio obst´aculo. En ocasiones porque la tarea es relativamente nueva y hay pocos recursos para ella, y otras veces porque el inter´es recae en un idioma que se sale del conjunto de idiomas utilizado por la mayor´ıa, habiendo muy pocos textos etiquetados o ninguno. En estos casos es donde la generaci´on autom´atica de recursos nos puede ayudar, evitando tener que proceder manualmente al etiquetado de grandes vol´umenes de textos, con el alto coste que esto conlleva. A continuaci´on mostramos la estructura que presenta el art´ıculo de aqu´ı en adelante. En la siguiente secci´on introduciremos las t´ecnicas m´as com´unmente usadas para gener- ar recursos de forma autom´atica. En la secci´on tres detallaremos las caracter´ısticas de nuestra soluci´on y comentaremos los etiquetadores que hemos utilizado. La secci´on cuatro presenta los resultados de nuestros experimentos. Por ´ultimo, en la secci´on cinco, expondremos las conclusiones y el trabajo futuro. 2. T´ecnicas de bootstrapping Podemos encontrar diversas t´ecnicas que han sido utilizadas para este objetivo en el pasado. Probablemente la m´as sencilla sea el m´etodo de self-training (Clark, 2003). Consiste en entrenar un etiquetador con el corpus actual con la intenci´on de extender el corpus de entrenamiento con un conjunto de frases nuevas etiquetadas por el propio etiquetador. A continuaci´on reentrenamos el etiquetador con el corpus extendido ejecut´andose una nueva iteraci´on. Este proceso se repite hasta que se obtenga el tama˜no deseado o se alcance el n´umero de iteraciones que se ha especificado a priori. Este es un esquema de muy bajo coste pero desafortunadamente la calidad del corpus decrece a un ritmo que hace inviable la obtenci´on de un tama˜no grande cumpliendo unos requisitos m´ınimos de calidad. La raz´on radica en la imposibilidad del etiquetador de aprender de ´el mismo, haci´endose cada vez m´as influyentes los errores que va cometiendo en las sucesivas iteraciones. Si existen situaciones que no aparecen en el corpus de entrenamiento, el etiquetador nunca aprender´a a responder de forma correcta ante estas situaciones sin recibir ayuda externa. La t´ecnica de co-training (Blum, 1998) permite que distintos etiquetadores puedan cooperar aportando as´ı la ayuda externa de la que carece el self-training. Para aportar informaci´on adicional a un etiquetador sobre situaciones que no sabe manejar, se introduce otro etiquetador (o m´as). Cada etiquetador representa una visi´on diferente del problema, y la mezcla de estas vistas enriquece las capacidades globales del sistema (Abney, 2002). El proceso se describe a continuaci´on: Cada etiquetador aprende de diferentes corpus aunque al comienzo, el corpus semilla ser´a el mismo para todos y por lo tanto lo compondr´an las mismas frases. De ah´ı en adelante cada corpus se ampliar´a de forma independiente, con diferentes frases y etiquetas. Cada etiquetador se ejecuta sobre un conjunto de frases nuevas sin etiquetar. Las frases que devuelve como resultado un etiquetador se a˜naden al corpus de entrenamiento del otro etiquetador. Reentrenamos los etiquetadores y repetimos el proceso. El m´etodo colaborativo difiere de la t´ecnica de co-training en el n´umero de corpus de entrenamiento que se generan, existiendo en esta ocasi´on un ´unico corpus para todos los etiquetadores. El aspecto principal ser´a la selecci´on de frases nuevas para extender el corpus inicial, teniendo que alcanzarse un acuerdo entre las opiniones de los diferentes etiquetadores involucrados en el sistema. Existen muchos m´etodos de selecci´on que pueden implementarse, desde un sistema de votaci´on a algo m´as complejo como el stacking, una t´ecnica de aprendizaje autom´atico que combina los resultados de una fase previa de aprendizaje (en nuestro caso los etiquetadores entrenados con el corpus de la iteraci´on actual) con un segundo algoritmo de selecci´on. La ´ultima t´ecnica que queremos mencionar antes de pasar a nuestra soluci´on es la del active learning, que introduce una fase manual para etiquetar ´unicamente aquellas frases que presentan dudas para los sistemas autom´aticos que se est´an utilizando (en nuestro caso ser´an aquellas frases que producen desacuerdo entre los diferentes etiquetadores). Nuestro sistema intentar´a tomar ventaja de la combinaci´on de las diferentes vistas pre- Fernando Enríquez, José Antonio Troyano, Fermín Cruz y F. Javier Ortega sentadas por la t´ecnica de co-training, introduciendo un esquema por acuerdos mediante el esquema del stacking. Tambi´en hemos estudiado los efectos que produce en los resultados la inserci´on de una fase manual tal y como propone el active learning. 3. Nuestra propuesta Como base de nuestro modelo de colaboraci´on, hemos seleccionado tres etiquetadores reentrenables de entre los m´as usados hoy en d´ıa. Estos son: TnT (Brants, 2000): Est´a basado en los modelos de Markov de segundo orden, calculando los trigramas para extraer las probabilidades de emisi´on de palabras y transici´on entre etiquetas. Incorpora algoritmos de suavizado y an´alisis de sufijos entre otros. TreeTagger (Schmid, 1994): Difiere de otros etiquetadores probabil´ısticos en la forma en que se calculan las probabilidades de transici´on, ya que utiliza ´arboles de decisi´on en un contexto de tetragramas. MBT (Daelemenas, 1996): Utiliza un m´etodo de aprendizaje basado en ejemplos. Estos algoritmos constituyen una forma de aprendizaje supervisado basado en el razonamiento por similitud, en donde la etiqueta para una palabra en su contexto se extrapola de los casos m´as similares procesados anteriormente. Tambi´en se probaron otros etiquetadores que finalmente no introduc´ıan mejoras en el sistema por diversas razones. En algunos casos no se comportaban bien al principio del proceso (con muy poca informaci´on de partida), otros introduc´ıan demasiado retardo en el sistema en cada iteraci´on mermando en exceso la eficiencia temporal y otros no cumpl´ıan con el requisito de aportar una visi´on diferente del problema al estar basados en m´etodos similares a los ya presentes. 3.1. Co-training ingenuo El primer punto a tratar es la creaci´on de una l´ınea base para comparar los resultados, implementando un sistema sencillo que aporte una soluci´on con un bajo coste. Este sistema lo llamamos naive (ingenuo) cotraining y se muestra en la figura 1. Tenemos tres etiquetadores para combinar y tres corpus que se utilizar´an para entrenarlos. Cada corpus se extender´a introduciendo frases nuevas etiquetadas por los otros dos. Del conjunto de frases nuevas extra´ıdas de la fuente se escoger´a por tanto la mitad con el etiquetado propuesto por un etiquetador y la otra mitad con el propuesto por el segundo etiquetador, pasando a formar parte todas ellas del corpus de entrenamiento del tercero. Figura 1: Naive co-training (tres etiquetadores). En este esquema todas las frases nuevas se introducen en los corpus ya que no existe un criterio de selecci´on entre ellas, provocando un crecimiento homog´eneo y constante. 3.2. Stacking m´as co-training Tras establecer un punto de partida con el naive co-training, hemos mejorado la precisi´on del corpus al final del proceso empleando un esquema de stacking, que aportar´aunm´etodo de arbitraje y consenso entre las diferentes opiniones introducidas por los dos etiquetadores que se combinan en cada ocasi´on. Este esquema ha sido aplicado con ´exito en diversas tareas, en concreto en el ´ambito del Procesamiento del Lenguaje Natural existen trabajos que aplican una doble etapa de decisi´on para el etiquetado POS (Halteren, 2001), la desambiguaci´on de significados (Florian, 2002), el an´alisis sint´actico (Henderson, 1999) o el reconocimiento de entidades con nombre (Florian, 2003). Dado que este sistema requiere m´as informaci´on para responder correctamente, aplicamos la fase de stacking tras cinco iteraciones del m´etodo naive, ya que resulta muy dif´ıcil para el stacking extraer informaci´on de las pocas frases que contiene el corpus semilla inicial. A mpliación automática de corpus mediante la colaboración de varios etiquetadotes Para generar la base de datos de entrenamiento del stacking, cogemos las frases etiquetadas desde el comienzo (las que inicialmente constituyeron el corpus semilla y que al comenzar la fase de stacking se extraen del corpus de entrenamiento). Estas frases, que contienen las etiquetas correctas ya que no han sido introducidas de forma autom´atica por el sistema, constituyen el or´aculo y se considera la fuente de conocimiento segura en la que se apoya el stacking. Durante el proceso, cada etiquetador se ejecuta sobre el or´aculo y sobre el conjunto de frases nuevas que se espera terminen extendiendo los corpus (extra´ıdas en cada iteraci´on de una fuente de frases sin etiquetar). El resultado aportado por dos etiquetadores sobre el or´aculo, m´as las etiquetas reales de que disponemos, componen la base de datos de entrenamiento y el resultado de esos dos etiquetadores sobre el conjunto de frases nuevas constituyen la base de datos de aplicaci´on. El proceso se ilustra en la figura 2. Figura 2: Stacking m´as co-training (tres etiquetadores). Para aplicar la segunda fase de aprendizaje que representa la t´ecnica de stacking, hacemos uso del sistema weka (Witten, 2000), que aporta una interfaz para aplicar algoritmos de aprendizaje autom´atico ya incorporados en una librer´ıa muy extensa. Hemos configurado weka para utilizar un algoritmo de aprendizaje autom´atico basado en ´arboles de decisi´on tras ejecutar diferentes algoritmos disponibles y comprobar que ´este ofrec´ıa los mejores resultados en la mayor´ıa de las pruebas. El ´arbol de decisi´on es construido a partir de la base de datos de entrenamiento, y es posteriormente usado para decidir las etiquetas de la base de datos de aplicaci´on (que ha sido creada a partir de frases nuevas). El ´arbol proporciona para cada palabra la etiqueta m´as probable y su correspondiente probabilidad. Si esta probabilidad sobrepasa para cada palabra de una frase un umbral definido previamente, la frase es seleccionada para ampliar el corpus, y en caso contrario se rechaza. 3.3. La fase de revisi´on El esquema que sigue el m´etodo naive es muy simple y muy r´apido pero introduce gran cantidad de errores en los corpus que afectan en las sucesivas iteraciones a los resultados aportados por el sistema. Para intentar paliar este problema antes de que se aplique la fase de stacking que sigue a la de naive, hemos incorporado una fase intermedia que revisa las frases introducidas anteriormente corrigiendo en la medida de lo posible los errores cometidos. La fase consiste en repetir el etiquetado de todas las frases introducidas por el m´etodo naive, pero con el m´etodo stacking, aprovechando que existen m´as ejemplos que los disponibles en el corpus semilla del principio. Aunque durante la revisi´on no se introducen frases nuevas (puede que incluso se descarten algunas que se hab´ıan introducido), los resultados a lo largo del resto del experimento se ven afectados de forma positiva, como comprobaremos en la siguiente secci´on. Adem´as de este tipo de revisi´on, tambi´en implementamos otro modo diferente que simula la participaci´on de un experto etiquetando manualmente las palabras que generen m´as dudas al sistema durante esta fase. En los casos en los que la etiqueta no supere el umbral de fiabilidad especificado al comienzo del experimento, en lugar de ser rechazada se incorporar´a junto con la etiqueta real en lugar de la propuesta (es una simulaci´on que podemos realizar al tener las frases nuevas etiquetadas en lugar de haber sido extra´ıdas de una fuente sin etiquetar). Esto nos da una idea del esfuerzo necesario para mejorar los resultados etiquetando manualmente un cier- to n´umero de palabras que en apariencia resultan ser las m´as dif´ıciles de resolver. 4. Resultados Inicialmente comenzamos las pruebas con el corpus Penn Treebank afrontando la tarea del etiquetado POS. En la tabla 1 se muestran los resultados obtenidos en cuanto al Fernando Enríquez, José Antonio Troyano, Fermín Cruz y F. Javier Ortega tama˜no alcanzado y la precisi´on (o accuracy) con dicho corpus (seleccionamos la secci´on 0 de los documentos del Wall Street Journal como test y las secciones 1-5 y 10-19 para el corpus semilla y la fuente de frases nuevas). Tanto para el m´etodo naive como para el basado en stacking, se muestran los valores de precisi´on de los corpus al comienzo del experimento y al finalizar, as´ı como la diferencia alcanzada entre estos valores. Todos estos valores se calculan para un corpus unificado generado a partir de los tres corpus que devuelve el sistema. El criterio de selecci´on para mezclar las frases de los tres corpus se basa en las probabilidades de las etiquetas devueltas en cada caso, seleccionando la de mayor probabilidad de acierto (en el caso del m´etodo naive no tenemos esta probabilidad por lo que se escoge el del mejor etiquetador de entre los tres). El corpus semilla lo componen cincuenta frases y se extraen doscientas frases nuevas en cada iteraci´on como candidatas a extender el corpus hasta alcanzar las cinco mil frases. Semilla Naive Stacking TnT 82,27 82,43 (+0,16) 82,69 (+0,42) TT 77,21 81,11 (+3,9) 81,4 (+4,19) MBT 74,86 80,43 (+5,57) 81,01 (+6,15) Tabla 1: Resultados para el corpus Penn Treebank (POS). Los resultados con el etiquetado POS no parecen demasiado esperanzadores ya que la mejora lograda no resulta muy espectacular, aunque al afrontar una tarea m´as dif´ıcil por su mayor dependencia contextual, como es el an´alisis sint´actico superficial, la situaci´on var´ıa. Como podemos ver en la tabla 2, los resultados con el corpus del CoNLL 2000 (para la tarea de detecci´on de sintagmas o chunking) muestran una ca´ıda sustancial de la precisi´on del sistema naive mientras que el sistema basado en stacking se muestra mucho m´as eficiente, siendo capaz de reponerse ante la ca´ıda inicial provocada por las primeras iteraciones del m´etodo naive. Esto parece indicar, que el sistema de stacking es capaz de responder ante la mayor dificultad de esta tarea, al poder manipular de forma m´as eficiente la informaci´on que subyace en el contexto de las etiquetas. Puede aprender ciertas reglas de los ejemplos que poseemos al principio del proceso para responder de forma razonable ante los casos nuevos que van apareciendo en las sucesivas iteraciones. Semilla Naive Stacking TnT 76,5 70,18 (-6,32) 76,99 (+0,49) TT 68,98 69,79 (+0,81) 72,71 (+3,73) MBT 74,19 70,04 (-4,15) 76,14 (+1,95) Tabla 2: Resultados para el corpus CoNLL 2000 (chunking). La figura 3 muestra la forma en que evolucionan los corpus unificados generados por ambos sistemas, desde la semilla hasta alcanzar el objetivo de las cinco mil frases. Figura 3: Evoluci´on de los corpus unificados (evaluados con TnT). Finalmente probamos el comportamiento de nuestro sistema introduciendo la fase de revisi´on en sus dos versiones (autom´atica y mediante active learning simulado) tras la fase inicial de naive. En la tabla 3 observamos una respuesta positiva del sistema y los efectos en los resultados de etiquetar ´unicamente el 1,58 % de las palabras del corpus (propuestas por el sistema de revisi´on en los casos en los que la fiabilidad es demasiado baja). Semilla Autom´atico Activo TnT 76,5 78 (+1,5) 78,16 (+1,66) TT 68,98 73,56 (+4,58) 73,89 (+4,91) MBT 74,19 77,7 (+3,51) 77,84 (+3,65) Tabla 3: Resultados con revisi´on autom´atica y activa insertando 1129 etiquetas de 71112 (corpus CoNLL 2000). Aunque no existe mucha diferencia entre los resultados de la revisi´on autom´atica y la activa, observamos que la base de conocimiento generada es mucho m´as s´olida en el segundo caso, quedando patente al introducir una segunda fase de revisi´on autom´atica al final del experimento. Los resultados se incrementan en dos puntos respec- A mpliación automática de corpus mediante la colaboración de varios etiquetadotes to al logrado por el mejor sistema (TnT) de forma aislada con el corpus semilla inicial, mejorando los resultados obtenidos con ambas revisiones autom´aticas como se aprecia en la figura 4. Figura 4: Evoluci´on con dos fases de revisi´on (evaluando con TnT). La tabla 4 y la figura 5 muestran la comparativa entre los valores alcanzados por el m´etodo naive en la tarea de chunking y el sistema de stacking con una breve fase de revisi´on activa aplicada sobre las cinco primeras iteraciones de naive finalizada con una revisi´on autom´atica de todo el proceso. Semilla Naive Stacking TnT 76,5 70,18 (-6,32) 78,51 (+2,01) TT 68,98 69,79 (+0,81) 74,06 (+5,08) MBT 74,19 70,04 (-4,15) 78,3 (+4,11) Tabla 4: Comparaci´on final entre naive y stacking (corpus CoNLL 2000). La diferencia es obvia siempre considerando el m´ınimo esfuerzo empleado en este experimento para etiquetar el 1,58 % de forma manual durante la revisi´on activa, y el gran n´umero de par´ametros que a´un debemos estudiar para detectar la configuraci´on ´optima que nos aporte los mejores resultados. Factores como el n´umero de frases insertadas en cada iteraci´on, el umbral para las diferentes fases o la propia configuraci´on de las frases en el experimento pueden afectar en mayor o menor medida al resultado aun cuando las variaciones son peque˜nas. 4.1. Trabajo relacionado Hay muchos trabajos que intentan aplicar t´ecnicas de co-training a tareas PLN (por ejemplo (Zavrel, 2000) y (Cucerzan, 2002)). Uno de los que m´as llam´o nuestra atenci´on y ha sido fuente de inspiraci´on clara en nuestros experimentos ha sido (Clark, 2003), que Figura 5: Comparaci´on final entre naive y stacking. usa la t´ecnica del co-training aunque emplea un m´etodo de selecci´on muy diferente. Est´a basado en acuerdos y trabaja seleccionando aleatoriamente un subconjunto de frases nuevas y calculando una tasa de acuerdo entre los diferentes etiquetadores. La figura 6 muestra su algoritmo de selecci´on. Ces un grupo de frases etiquetadas por et1 Ues un grupo de frases sin etiquetar Inicializaci´on: cmax ←∅ Amax ←0 Repetir nveces c←muestra aleatoria de C et 2←etiquetador et2enriquecido con c A←acuerdo entre et1yet 2sobre U Si (A>A max ) Amax ←A cmax ←c Fin si Fin repetir Figura 6: Algoritmo de selecci´on en (Clark, 2003) para decidir el incremento del corpus asociado al etiquetador et2. El m´etodo de selecci´on seguido por (Clark, 2003) es muy costoso, aun habiendo reducido significativamente n´umero de b´usquedas al explorar s´olo nsubconjuntos aleatoriamente en lugar de analizar todas las posibles particiones. A pesar de este esfuerzo computacional no mejoran los resultados del m´etodo ingenuo de selecci´on (incluirlas todas). La principal motivaci´on de nuestro trabajo es incluir un criterio de selecci´on m´as inteligente, lo que se consigue mediante el uso de algoritmos de aprendizaje autom´atico sobre los ejemplos producidos por los distintos etiquetadores. El coste computacional es mucho menor y los resultados que hemos obtenido en nuestras primeras pruebas son esperanzadores. Fernando Enríquez, José Antonio Troyano, Fermín Cruz y F. Javier Ortega 5. Conclusiones Hemos implementado un sistema de generaci´on autom´atica de corpus etiquetados con el ´unico requisito de disponer previamente de un n´umero peque˜no de frases ya etiquetadas. En el proceso, este corpus semilla ser´a extendido hasta que se alcance el tama˜no deseado del corpus final. El sistema basado en el cotraining emplea el esquema de stacking para mejorar los resultados de la l´ınea base, constituida por un esquema sencillo que hemos llamado naive. Durante la ejecuci´on, el sistema se muestra estable en diferentes tareas ofreciendo mejores resultados en tareas m´as dif´ıciles, en las que se requiere mayor informaci´on contextual. Quedan muchas l´ıneas abiertas por las que continuar en el futuro, como por ejemplo la investigaci´on de nuevas formas de combinar las salidas de los etiquetadores para la construcci´on del corpus resultado, la definici´on de umbrales variables en las fases de stacking y de revisi´on que vayan adapt´andose a la calidad del corpus disponible, o la aplicaci´on a otro tipo de tareas m´as complejas que el etiquetado de palabras. Bibliograf´ıa S. Abney: Bootstrapping. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. (2002) 360–367 A. Blum, T. Mitchell: Combining labelled and unlabeled data with co-training. In Proceedings of the 11th Annual Conference on Computational Learning Theory. (1998) 92–100 T. Brants: TnT. A statistical part-of-speech tagger. In Proceedings of the 6th Applied NLP Conference (ANLP00). (2000) 224– 231 S. Clark, J. R. Curran, and M. Osborne: Bootstrapping POS taggers using Unlabelled Data. In Proceedings of CoNLL- 2003. (2003) 49–55 S. Cucerzan, D. Yarowsky: Bootstrapping a multilingual part-of-speech tagger in one person-day. In Proceedings of the 6th Workshop on Computational Language Learning. (2002) W. Daelemans, J. Zavrel, P. Berck, S. Gillis: MBT: A MemoryBased Part of Speech Tagger-Generator. In Proceedings of the 4th Workshop on Very Large Corpora. (1996) 14–27 Florian, R., Yarowsky, D., 2002. Modeling Consensus: Classifier Combination for Word Sense Disambiguation. In Proceedings of EMNLP’02, Philadelphia, pp 25– 32. Florian, R., Ittycheriah, A., Jing, H., Zhang, T., 2003. Named Entity Recognition through Classifier Combination. In Proceedings of CoNLL-2003, Canada, pp 168– 171. Halteren, v.H., Zavrel, J., Daelemans, W., 2001. Improving accuracy in word class tagging through the combination of machine learning systems. Computational Linguistics 27, pp 199–230. Henderson, J.C., Brill, E., 1999. Exploiting diversity in natural language processing. Combining parsers. In 1999 Joint Sigdat Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, ACL, USA, pp 187–194. H. Schmid: Probabilistic Part-of-Speech Tagging Using Decision Trees. In Proceedings of the Conference on New Methods in Language Processing. (1994) I.H. Witten, E. Frank: Data Mining. Machine Learning Algorithms in Java. Morgan Kaufmann Publishers (2000) J. Zavrel, W. Daelemans: Bootstrapping a tagged corpus through combination of existing heterogeneous taggers. In Proceedings of the 2nd International Conference on Language Resources and Evaluation. (2000) 17–20 A mpliación automática de corpus mediante la colaboración de varios etiquetadotes