Generación Semiautomática de Recursos

Generaci´on semiautom´atica de recursos ∗ Fernando Enr´ıquez, Jos´e A. Troyano, Ferm´ın Cruz yF. Javier Ortega Dep. de Lenguajes y Sistemas Inform´aticos Universidad de Sevilla Avda. Reina Mercedes s/n 41012 Sevilla [email protected] Resumen: Los resultados de muchos algoritmos que se aplican en tareas de procesamiento del lenguaje natural dependen de la disponibilidad de grandes recursos ling¨u´ısticos, de los que extraen el conocimiento necesario para desempe˜nar su trabajo. La existencia de estos recursos determina por tanto la calidad de los resultados, el rendimiento general del sistema y en ocasiones, ambas cosas. Vamos a mostrar diversos aspectos que hacen referencia al esfuerzo necesario para la creaci´on de estos recursos, y que por lo tanto justifican los intentos de desarrollar m´etodos que alivien esta tarea, as´ı como diversas propuestas que se han mostrado para solventar esta cuesti´on. Estas propuestas pueden considerarse alternativas al problema que queremos solucionar y lo afrontan de muy diferentes maneras, algunas de las cuales quiz´as podamos adaptar a nuestras propias implementaciones en un futuro pr´oximo. Palabras clave: Generaci´on de recursos, aprendizaje autom´atico, combinaci´on de sistemas Abstract: The results of many algorithms that are applied to natural language processing tasks depend on the availability of large linguistic resources from which they obtain the required knowledge to do their work. The existence of these resources determines the quality of the results, the general performance of the system and frequently both things. We are going to show some aspects that refer to the effort needed in the creation of these resources, and thus justify the attempts to develop methods that lighten this task, and also some proposals that have been made to solve this problem. These proposals can be considered alternatives to the problem we want to solve and they face it in very different manners, some of which could be adapted in our own implementations in a near future. Keywords: Resource generation, machine learning, system combination 1. Introducci´on Sin duda alguna el mayor problema que surge a la hora de afrontar la creaci´on de recursos ling¨u´ısticos es el esfuerzo que se requiere para obtener resultados de suficiente envergadura como para que les sean ´utiles a los algoritmos que los necesitan. General- ∗Parcialmente financiado por el Ministerio de Educaci´on y Ciencia (TIN2004-07246-C03-03). mente, un algoritmo de aprendizaje supervisado que hace uso de un corpus etiquetado para una determinada tarea, exige un n´umero muy alto de palabras o frases etiquetadas para ofrecer resultados que puedan ser considerados de calidad aunque esto depender´a del algoritmo en cuesti´on y de la tarea que se est´e afrontando. Si nos centramos en una tarea amplia- Procesamiento del Lenguaje Natural, nº39 (2007), pp. 173-180 recibido 18-05-2007; aceptado 22-06-2007 ISSN: 1135-5948 © 2007 Sociedad Española para el Procesamiento del Lenguaje Natural mente conocida dentro del procesamiento del lenguaje natural, como es la desambiguaci´on de significados, podemos hacernos una idea de este esfuerzo que estamos comentando. Se trata de una tarea que afronta el problema de seleccionar el significado de una palabra en un texto de entre todos los significados que posee. La ambig¨uedad es muy com´un aunque los humanos estamos tan acostumbrados a ella y tenemos tal capacidad de resolverla bas´andonos en el contexto de las palabras, que casi pasa desapercibida ante nuestros ojos. Para esta tarea se han desarrollado m´ultiples algoritmos con muy buenos resultados, aunque la disponibilidad de corpus etiquetados sigue constituyendo un problema. En (Ng, 1997) se realiz´o un estudio que asegura que para obtener una precisi´on buena se necesitan al menos 500 ejemplos por cada una de las palabras ambiguas a tratar (esta es una cifra que representa la media ya que hay diferencias considerables de una palabra a otra). A un ritmo de un ejemplo etiquetado por minuto y considerando la existencia de unas 20000 palabras ambiguas en el vocabulario ingl´es com´un, esto nos conducir´ıa a unas 160000 horas de etiquetado, que resultar´ıan en nada m´as y nada menos que 80 a˜nos de dedicaci´on exclusiva para una persona que lleve a cabo esta tarea de etiquetado. Si adem´as le a˜nadimos el hecho de que las tareas de etiquetado suelen ser llevadas a cabo por ling¨uistas entrenados o expertos, no cabe duda de que se trata de un proceso realmente caro y generalmente prohibitivo en la inmensa mayor´ıa de los casos. Todo esto supone una limitaci´on y termina por reducir el n´umero de ejemplos disponibles, afectando a la tarea en general y posiblemente al desarrollo de nuevas v´ıas de investigaci´on que puedan aportar mejoras en los resultados. De ah´ı que este sea el pun- to de partida de una linea de trabajo futuro que deseamos recorrer y de la que intentaremos extraer soluciones satisfactorias a este problema. A lo largo de los sucesivos cap´ıtulos veremos algunas t´ecnicas empleadas para crear recursos ling¨u´ısticos, comenzando en el cap´ıtulo 2 con un algoritmo que emplea consultas en buscadores web. En el cap´ıtulo 3 comentaremos las t´ecnicas de crowdsourcing, cuyo uso se est´a extendiendo con rapidez, mientras que en los cap´ıtulos 4 y 5 comentaremos m´etodos de combinaci´on e importaci´on de recursos respectivamente. En el cap´ıtulo 6 veremos las t´ecnicas de bootstrapping para finalizar con un cap´ıtulo dedicado a las conclusiones. 2. Empleando B´usquedas en la Web Una de las v´ıas que han surgido para intentar paliar los efectos del enorme esfuerzo requerido para la creaci´on de recursos, es el uso de la Web. El contenido de la Web puede ser considerado un enorme corpus que puede ser explotado para diversas tareas, si bien presenta una estructura y unos contenidos tan heterog´eneos que no siempre se sabe muy bien como sacarle partido a toda la informaci´on que posee. En (Mihalcea, 2002) podemos apreciar un magn´ıfico ejemplo de c´omo se puede hacer uso de la Web para obtener recursos ling¨u´ısticos a trav´es de los sistemas de b´usquedas que tenemos a nuestra disposici´on. La tarea que se afronta en este trabajo es la desambiguaci´on de significados y el sistema propuesto hace uso de diversos recursos disponibles como el corpus Sem- Cor (Miller, 1993) y la base de datos l´exica WordNet (Miller, 1995). El algoritmo se resume en la figura 1. Las semillas est´an formadas por m´ultiples unidades de palabras que contienen una palabra ambigua, de forma que la expresi´on por s´ı misma supone una restricci´on para el posible significado de la palabra en la que recae el inter´es. En este algoritmo se emplea un m´etodo para, utilizando WordNet, construir consultas que contengan sin´onimos o definiciones del significado de las palabras de inter´es y mediante los motores de b´usqueda disponibles en Internet, realizar dichas consultas para obtener textos relacionados con esas definiciones. En WordNet se buscan en primer lugar sin´onimos que sean monos´emicos, y si no existen, se buscan definiciones de la palabra. Al hacer la b´usqueda, se seleccionan las oraciones que contengan la definici´on o el sin´onimo y se sustituyen por la palabra original, obteni´endose un ejemplo de uso de dicha palabra con su significado. Una vez tenemos las expresiones encontradas tras explorar la web haciendo uso de las semillas, se aplica un algoritmo iterativo de desambiguaci´on mediante varios procedimientos cuyas claves se resumen en: Fernando Enriquez, Jose Antonio Troyano, Fermin Cruz y F. Javier Ortega 174 1. Crear un conjunto de semillas, compuestas por: 1.1 Ejemplos de SemCor. 1.2 Ejemplos de WordNet. 1.3 Ejemplos etiquetados creados mediante b´usquedas en la web de sin´onimos monos´emicos o definiciones de la palabra. 1.4 Ejemplos adicionales etiquetados manualmente (si est´an disponibles). 2. Realizar b´usquedas en la Web utilizando las expresiones de las semillas. 3. Desambiguar las palabras en un contexto cercano al texto que rodea las expresiones de las semillas. Agregar los ejemplos formados con las palabras desambiguadas al conjunto de las semillas. 4. Volver al paso 2. Figura 1: Algoritmo de b´usquedas en la web. 1. Localizar las entidades, como nombres de personas, lugares y organizaciones, y marcar su significado. 2. Localizar las palabras monos´emicas y marcar su significado. 3. Para cada palabra se forman pares con la palabra dada y la anterior y posterior. Si en el corpus SemCor aparecen dichos pares suficientes veces (superior a un umbral preestablecido) y siempre con el mismo significado, se le asigna dicho significado a la palabra. 4. Para los sustantivos se crea un contex- to, conteniendo los sustantivos que suelen aparecer cerca por cada significado posible. Luego se compara con el contexto actual del sustantivo y se escoge el significado m´as parecido. 5. Se buscan conexiones sem´anticas entre palabras, por lo que, si una palabra tiene un significado que la convierte en sin´onima de otra ya desambiguada, se le asigna dicho significado. Tambi´en se estudian relaciones de hiperonimia e hiponimia y se buscan conexiones entre palabras estando ambas sin desambiguar. Los experimentos realizados para medir la calidad de los corpus que se obtienen mediante este algoritmo, demuestran que se obtienen resultados comparables a los adquiridos a trav´es del uso de corpus etiquetados manualmente. Concretamente, los autores hicieron experimentos con diversas herramientas de etiquetado sem´antico, utilizando un corpus etiquetado manualmente y por otro lado, el corpus obtenido autom´aticamente mediante este algoritmo. La precisi´on alcanzada cuando se usaba el corpus autom´atico era a veces incluso mejor que la obtenida con las mismas herramientas pero utilizando el corpus manual. 3. El Crowdsourcing El crowdsourcing es un t´ermino acu˜nado recientemente y que constituye un paso adelante tras el outsourcing. Este ´ultimo est´a basado en la delegaci´on de ciertas tareas en determinadas entidades externas para ahorrar costes y simplificar el proceso de desarrollo en un proyecto (generalmente las empresas han estado fijando las miradas en India o China). Las nuevas posibilidades de ahorro en este entorno es posible que se encuentren en el trabajo disperso y an´onimo de multitud de internautas que desarrollan tareas de mayor o menor valor para una organizaci´on que sepa llamar su atenci´on de alguna de entre tantas formas posibles. Esta forma de recopilar el esfuerzo y orientarlo hacia la consecuci´on de alg´un objetivo relacionado con el desarrollo de alguna tarea en concreto se denomina crowdsourcing 1. El precursor de este t´ermino es Jeff Howe, qui´en en (Howe, 2006) comenta varios ejemplos en los que se ha aplicado esta forma de trabajo. En dicho art´ıculo comienza comentando un caso particular referente a un fot´ografo profesional que pierde un cliente al descubrir este que puede comprar fotos a trav´es de iStockPhoto a un precio mucho menor (el cliente solo buscaba fotos de gente enferma para un trabajo que estaba realizando). En este portal se publican un numero muy grande de fotos realizadas por amateurs y que son muy ´utiles en muchos casos sin necesidad de pagar el alto precio 1Del ingl´es ‘crowd’ que significa multitud y ‘source’ que significa fuente Generación Semiautomática de Recursos 175 que cobrar´ıa un profesional al que le encargase el trabajo de forma directa. Es un ejemplo m´as en el que el trabajo de miles de personas puede ser aprovechado cambiando un escenario empresarial que parec´ıa en principio inquebrantable. De esta forma cada participante puede publicar todo tipo de fotos cobrando muy poco por cada una pero con la capacidad de ponerlas al alcance de cualquiera que est´e conectado a Internet. Es- to lleva al autor a decir: Welcome to the age of the crowd. Just as distributed computing projects like UC Berkeley’s SETI@home have tapped the unused processing power of millions of individual computers, so distributed labor networks are using the Internet to exploit the spare processing power of millions of human brains. En la misma l´ınea de este ejemplo que acabamos de comentar, hallamos multitud de proyectos, sistemas y aplicaciones que intentan sacar partido de todo este potencial, por ejemplo, la wikipedia, una enciclopedia que se extiende r´apidamente entre las preferencias de los usuarios de Internet, y que est´a hecha mediante la contribuci´on an´onima de todos los que quieran aportar su grano de arena a esta recopilaci´on de conocimiento. Tambi´en lo vemos en los programas de televisi´on que se basan estrictamente en mostrar el material creado por los propios telespectadores (emitiendo sus videos caseros, composiciones musicales, etc) y que obtienen en muchos casos cifras de audiencia espectaculares sin apenas suponerle ning´un coste a la cadena. Otros ejemplos pueden ser, el proyec- to InnoCentive, a trav´es del cu´al se publican problemas de cierta dificultad t´ecnica o cient´ıfica que le surgen a todo tipo de empresas, de forma que cualquiera puede intentar darle soluci´on (recibiendo grandes recompensas econ´omicas) o el Turco Mec´anico de Amazon, a trav´es del cu´al todo el mundo puede cobrar una peque˜na cantidad de dinero por realizar tareas muy simples sin necesidad de una gran preparaci´on previa. La iniciativa ‘Open Mind’ (Stork, 1999) es el resultado de aplicar esta idea a la generaci´on de recursos ling¨u´ısticos. La idea b´asica es utilizar la informaci´on y el conocimiento que se puede obtener a partir de los millones de usuarios de Internet con el objetivo de crear aplicaciones m´as inteligentes. Dentro de esta iniciativa se encuentran diversos proyectos relacionados con el lenguaje natural como Open Mind Word Expert (Mihalcea, 2003), centrado en la desambiguaci´on de significados (generando corpus anotados sem´anticamente por los usuarios) y Open Mind Common Sense (Singh, 2002) que se centra en la adquisici´on del sentido com´un para generar un corpus textual. 4. La Combinaci´on de Recursos Otra estrategia que podemos encontrar en la bibliograf´ıa para generar corpus es la combinaci´on de recursos ya existentes, de manera que se enriquezcan unos con otros aumentando su valor al ser considerados de forma global. Un ejemplo muy clarificador lo podemos encontrar en (Shi, 2005), donde se combinan FrameNet, VerbNet y WordNet. Vamos a comentar brevemente el contenido de estos recursos para luego comprender c´omo se combinan creando un recurso unificado. La primera pieza de este puzzle parte de WordNet. Es una gran base de datos l´exica con mucha informaci´on sobre palabras y conceptos. Este es el recurso utilizado para identificar caracter´ısticas sem´anticas superficiales que pueden asociarse a unidades l´exicas. En WordNet se cubren la gran mayor´ıa de nombres, verbos, adjetivos y adverbios del ingl´es. Las palabras se organizan en conjuntos de sin´onimos (llamados ‘synsets’) que representan conceptos. FrameNet por su parte es un recurso que contiene informaci´on sobre diferentes situaciones, llamadas ‘frames’. Cada frase etiquetada en FrameNet representa una posible construcci´on sint´actica para los roles sem´anticos asociados con un frame para una determinada palabra. Solemos referirnos al conocimiento que aporta WordNet como conocimiento a nivel de palabra (word-level knowledge), mientras que FrameNet y VerbNet hacen referencia al conocimiento a nivel de frase (sentence-level knowledge). Y finalmente Verbnet es un recurso l´exico de verbos basado en las clases de verbos de Levin, y que tambi´en aporta restricciones selectivas asociadas a los Fernando Enriquez, Jose Antonio Troyano, Fermin Cruz y F. Javier Ortega 176 roles sem´anticos. Identificando la clase de VerbNet que se corresponde con un frame de FrameNet, se pueden analizar sint´acticamente frases que incluyen verbos que no est´an cubiertos a´un por FrameNet. Se puede hacer esto gracias a que existe una relaci´on transitiva entre las clases de VerbNet (los verbos que pertenecen a la misma clase en Verb- Net tienen una alta probabilidad de compartir el mismo frame en FrameNet, y por lo tanto se pueden analizar sem´anticamente aunque no aparezcan expl´ıcitamente en FrameNet). Dados estos tres recursos, se pueden combinar de manera que se pueda trabajar con todos ellos a la vez, en lugar de estar obligados a elegir s´olo uno renunciando a la informaci´on que aportan los otros. Las caracter´ısticas que permiten llevar a cabo esta uni´on son las siguientes: FrameNet no define expl´ıcitamente restricciones de selecci´on para los roles sem´anticos. Adem´as, la construcci´on de FrameNet requiri´o de un gran esfuerzo humano por lo que la cobertura y escalabilidad se han visto seriamente afectadas. VerbNet sin embargo tiene mucha mejor cobertura y define relaciones sintacticosem´anticas de una manera m´as expl´ıcita. VerbNet etiqueta roles tem´aticos y proporciona restricciones de selecci´on para los argumentos de los marcos sint´acticos. WordNet por su parte cubre casi al completo todos los verbos del ingl´es y aporta una gran informaci´on sobre las relaciones sem´anticas entre los sentidos de los verbos. De todas formas, la construcci´on de WordNet est´a basada en el significado de los verbos y no incluye el comportamiento sint´actico o sem´antico de los mismos (como pueden ser las estructuras de tipo predicado-argumento). Una vez analizado el contenido de estos tres recursos, la combinaci´on de la informaci´on codificada en cada uno de ellos pasa por: Aumentar la sem´antica de los marcos con las clases de VerbNet etiquetando los marcos y los roles sem´anticos de FrameNet con las entradas de VerbNet y sus argumentos correspondientes. Tambi´en se extiende la cobertura de los verbos de FrameNet haciendo uso de las clases de VerbNet y las relaciones de sinonimia e hiponimia de los verbos de WordNet. Adem´as, se identifican las conexiones expl´ıcitas entre los roles sem´anticos y las clases sem´anticas, codificando restricciones de selecci´on para los roles sem´anticos mediante la jerarqu´ıa de nombres de WordNet. La construcci´on de recursos ling¨u´ısticos requiere un gran esfuerzo humano y cada recurso est´a pensado para solucionar un determinado tipo de problemas, mostrando virtudes en ciertos aspectos y desventajas en otros. De esta forma, la combinaci´on de estos recursos puede dar lugar a una base de conocimiento m´as extensa y m´as rica. En (Shi, 2005) hemos visto como se mejora la cobertura de FrameNet, se mejora VerbNet con la sem´antica de los marcos y se implementan las restricciones de selecci´on haciendo uso de las clases sem´anticas existentes en WordNet. 5. Importando Recursos Cercanos Cuando queremos afrontar la tarea de crear un recurso ling¨u´ıstico, una posibilidad que tenemos al alcance de nuestra mano en muchos casos, es adaptar otro recurso “cercano” al que deseamos crear. Es la opci´on elegida por ejemplo en (Carreras, 2003), donde se construye un reconocedor de entidades con nombre para el catal´an partiendo de recursos en castellano. Se emplean dos v´ıas para lograrlo: en primer lugar creando los modelos para el espa˜nol para posteriormente traducirlos al catal´an, y en segundo lugar crear los modelos de forma biling¨ue directamente. La cercan´ıa en este caso se presenta ya que se trata de dos lenguas rom´anicas que poseen estructuras sint´acticas similares y cuyos entornos sociales y culturales se solapan en gran medida, haciendo que exista un gran n´umero de entidades que aparecen en los corpus de ambas lenguas. Estas caracter´ısticas hacen que los recursos en espa˜nol sean aprovechables para llevar a cabo tareas sobre el catal´an como puede ser el reconocimiento de entidades con nombre. Generación Semiautomática de Recursos 177 Para el estudio que se llev´o a cabo en este caso, se asumen dos puntos: las entidades aparecen en los mismos contextos para ambas lenguas y las entidades responden a los mismos patrones en ambos casos. Adem´as de esto se construye un diccionario sencillo de palabra a palabra sin tener en cuenta el contexto (10 horas de trabajo para la version catalan-espa˜nol y un sistema autom´atico para la versi´on espa˜nol-catal´an). Teniendo en cuenta estas premisas se llevan a cabo varios experimentos sobre el reconocimiento de entidades con nombre en catal´an partiendo de corpus etiquetados ´unicamente en espa˜nol. La primera opci´on es traducir el modelo que se genera al entrenar con los textos en espa˜nol, de manera que se analizan los ´arboles de decisi´on generados para su posterior modificaci´on. Si un nodo del ´arbol analiza la posibilidad de que en la posici´on -2 aparezca la palabra “calle”, se traduce dicho nodo haciendo lo mismo para la palabra “carrer” (traducci´on del espa˜nol al catal´an). De esta forma se puede aplicar un modelo creado mediante corpus en espa˜nol a un texto en catal´an. La traducci´on se har´a en todos los nodos que analicen caracter´ısticas l´exicas del texto, mientras que los dem´as permanecer´an intactos. Una segunda opci´on es utilizar caracter´ısticas biling¨ues (denominadas cross-linguistic features) basadas en una entrada del diccionario “es w∼ca w” (suponiendo que existe un par´ametro ‘lang’ de valor ‘es’ para el espa˜nol y ‘ca’ para el catal´an). Estas caracter´ısticas binarias se comportan de la siguiente forma: X-Linges w∼ca w (w) = =   1 if w= es w and lang = es 1 if w= ca w and lang = ca 0 otherwise De esta forma se puede entrenar el modelo con ejemplos mezclados en ambos idiomas, pudiendo seleccionar el n´umero de ejemplos de cada caso y permitiendo por ejemplo que haya un n´umero muy reducido de ejemplos en catal´an para este escenario en concreto. El resultado es un modelo que puede reconocer entidades tanto en espa˜nol como en catal´an. La tercera opci´on consiste por ´ultimo en crear el modelo entrenando con un peque˜no corpus del idioma para el que se desea ejecutar el reconocedor, en este caso, el catal´an. En este trabajo se hizo empleando el mismo esfuerzo que se realiz´o para crear el diccionario, es decir, unas 10 horas de trabajo, obteniendo un peque˜no corpus etiquetado. Los resultados aportados (Carreras, 2003) demuestran que la tercera opci´on es la que peor responde ya que es preferible traducir los modelos o crearlos de forma que sean biling¨ues, antes que aprender de un n´umero tan reducido de ejemplos. En cuanto a las otras dos opciones, la segunda se revela como la m´as interesante ya que, aunque sobre el espa˜nol se obtienen mejores resultados con el modelo entrenado ´unicamente con ejemplos en espa˜nol, la opci´on de crear un modelo biling¨ue no est´a muy lejos en cuanto a n´umeros en espa˜nol y supera de forma considerable a los dem´as en catal´an. Estos experimentos demuestran que se pueden aprovechar recursos “cercanos” a los que necesitamos para llevar a cabo tareas obteniendo buenos resultados con un coste bastante reducido (sobre todo en comparaci´on al que habr´ıa que afrontar creando nuevos recursos desde cero). Concretamente las conclusiones aportadas por los autores de este trabajo son las siguientes: Es mejor traducir un modelo entrenado en espa˜nol que crear un peque˜no corpus anotado con el que entrenar el modelo directamente en catal´an. La traducci´on se puede llevar a cabo de forma autom´atica sin p´erdida considerable de efectividad en el proceso. La mejor opci´on ha resultado ser el uso de caracter´ısticas biling¨ues ya que permite obtener resultados favorables en ambos idiomas. La expansi´on de esta idea puede venir en forma de aplicaciones de apoyo m´as complejas y que ayuden a acercar recursos que no est´en tan estrechamente ligados como los que aqu´ı se han comentado. 6. T´ecnicas de Bootstrapping En otros trabajos se pone en pr´actica otra t´ecnica de obtenci´on de recursos muy interesante. Se trata de las t´ecnicas de bootstrapping, que tratan de obtener una gran cantidad de material partiendo de una peque˜na Fernando Enriquez, Jose Antonio Troyano, Fermin Cruz y F. Javier Ortega 178 “semilla”. En la tarea de la creaci´on de corpus etiquetados, el objetivo ser´a obtener un gran n´umero de frases etiquetadas de forma autom´atica partiendo de un n´umero muy reducido de frases etiquetadas manualmente (por lo que el coste es muy bajo en comparaci´on con el etiquetado manual completo). Existen m´ultiples t´ecnicas de bootstrapping, que difieren en la forma de aumentar la semilla, el manejo de las frases nuevas etiquetadas o las t´ecnicas de selecci´on en caso de utilizarse alguna. En cualquier caso todas responden a la definici´on: “la elevaci´on de un peque˜no esfuerzo inicial hacia algo m´as grande y m´as significativo”. Algunos de los esquemas de ejecuci´on m´as populares dentro de las conocidas como t´ecnicas de bootstrapping son: Self-train: Un corpus es utilizado para crear un modelo que se aplica a un conjunto nuevo de frases que tras ser etiquetadas pasan a formar parte del corpus original para volver a generar un nuevo modelo y avanzar de esta forma iterativamente. Figura 2: Esquema de ejecuci´on para el ‘selftrain’. Esta es la definici´on de self-training que generalmente se adopta, como en (Clark, 2003), aunque existen otras como la que aporta (Ng, 2003), donde se describe como el entrenamiento de un comit´e de clasificadores utilizando bagging para finalmente utilizar la votaci´on por mayor´ıa para seleccionar las etiquetas finales. Collaborative-train: Se emplea un mismo corpus para obtener diferentes modelos empleando diferentes t´ecnicas de aprendizaje. Posteriormente se introduce una fase de selecci´on entre las diferentes opiniones que surgen de aplicar estos modelos al conjunto de frases nuevas y las etiquetas seleccionadas sirven para aumentar el corpus original y proseguir con la siguiente iteraci´on. Figura 3: Esquema de ejecuci´on para el ‘collaborative-train’. Co-train: Dos corpus inicialmente iguales sirven para crear dos modelos de diferentes caracter´ısticas y los resultados de aplicar estos modelos a un conjunto de frases nuevas se “cruzan”, es decir, las frases etiquetadas por el primer modelo sirven para aumentar el corpus que sirvi´o para crear el segundo modelo y viceversa. De esta forma un modelo no se alimenta ´unicamente de su percepci´on del corpus sino que recibe informaci´on de otro modelo que imprime otro punto de vista diferente a la resoluci´on del mismo problema. Figura 4: Esquema de ejecuci´on para el ‘cotrain’. En (Jones, 1999) se presentan dos casos de estudio para el uso de t´ecnicas de bootstrapping en la creaci´on de recursos. Se trata de un reconocedor de localizaciones y un clasificador de art´ıculos de investigaci´on. En ambos casos se obtienen muy buenos resultados, mostrando la utilidad de este tipo de t´ecnicas. Generación Semiautomática de Recursos 179 Otro aspecto importante a tener en cuenta es que se hace pr´acticamente imposible mejorar el resultado de un clasificador si los resultados que alcanza son demasiado buenos. En estos casos la aplicaci´on de estas t´ecnicas se limitar´a a introducir ruido y empeorar la calidad del trabajo resultante. Es por lo tanto necesario reservar este tipo de t´ecnicas a trabajos “dif´ıciles” como puede ser aumentar un corpus que solo contiene un n´umero limitado de frases inicialmente, teniendo en cuenta que si el tama˜no inicial es suficiente para obtener buenos resultados, dif´ıcilmente podremos mejorarlos aplicando bootstrapping. 7. Conclusiones La disponibilidad de recursos es un factor crucial en muchas de las tareas del Procesamiento del Lenguaje Natural que se resuelven fundamentalmente mediante m´etodos de aprendizaje supervisado. La obtenci´on de estos recursos es una labor muy costosa, de ah´ı que se lleven a cabo esfuerzos para desarrollar m´etodos que desempe˜nen esta labor de forma autom´atica o semi-autom´atica. Hemos presentado varias iniciativas ya existentes, mostrando las caracter´ısticas propias de cada una de ellas y reflejando diferentes enfoques que creemos pueden llegar a compaginarse en un entorno que facilite la tarea de la generaci´on de recursos. Este es el pun- to de partida de una linea de trabajo futuro que deseamos recorrer y de la que intentaremos extraer soluciones satisfactorias a este problema. Bibliograf´ıa H.T. Ng: Getting serious about word sense disambiguation. In Proceedings of the ACL SIGLEX Workshop on Tagging Text with Lexical Semantics: Why, What, and How?. (1997) 1–7 R. Mihalcea: Bootstrapping Large Sense Tagged Corpora. In Proceedings of the 3rd International Conference on Languages Resources and Evaluations. (2002) G. Miller, C. Leacock, T. Randee, R. Bunker: A semantic concordance. In Proceedings of the 3rd DARPA Workshop on Human Language Technology. (1993) 303–308 G. Miller: Wordnet: A lexical database. Communication of the ACM,38(11). (1995) 39– 41 J. Howe: The rise of crowdsourcing. Wired - 14.06 http://www.wired.com /wired/archive/14.06/crowds.html. (2006) 17–20 D. Stork: The Open Mind initiative. IEEE Expert Systems and Their Applications, 14(3). (1999) 19–20 R. Mihalcea, T. Chklovski: Open Mind Word Expert: Creating Large Annotated Data Collections with Web Users’ Help. In Proceedings of the EACL 2003 Workshop on Linguistically Annotated Corpora (LINC 2003). (2003) 17–20 P. Singh, T. Lin, E. Mueller, G. Lim, T. Perkins, W. Li Zhu: Open mind common sense: Knowledge acquisition from the general public. In Proceedings of the First International Conference on Ontologies, Databases, and Applications of Semantics for Large Scale Information Systems. (2002) Lei Shi, Rada Mihalcea: Putting Pieces Together: Combining FrameNet, VerbNet and WordNet for Robust Semantic Parsing. In Proceedings of the Sixth International Conference on Intelligent Text Processing and Computational Linguistics. (2005) Xavier Carreras, Llu´ıs M`arquez, Llu´ıs Padr´o: Named Entity Recognition for Catalan Using Spanish Resources. In 10th Conference of the European Chapter of the Association for Computational Linguistics. (2003) S. Clark, J. R. Curran, M. Osborne: Bootstrapping POS taggers using Unlabelled Data. In Proceedings of CoNLL-2003. (2003) 49–55 V. Ng, C. Cardie: Weakly supervised natural language learning without redundant views. In Human Language Technology/Conference of the North American Chapter of the Association for Computational Linguistics. (2003) Rosie Jones, Andrew McCallum, Kamal Nigam, Ellen Riloff: Bootstrapping for Text Learning Tasks. In IJCAI-99 Workshop on Text Mining: Foundations, Techniques and Applications. (1999) Fernando Enriquez, Jose Antonio Troyano, Fermin Cruz y F. Javier Ortega 180