Inducción de un Lexicón de Opinión Orientado al Dominio

Inducci´on de un Lexic´on de Opini´on Orientado al Dominio∗ Inference of a Domain-Oriented Opinion Lexicon Ferm´ın Cruz, Jos´e A. Troyano, Javier Ortega, Carlos G. Vallejo Lenguajes y Sistemas Inform´aticos Universidad de Sevilla Avda. Reina Mercedes s/n 41012 Sevilla {fcruz,troyano,javierortega,vallejo}@us.es Resumen: En el presente trabajo mostramos la metodolog´ıa utilizada para la construcci´on de un lexic´on en ingl´es compuesto de adjetivos y sus orientaciones sem´anticas. En lugar de calcular un ´unico valor por t´ermino, inducimos un conjunto de valores que codifican la orientaci´on sem´antica de un t´ermino cuando es utilizado en distintos dominios. La generaci´on autom´atica del recurso se ha basado en la construcci´on de grafos (uno por dominio) a partir de expresiones conjuntivas entre adjetivos observadas en un corpus de reviews de productos. Posteriormente aplicamos a dichos grafos una versi´on modificada del algoritmo PageRank adaptada a la utilizaci´on en grafos con aristas con pesos positivos y negativos. El m´etodo ha sido evaluado utilizando el recurso Micro-WNOp, obteniendo resultados similares o incluso superiores a los de otros trabajos recientes. Palabras clave: Miner´ıa de opiniones, an´alisis de sentimiento, generaci´on de recursos, algoritmos basados en grafos Abstract: In this paper we explain the building of an English lexicon of adjectives and their semantic orientations. Rather than defining the semantic orientation of a term as a single value, we induce many real values representing the semantic orientation of that term being used in different domains. The automatic building of this resource has been based on the construction of graphs from conjunctive expressions between adjectives observed in a review corpus. A modified PageRank algorithm, adapted to be used with graphs with positive and negative edges, was applied to these graphs to obtain the values for the semantic orientation of terms. The method has been evaluated using Micro-WNOp, getting similar results or even better than those reported by some recent papers. Keywords: Opiniong mining, sentiment analysis, resources generation, graph-based algorithms 1. Introducci´on Dentro de la disciplina del Procesamiento del Lenguaje Natural (PLN), los trabajos relacionados con textos de car´acter subjetivo en los que se vuelcan opiniones o afectos, se ven obligados a tratar con algunas dificultades adicionales, adem´as de los problemas comunes al resto de las tareas del PLN. En los ´ultimos a˜nos ha crecido exponencialmente el inter´es de la comunidad en este tipo de tareas, conocidas en su conjunto como opinion mining osentiment analysis (Pang y Lee, ∗Parcialmente financiado por el proyecto CICYT HUM2007-66607-C04-04. 2008). Tareas como la clasificaci´on de documentos basada en la opini´on, la extracci´on de opiniones o el resumen de textos de opini´on requieren la resoluci´on de algunas subtareas clave. Una de estas subtareas es el c´alculo de la orientaci´on sem´antica de una palabra o conjunto de palabras, entendida como un valor num´erico, discreto o continuo, que codifica la polaridad (y en su caso la intensidad) de las implicaciones afectivas positivas o negativas de la expresi´on considerada (usaremos los t´erminos positividad ynegatividad para referirnos a dichas implicaciones). Por ejemplo, la palabra bueno tiene una orientaci´on sem´antica positiva de gran intensidad. Si opt´asemos Procesamiento del Lenguaje Natural, núm. 43 (2009), pp. 5-12 recibido 1-05-2009; aceptado 5-06-2009 ISSN: 1135-5948 © 2009 Sociedad Española para el Procesamiento del Lenguaje Natural por expresarla como es habitual, mediante un valor real entre -1 y 1, podr´ıamos asignarle un valor cercano o igual a 1. De igual forma, seguramente asignar´ıamos a la palabra malo un valor cercano o igual a -1, mientras que aceptable tendr´ıa un valor positivo, pero de menor magnitud. Como primer paso hacia la construcci´on de un sistema de extracci´on de opiniones de reviews de productos (Ding, Liu, y Yu, 2008; Liu, 2006), nos planteamos el problema del c´alculo de las orientaciones sem´anticas. En la mayor´ıa de los trabajos revisados, se construye un lexic´on en el que se recogen palabras de opini´on (generalmente adjetivos) y se calculan sus orientaciones sem´anticas mediante distintas aproximaciones (ver secci´on 2). En todos estos trabajos se establece un valor ´unico, independiente del contexto, para la orientaci´on sem´antica. Esto es, se parte de una presunci´on de independencia entre el contexto de aplicaci´on y las implicaciones positivas o negativas de las palabras de opini´on. Esta premisa est´a claramente invalidada por las observaciones realizadas por los distintos investigadores en el ´area; parece claro que la orientaci´on sem´antica de un t´ermino queda definida, adem´as de por el propio t´ermino, por el dominio de aplicaci´on del mismo y por el contexto local en el que se aplica. Por ejemplo, el adjetivo impredecible tiene implicaciones negativas cuando se aplica a la respuesta en la conducci´on de un coche, e implicaciones positivas cuando se aplica al gui´on de una pel´ıculaoalatrama de un libro. Otros ejemplos de esta dependencia entre la orientaci´on sem´antica y el dominio de aplicaci´on ser´ıan aquellos adjetivos relacionados con el tama˜no (una habitaci´on de hotel es deseable que sea cuanto m´as grande mejor, mientras que un port´atil demasiado grande no ser´a del gusto de los usuarios) o aquellos relacionados con el sonido emitido por un dispositivo (se espera de un electrodom´estico que sea silencioso, pero no de un dispositivo GPS con voz). En el presente trabajo definimos la orientaci´on sem´antica de un t´ermino como un conjunto de valores reales, entre -1 y 1, cada uno de los cuales informa de las implicaciones afectivas negativas o positivas del t´ermino en cuesti´on cuando es aplicado a un dominio determinado. Ya que pretendemos utilizar el lexic´on en la construcci´on de un sistema de extracci´on de opiniones de reviews de productos, hemos utilizado como dominios los distintos tipos de productos a incluir en nuestro sistema (en principio, utilizaremos las categor´ıas definidas en la web de la que hemos extra´ıdo el corpus). Otras dimensiones necesarias para contextualizar completamente la utilizaci´on de un t´ermino (por ejemplo, la caracter´ıstica concreta de un producto sobre el que se est´a expresando una opini´on) han sido obviadas en este trabajo, y ser´an abordadas en futuras ampliaciones de las ideas aqu´ı descritas. 2. Trabajos relacionados Han sido muchos los autores que han afrontado el c´alculo de la orientaci´on sem´antica, ya sea con la intenci´on de construir un diccionario de orientaciones sem´anticas o como componente de sistemas de clasificaci´on de documentos basada en la opini´on o de extracci´on de opiniones. Exponemos a continuaci´on algunos de los trabajos que nos han servido de inspiraci´on. En Hatzivassiloglou y McKeown (1997) se utilizan las apariciones de conjunciones entre adjetivos de un corpus para generar un grafo. La aparici´on de dos adjetivos coordinados mediante la conjunci´on and sugiere que ambos comparten la misma orientaci´on sem´antica. De forma an´aloga, la coordinaci´on de adjetivos mediante but sugiere orientaciones sem´anticas contrarias. Aplicando un algoritmo de clustering al grafo consiguen generar listas de adjetivos con orientaciones sem´anticas positivas y negativas. En Hu y Liu (2004) se propone un sistema de extracci´on y resumen de opiniones de reviews de productos. Para la determinaci´on de la polaridad de la orientaci´on sem´antica de las palabras de opi- ni´on (s´olo se tienen en cuenta los adjetivos), se propone un algoritmo basado en las relaciones de sinonimia y antonimia de WordNet (Fellbaum, 1998). N´otese que tanto en este trabajo como en el anterior, las orientaciones sem´anticas calculadas son binarias, esto es, un t´ermino es clasificado como positivo o negativo, sin entrar a considerar la intensidad de la orientaci´on. En Kamps et al. (2004) se propone la construcci´on de un lexic´on de orientaciones sem´anticas de adjetivos basado tambi´en en WordNet. Las distancias del adjetivo a clasificar a las palabras good ybad utilizando las relaciones de sinonimia son utilizadas para calcular un valor real entre -1 y 1. En Ding, Liu, y Yu (2008) se describe un sistema de Fermín Cruz, José A. Troyano, Javier Ortega y Carlos G. Vallejo 6 Procesamiento del Lenguaje Natural, núm. 43 (2009) extracci´on y resumen de opiniones evolucionado del propuesto en Hu y Liu (2004). Para la determinaci´on de la orientaci´on sem´antica de las opiniones, se parte del conjunto inicial de valores generados en dicho trabajo. Dichos valores son contextualizados y corregidos sobre la marcha al evaluar la orientaci´on sem´antica de todas las opiniones aparecidas en un documento. Para ello, se utilizan reglas sint´acticas basadas en las conjunciones, usando las mismas suposiciones que Hatzivassiloglou y McKeown (1997). Estas reglas se aplican sobre reviews del mismo produc- to. De esta manera se consigue adaptar las orientaciones sem´anticas iniciales al dominio en que se est´a trabajando. Por tanto este trabajo tiene en cuenta el contexto a la hora de evaluar la orientaci´on sem´antica de las palabras de opini´on, pero lo hace on-the-fly,de manera inseparable al sistema de extracci´on de opiniones. En Esuli y Sebastiani (2007), se aplica una versi´on modificada del algoritmo PageRank (Page et al., 1998) (ver secci´on 3.3) a una red de adjetivos construida a partir de las relaciones de hiponimia de WordNet. En la versi´on propuesta del algoritmo, se otorga cierta importancia a priori a algunos nodos de la red, de manera que dichos nodos tender´an a alcanzar una puntuaci´on mayor que los dem´as tras la ejecuci´on del algoritmo PageRank, y propagar´an parte de esa puntuaci´on a sus vecinos. En una primera pasada, los nodos correspondientes a las semillas negativas son resaltados, obteni´endose con ello una puntuaci´on para el algoritmo PageRank modificado que indica la negatividad de los adjetivos de la red. Posteriormente se realiza una segunda pasada del algoritmo resaltando los nodos correspondientes a las semillas positivas, obteniendo con ello una puntuaci´on de positividad para los adjetivos. El uso de PageRank como evaluador de la orientaci´on sem´antica en lugar de medidas de distancia a las semillas como las utilizadas en Kamps et al. (2004), tiene en cuenta en la evaluaci´on de cada nodo tanto las puntuaciones del resto de los nodos de la red como la propia topolog´ıa de la misma. Es por ello la propuesta que nos parece m´as interesante para construir los lexicones de opini´on de cada dominio. En la secci´on 3.3 proponemos una nueva modificaci´on del algoritmo PageRank adaptada a nuestro problema. 3. Construcci´on del lexic´on 3.1. Corpus de reviews de productos Como base para la construcci´on autom´atica del lexic´on, hemos utilizado reviews de productos de diversa ´ındole extra´ıdos de la web Epinions1. Este portal ofrece documentos de evaluaci´on de productos (reviews)escritos por usuarios, ordenados por categor´ıas que van desde aparatos electr´onicos a hoteles, pasando por libros o pel´ıculas. Para cada uno de los reviews, se dispone de una puntuaci´on de 1 a 5 otorgada al producto por el autor del mismo. Esta puntuaci´on puede ser utilizada para realizar experimentos de clasificaci´on de documentos basada en la opini´on, aunque ´este no es el objetivo del presente trabajo. Empleamos la herramienta WebHarvest2 para programar el robot que se encarg´ode la construcci´on del corpus. Las expresiones XPath necesarias para la extracci´on de los distintos apartados de cada review fueron obtenidas mediante un plug-in del navegador Firefox, de nombre Solvent3. El resultado obtenido consiste en un corpus de m´as de 134 millones de palabras, formado por casi 234.000 reviews de 84 dominios distintos. En la tabla 1 se muestran algunos de los dominios del corpus, junto con el n´umero de reviews contenidos en el dominio y la distribuci´on de los mismos con respecto a los 5 valores posibles de evaluaci´on asignados por los usuarios. Como puede observarse, algunos dominios presentan un fuerte desequilibrio entre reviews negativos y positivos, lo que puede reflejarse en la distribuci´on entre t´erminos negativos y positivos contenidos en el lexic´on que generemos. Los textos contenidos en los reviews fueron procesados a trav´es de un pipeline de procesamiento ling¨u´ıstico implementado en UIMA (Ferrucci y Lally, 2004), que consta de tokenizador, sentence splitter, etiquetador morfosint´actico y lematizador basados en FreeLing (Atserias et al., 2006), un analizador sint´actico superficial basado en Yamcha (Kudo y Matsumoto, 2003) y un analizador de dependencias basado en Minipar (Lin, 1998). 1www.epinions.com 2http://web-harvest.sourceforge.net/ 3http://simile.mit.edu/wiki/Solvent Inducción de un Lexicón de Opinión Orientado al Dominio 7 Procesamiento del Lenguaje Natural, núm. 43 (2009) Dominio reviews 1 2 3 4 5 Aerol´ıneas 7.107 23 12,7 12,6 23,7 28,1 Libros 11.520 7,08 7,88 1,28 8,57 75,2 Videojuegos 13.625 3,95 7,24 11,7 32 45,2 Destinos tur´ısticos 32.879 3,22 4,05 7,89 27,7 57,1 C´amaras digitales 13.602 7,8 4,91 7,94 29,9 49,5 Reproductores DVD 8.027 15,5 7,92 9,16 31,1 36,3 Tel´efonos m´oviles 7.868 9,02 9,29 12 34,3 35,3 Hoteles 6.171 22,5 12,5 5,77 13,2 46,1 Pel´ıculas 14.217 21,3 8,26 5,34 8,5 56,6 Reproductores MP3 7.582 11,5 6,55 10,2 30,9 41 M´usica 14.638 4,71 6,63 1,41 10,3 77 Impresoras 3.925 23,5 10 9,38 21,4 35,8 Coches 23.180 3,74 3,91 6,79 26,2 59,3 ... ... ... ... ... ... ... Cuadro 1: Distribuci´on de puntuaciones asignadas a reviews por dominios en el corpus 3.2. Construcci´on del grafo Para cada uno de los 82 dominios con los que trabajamos, generamos un grafo a partir de las construcciones conjuntivas entre adjetivos observadas en los textos de los reviews. Son estos adjetivos los que aparecen recogidos en el lexic´on. Las aristas que conectan los nodos indican la aparici´on de ambos t´erminos en alguna construcci´on conjuntiva. Los pesos de dichas aristas expresan, dependiendo del signo, cierta probabilidad de que ambos nodos tengan orientaciones sem´anticas iguales u opuestas. Utilizamos patrones de extracci´on simples para detectar las relaciones conjuntivas entre adjetivos que aparecen en los textos. Diremos que la relaci´on sem´antica es directa cuando ambos adjetivos compartan la misma orientaci´on sem´antica, e inversa cuando posean orientaciones sem´anticas opuestas. En los ejemplos 1 y 2 se muestran apariciones en el corpus de relaciones conjuntivas directas e inversas, respectivamente. (1) Relaci´on directa The camera has a bright and accurate len. It is a marvellous,really entertaining movie. ...clear and easy to use interface. ...easy to get information,user-friendly interface. (2) Relaci´on inversa The camera has a bright but inaccurate len. It is a entertaining but typical film. The driving is soft and not aggresive. Las palabras que aparecen en negrita corresponden a los t´erminos que ser´an incluidos en el lexic´on. Como puede verse, adem´as de adjetivos se permiten construcciones formadas por adjetivos de la clase easy/difficult seguidos de un infinitivo y las palabras que completan el significado del verbo (el comportamiento sint´actico de estas construcciones y los adjetivos que forman parte de la clase easy/difficult se encuentran estudiados en Nanni (1980)). Se excluyen los adjetivos comparativos y superlativos. La relaci´on ser´a directa o indirecta en funci´on de la conjunci´on utilizada y de la aparici´on o no de negaciones delante de los adjetivos. La aparici´on de adverbios est´a contemplada en el proceso de extracci´on (excluyendo de nuevo a los comparativos y superlativos), aunque en este trabajo no utilizamos la informaci´on de intensidad que podr´ıan proporcionar. Para el c´alculo del peso de las aristas hemos utilizado dos aproximaciones. La primera de ellas consiste en asignar un valor entero calculado como la diferencia entre las relaciones directas e inversas observadas en el dominio para el que estemos construyendo el grafo. De esta manera, un valor ser´a positivo cuando se hayan observado m´as relaciones directas que indirectas entre los t´erminos de los nodos en cuesti´on, y negativo en caso contrario. Un valor mayor indica m´as apariciones de dicha relaci´on en el texto, lo cual debe influir en el c´alculo de la orientaci´on sem´antica de los nodos participantes (ver secci´on 3.3). Tambi´en hemos experimentado con una ver- si´on normalizada del c´alculo de los pesos, con un rango de valores entre -1 y 1; de esta forma, aquellas relaciones que aparecen pocas veces en el texto tienen el mismo impacto en la red que aquellas que aparecen en muchas ocasiones. 3.2.1. Limpieza del grafo A lo largo de algunos experimentos preliminares observamos la necesidad de corregir algunos aspectos de la construcci´on del grafo. En primer lugar, existen construcciones conjuntivas de las que se extraer´ıan conclusiones err´oneas. Por ejemplo, la expresi´on “the good and the bad” no indica que los adjetivos utilizados compartan orientaci´on sem´antica. Para corregir la introducci´on de relaciones claramente err´oneas en el grafo, utilizamos las relaciones de sinonimia y antonimia de Word- Net. Aquellas relaciones conjuntivas encontradas por los patrones de extracci´on utilizados, de signo opuesto a una relaci´on de sinonimia o antonimia en WordNet, son ignoradas. Fermín Cruz, José A. Troyano, Javier Ortega y Carlos G. Vallejo 8 Procesamiento del Lenguaje Natural, núm. 43 (2009) WordNet es tambi´en utilizado para filtrar adjetivos inexistentes (incorrecciones ortogr´aficas, onomatopeyas, . . . ). Disponemos adem´as de un par´ametro en la configuraci´on de la construcci´on del grafo que permite descartar aquellos nodos que aparezcan en menos de un n´umero determinado de relaciones. De esta forma, podemos obviar aquellos t´erminos que sean anecd´oticos para el dominio en el que nos encontremos, y se consigue adem´as eliminar gran parte del ruido introducido por relaciones ocasionalmente mal reconocidas por el patr´on de extracci´on. Por ´ultimo, eliminamos los bucles, aquellas aristas cuyo nodo inicial y final son el mismo. 3.3. C´alculo de las orientaciones sem´anticas Una vez construido el grafo, debemos evaluar las orientaciones sem´anticas de los nodos del mismo, bas´andonos en la topolog´ıa de la red y, posiblemente, en algunos valores conocidos a priori (esto es, algunas palabras semilla). Tal como comentamos en la secci´on 2, nos basaremos en el algoritmo propuesto en Esuli y Sebastiani (2007). Sin embargo dicho algoritmo no tiene en cuenta la existencia de aristas de pesos negativos en el grafo, por lo que proponemos una versi´on modificada del mismo. El algoritmo PageRank original se enuncia de la siguiente manera. Dado un grafo G=(N,E) donde Nes un conjunto de nodos yEun conjunto de arcos dirigidos entre dos nodos, se definen en primer lugar dos operaciones E(ni)yS(ni) que devuelven, respectivamente, conjuntos con los nodos con arcos que entran o salen del nodo ni. A partir de estas dos operaciones b´asicas, se define la puntuaci´on (o PageRank) de un determinado nodo mediante la f´ormula 1, donde des un factor de amortiguaci´on que tiene como objetivo incluir en el modelo la probabilidad de que haya un salto aleatorio de un v´ertice del grafo a cualquier otro. En el contexto de la navegaci´on en Internet, en el que originalmente fue planteado el algoritmo PageRank, dicho factor representa la probabilidad de que un usuario acceda a una p´agina a trav´es de un enlace situado en la p´agina actual, siendo por tanto (1 −d) la probabilidad de que dicho usuario salte a una p´agina aleatoria no enlazada con la p´agina actual. En la definici´on original de PageRank se recomienda un valor de 0.85 para el factor d. PR(ni)=(1−d)+ d nj∈E(ni) 1 |S(nj)|PR(nj) (1) La versi´on modificada del algoritmo propuesta en Esuli y Sebastiani (2007) (nos referiremos a ella como PageRank ponderado) a˜nade un vector real eque codifica la importancia a priori de cada nodo (f´ormula 2); pji es el peso de la arista que va de njani.En una primera pasada, se asignan valores a e mayores que cero para los nodos correspondientes a las semillas negativas, y se aplica el algoritmo de PageRank ponderado. Se obtiene con ello una puntuaci´on que indica la negatividad de los adjetivos de la red. Posteriormente se realiza una segunda pasada del algoritmo asignando valores de importancia a priori a las semillas positivas, obteniendo con ello una puntuaci´on de positividad para cada nodo. PR(ni)=(1−d)ei+d nj∈E(ni) pji nk∈S(nj)pjk PR(nj) (2) Para poder realizar este c´alculo sobre nuestros grafos, debemos tener en cuenta la existencia en los mismos de aristas negativas, que indican una cierta probabilidad de que dos nodos tengan orientaciones sem´anticas opuestas. De esta forma, un nodo n1que tenga una arista negativa que lo conecte con otro n2, debe verse inclinado a obtener una orientaci´on sem´antica contraria a dicho nodo, de forma tanto m´as pronunciada cuanto mayor sea el valor absoluto de la orientaci´on sem´antica de n2. Adem´as, debemos tener en cuenta que las aristas que componen el grafo son no dirigidas. Para cumplir estas exigencias, planteamos la siguiente modificaci´on del algoritmo, a la que nos referiremos a partir de ahora como PageRank combinado. Sea un grafo no dirigido G=(N,E) donde Nes un conjunto de nodos y Eun conjunto de aristas no dirigidas entre dos nodos. Cada arista de Econtiene un valor real asociado o peso, distinto de cero, siendo pij el peso asociado a la arista que conecta los nodos niynj. Se define la operaci´on V(ni), que devuelve el conjunto de nodos vecinos de ni. Se definen las operaciones V+(ni)yV−(ni), que devuelven los conjuntos de nodos vecinos a nicuyas aristas asociadas tengan un peso mayor o menor que cero, Inducción de un Lexicón de Opinión Orientado al Dominio 9 Procesamiento del Lenguaje Natural, núm. 43 (2009) respectivamente. Definimos el PageRank positivo y negativo de un nodo ni(f´ormula 3), donde los valores de e+son mayores que cero para los nodos correspondientes a semillas positivas y cero para el resto de nodos, y los valores de e−son mayores que cero para los nodos correspondientes a semillas negativas y cero para el resto de nodos. PR +(ni)=(1−d)e+ i+ +d( nj∈V+(ni) pij nk∈V(nj)|pjk|PR +(nj)+ + nj∈V−(ni) −pij nk∈V(nj)|pjk|PR −(nj)) PR −(ni)=(1−d)e− i+ +d( nj∈V+(ni) pij nk∈V(nj)|pjk|PR −(nj)+ + nj∈V−(ni) −pij nk∈V(nj)|pjk|PR +(nj)) (3) Proponemos que la suma de los valores de e+por un lado y de e−por otro sea igual al n´umero de nodos del grafo; de esta forma obtenemos valores de PageRank con magnitudes similares a las del algoritmo original de PageRank. Las semillas positivas y negativas que hemos utilizado son las propuestas por Turney y Littman en Turney y Littman (2003)4, distribuyendo entre ellas los valores de e+ye− de manera uniforme. Una vez calculados PR+yPR−para cada nodo, obtenemos la orientaci´on sem´antica asociada a cada t´ermino en cada dominio como la diferencia normalizada entre los valores PR+yPR−del nodo que representa al t´ermino en el grafo asociado al dominio (f´ormula 4). Los valores as´ı obtenidos est´an acotados entre -1 y 1. SO(n)=PR +(n)−PR −(n) PR +(n)+PR −(n)(4) 3.4. Evaluaci´onyan´alisis La evaluaci´on de los valores obtenidos para las orientaciones sem´anticas en cada uno de los dominios planteados supone un problema en s´ı mismo. En otros trabajos, la eva- 4Semillas positivas: good, nice, excellent, positive, fortunate, correct, superior. Semillas negativas: bad, nasty, poor, negative, unfortunate, wrong, inferior. luaci´on se realiza comparando las orientaciones sem´anticas obtenidas con algunos recursos generados de manera manual o semiautom´atica; algunos de estos recursos son Senti- WordNet (Esuli y Sebastiani, 2006) , General Inquirer (Stone, 1966) o Micro-WNOp (Cerini et al., 2007). Dichos recursos contienen valores para la orientaci´on sem´antica independientes del dominio: ¿C´omo distinguir entre las divergencias entre los valores de orientaci´on sem´antica fruto de imperfecciones de nuestro m´etodo y aquellas inherentes a peculiaridades del dominio en el que nos encontramos? Para evitar este problema, construimos un grafo global a partir del corpus completo para generar un lexic´on independiente del dominio, comparando los valores obtenidos con los del recurso Micro-WNOp. De esta manera pretendemos medir la bondad del m´etodo propuesto, as´ı como la influencia de los par´ametros que participan en el mismo. Usamos como gold standard el recurso Micro- WNOp (Cerini et al., 2007), que consiste en una muestra de aproximadamente 1100 synsets de WordNet, a cada uno de los cuales les fueron asignados manualmente tres valores reales entre 0 y 1 indicando la positividad, negatividad y neutralidad del mismo. De esos 1100 synsets, nos quedamos con los 284 correspondientes a adjetivos. Dado que en nuestros experimentos no hemos realizado desambiguaci´on de significados, utilizamos el promedio de la orientaci´on sem´antica de aquellos synsets de adjetivos con un mismo lexema asociado. Con esto obtenemos un ranking de 433 adjetivos, que compararemos con el ranking obtenido de la aplicaci´on de nuestro m´etodo autom´atico de construcci´on del lexic´on al corpus completo. En cada uno de los experimentos, usamos como gold standard s´olo aquellos adjetivos de Micro-WNOp encontrados en nuestro lexic´on. Para comparar ambos rankings hemos utilizado la distancia τde Kendall (τp) (Fagin et al., 2004), que mide la similitud entre un ranking modelo o gold standard y otro ranking candidato. La distancia se calcula mediante la siguiente f´ormula: τp=nd+p∗nu Z(5) siendo ndel n´umero de pares discordantes (pares ordenados en el gold standard y no ordenados en el ranking candidato), nuel Fermín Cruz, José A. Troyano, Javier Ortega y Carlos G. Vallejo 10 Procesamiento del Lenguaje Natural, núm. 43 (2009) n´umero de pares ordenados en el gold standard e iguales en el otro ranking, y pun factor de penalizaci´on asignado a cada uno de estos pares. Zel n´umero total de pares ordenados en el gold standard. Usamos un valor de 1 2para el factor de penalizaci´on. Cuanto m´as cercano a cero sea el resultado de este c´alculo, m´as parecido es el ranking obtenido de nuestro lexic´on al ranking aportado por Micro-WNOp. Hemos experimentado con la versi´on normalizada y sin normalizar del c´alculo de los pesos de las aristas del grafo. Para comprobar la mejora obtenida por la aplicaci´on del algoritmo PageRank combinado, hemos reproducido cada uno de los experimentos descartando las aristas negativas (aquellas asociadas a construcciones en las que interviene la conjunci´on but) y utilizando el algoritmo Page- Rank ponderado. En la tabla 2 se muestran los valores obtenidos en Esuli y Sebastiani (2007) (Esuli+yEsuli−) junto a los resultados obtenidos en nuestros experimentos (e1 ae4). El mejor resultado se obtiene usando el algoritmo PageRank combinado propues- to, junto con la versi´on normalizada de los pesos. Este resultado supone una mejora del 4,26 % con respecto a la utilizaci´on del algoritmo PageRank ponderado. Todos los valores obtenidos mejoran los de Esuli y Sebastiani (2007), trabajo en el que se utiliz´oun m´etodo de evaluaci´on similar al que hemos utilizado, si bien ellos reportaron valores de τ1 2para sendos rankings de positividad y negatividad por separado (Esuli+yEsuli−en la tabla de resultados). T´engase en cuenta que en dicha evaluaci´on se utiliz´o un subconjunto distinto del recurso Micro-WNOp al utilizado en nuestros experimentos, por lo que los resultados no son directamente comparables. Grafo PageRank Pesos τ1 2 Esuli+WordNet Ponderado - 0,325 Esuli−WordNet Ponderado - 0,284 e1Corpus Ponderado Sin norm. 0,239 e2Corpus Ponderado Norm. 0,235 e3Corpus Combinado Sin norm. 0,230 e4Corpus Combinado Norm. 0,225 Cuadro 2: Resultados de los experimentos Para confirmar la hip´otesis inicial de este trabajo, en la que consideramos que la orientaci´on sem´antica de una palabra de opini´on es dependiente del dominio en el que se aplica, mostramos algunos ejemplos extra´ıdos del lexic´on (tabla 3), que se corresponden con los ejemplos utilizados en la secci´on 1. Los t´erminos big,small ytiny, tienen connotaciones positivas o negativas dependiendo del dominio de aplicaci´on. Por ejemplo, aplicado a monitores u hoteles, big tiene connotaciones positivas (The room was really big,This monitor has a brilliant, big screen.). Al referirnos a un ordenador port´atil, la orientaci´on sem´antica no est´a tan clara: es deseable que un port´atil sea peque˜no en su conjunto (a cute and tiny laptop), aunque una pantalla grande, por ejemplo, es una buena caracter´ıstica. Estas diferencias quedan reflejadas en el valor obtenido para la orientaci´on sem´antica en cada uno de los dominios. Otros ejemplos de t´erminos cuya orientaci´on sem´antica depende fuertemente del contexto son hardtohear(referido a un lavavajillas: “It is really pretty quiet, and hard to hear, even when we are standing in kitchen”; referido a un GPS con voz: “The speaker of this GPS device is hard to hear.”)ypredictable/unpredictable (“The script is unpredictable, funny and shocking all in one!”; “unpredictable car behavior”). Dominio: Hoteles Monitores Port´atiles big 0,2640 0,1880 -0,5800 small -0,2400 -0,4570 0,3910 tiny -0,3120 - 0,7340 Dominio: Lavavajillas M´oviles GPS hard to hear 0,7210 -0,2910 -0,5220 Dominio: Pel´ıculas Coches Aerol´ıneas predictable -0,262 0,2 0,3260 unpredictable 0,128 -0,559 -0,792 Cuadro 3: Orientaci´on sem´antica de algunos t´erminos del lexic´on 4. Conclusiones En el presente trabajo hemos descrito la construcci´on de un lexic´on de adjetivos y sus orientaciones sem´anticas dependientes del dominio. El m´etodo utilizado est´a basado en la construcci´on de grafos a partir de las relaciones conjuntivas entre adjetivos observadas en un corpus de reviews de productos, y la posterior aplicaci´on de un algoritmo de ranking de nodos. La evaluaci´on global del m´etodo ha proporcionado buenos resultados. Adem´as, hemos mostrado como ejemplo algunos valores de orientaci´on sem´antica obtenidos para distintos dominios, confirm´andose que (1) la orientaci´on sem´antica de un Inducción de un Lexicón de Opinión Orientado al Dominio 11 Procesamiento del Lenguaje Natural, núm. 43 (2009) t´ermino es dependiente del contexto de aplicaci´on del mismo, y (2) el m´etodo de inducci´on de la orientaci´on sem´antica orientada a dominio funciona correctamente. El algoritmo de ranking propuesto mejora significativamente los resultados obtenidos mediante el algoritmo propuesto en Esuli y Sebastiani (2007). Actualmente, estamos trabajando en ampliar la contextualizaci´on de la orientaci´on sem´antica en el lexic´on generado, a˜nadiendo informaci´on relativa a la caracter´ıstica concreta del producto sobre la que se est´a expresando la opini´on. De esta manera, la orientaci´on sem´antica de un t´ermino tendr´a valores distintos cuando dicho t´ermino sea aplicado a distintas caracter´ısticas de un mismo produc- to (por ejemplo, a la pantalla o al teclado de un port´atil). Dicha distinci´on es fundamental para la utilizaci´on del lexic´on en el sistema de extracci´on de opiniones. Bibliograf´ıa Atserias, Jordi, Bernardino Casas, Elisabet Comelles, Meritxell Gonz´alez, Llu´ıs Padr´o, y Muntsa Padr´o. 2006. Freeling 1.3: Syntactic and semantic services in an open-source nlp library. En Proceedings of the fifth international conference on Language Resources and Evaluation (LREC 2006), Genoa, Italy, May. ELRA. http://www.lsi.upc.edu/˜nlp/freeling. Cerini, S., V. Compagnoni, A. Demontis, M. Formentelli, y G. Gandini, 2007. Language resources and linguistic theory: Typology, second language acquisition, English linguistics., cap´ıtulo Micro-WNOp: A gold standard for the evaluation of automatically compiled lexical resources for opinion mining. Franco Angeli Editore, Milano, IT. Ding, Xiaowen, Bing Liu, y Philip S. Yu. 2008. A holistic lexicon-based approach to opinion mining. En WSDM ’08: Proceedings of the international conference on Web search and web data mining,p´aginas 231–240, New York, NY, USA. ACM. Esuli, Andrea y Fabrizio Sebastiani. 2006. Senti- WordNet: A publicly available lexical resource for opinion mining. En Proceedings of Language Resources and Evaluation (LREC). Esuli, Andrea y Fabrizio Sebastiani. 2007. Pageranking wordnet synsets: An application to opinion mining. En Proceedings of ACL-07, the 45th Annual Meeting of the Association of Computational Linguistics,p´aginas 424–431. Association for Computational Linguistics. Fagin, Ronald, Ravi Kumar, Mohammad Mahdian, D. Sivakumar, y Erik Vee. 2004. Comparing and aggregating rankings with ties. En PODS ’04: Proceedings of the twentythird ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, p´aginas 47–58, New York, NY, USA. ACM. Fellbaum, Christiane, editor. 1998. WordNet: An Electronic Lexical Database. MIT Press. Ferrucci, David y Adam Lally. 2004. Uima: an architectural approach to unstructured information processing in the corporate research environment. Nat. Lang. Eng., 10(3-4):327– 348. Hatzivassiloglou, Vasileios y Kathleen R. McKeown. 1997. Predicting the semantic orientation of adjectives. En Proceedings of the eighth conference on European chapter of the Association for Computational Linguistics,p´aginas 174–181, Morristown, NJ, USA. Association for Computational Linguistics. Hu, Minqing y Bing Liu. 2004. Mining and summarizing customer reviews. En KDD ’04: Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining,p´aginas 168–177, New York, NY, USA. ACM. Kamps, Jaap, Maarten Marx, Robert J. Mokken, y Maarten De Rijke. 2004. Using wordnet to measure semantic orientation of adjectives. En National Institute for, volumen 26, p´aginas 1115–1118. Kudo, Taku y Yuji Matsumoto. 2003. Fast methods for kernel-based text analysis. En ACL, p´aginas 24–31. Lin, Dekang. 1998. Dependency-based evaluation of minipar. En Proc. Workshop on the Evaluation of Parsing Systems, Granada. Liu, Bing, 2006. Web data mining; Exploring hyperlinks, contents, and usage data, cap´ıtulo 11: Opinion Mining. Springer. Nanni, Deborah L. 1980. On the surface syntax of constructions with easy-type adjectives. Language, 56(3):568–581. Page, Lawrence, Sergey Brin, Rajeev Motwani, y Terry Winograd. 1998. The pagerank citation ranking: Bringing order to the web. Informe t´ecnico, Stanford Digital Library Technologies Project. Pang, Bo y Lillian Lee. 2008. Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1-2):1–135. Stone, Philip J. 1966. The General Inquirer: A Computer Approach to Content Analysis. The MIT Press. Turney, Peter D. y Michael L. Littman. 2003. Measuring praise and criticism: Inference of semantic orientation from association. ACM Transactions on Information Systems, 21:315– 346. Fermín Cruz, José A. Troyano, Javier Ortega y Carlos G. Vallejo 12 Procesamiento del Lenguaje Natural, núm. 43 (2009)