Explorando métodos non-supervisados para calcular a similitude semántica textual

Proposta recibida en outubro 2018 e aceptada para publicaci´on en decembro 2018. Explorando M´etodos Non-Supervisados para Calcular a Similitude Sem´antica Textual Exploring Unsupervised Methods to Sematic Textual Similarity Pablo Gamallo CiTIUS Univ. de Santiago de Compostela [email protected] Mart´ın Pereira-Fari˜na Departamento de Filosof´ıa e Antropolox´ıa Universidade de Santiago de Compostela [email protected] Resumo Neste traballo pres´entanse varios m´etodos nonsupervisados para a detecci´on da similitude sem´antica textual, os cales est´an baseados en modelos distribucionais e no parseado de dependencias. Os sistemas son avaliados mediante datasets empregados na ASSIN Shared Task, celebrada conxuntamente co PROPOR 2016. Os m´etodos m´ais b´asicos ofrecen un mellor comportamento que aqueles, mais complexos, que incl´uen informaci´on sint´actico-sem´antica na an´alise das oraci´ons. Por ´ultimo, o uso de modelos distribucionais construidos automaticamente a partir de corpus ofrece resultados compar´abeis ´as estratexias que utilizan recursos l´exicos externos constru´ıdos manualmente. Palabras chave similitude textual, an´alise de dependencias, extracci´on de informaci´on aberta Abstract This paper presents some unsupervised methods for detecting semantic textual similarity, which are based on distributional models and dependency parsing. The systems are evaluated using the dataset realased by the ASSIN Shared Task co-located with PROPOR 2016. The more basic methods offer better behavior than the more complex ones, which include syntactic-semantic information in sentence analysis. Finally, the use of distributional models built automatically from corpora provides results comparable to strategies that use external lexical resources built manually. Keywords textual similarity, dependency analysis, open information extraction 1 Introduci´on As par´afrases def´ınense como pares de oraci´ons que conte˜nen a mesma ou case a mesma informaci´on (Androutsopoulos & Malakasiotis, 2010). Polo tanto, o reco˜necemento de par´afrases consiste no reco˜necemento de oraci´ons (ou pequenos fragmentos de texto) que te˜nen aproximadamente o mesmo significado nun contexto dado. Unha tarefa similar a ´a identificaci´on de par´afrases ´e a Similitude Sem´antica Textual (SST), a cal busca determinar o grao de equivalencia sem´antica entre dous fragmentos de texto. SST pode empregarse en moitas das tarefas do Procesamento da Linguaxe Natural (PLN), dende recuperaci´on de informaci´on ata a detecci´on autom´atica de plaxio. Existen varios m´etodos de SST na bibliograf´ıa, que van dende m´etodos nonsupervisados e con recursos lixeiros ata m´etodos supervisados e con recursos intensos. O principal obxectivo deste traballo ´e describir e avaliar m´etodos non-supervisados de SST baseados en modelos distribucionais e aplicados ao portugu´es. M´ais concretamente, compararemos estratexias non-supervisadas de recursos lixeiros con outras estratexias, tam´en non-supervisadas, mais que utilizan recursos m´ais intensos, como tesaurus, redes de co˜necemento, ou mesmo informaci´on sint´actica. Todos os experimentos son levados a cabo usando o datasets proporcionado por ASSIN Shared Task (Avalia¸c˜ao de Similaridade Semˆantica e Inferˆencia Textual), celebrado conxuntamente con PROPOR 2016 (Fonseca et al.,2016). Na seguinte secci´on (2), describimos os modelos de SST para o portugu´es. A continuaci´on, na Secci´on 3presentamos tres m´etodos nonsupervisados diferentes. Na Secci´on 4expo˜nemos e discutimos os resultados dos nosos experimentos; por ´ultimo, na Secci´on 5, resumimos as nosas principais conclusi´ons e propo˜nemos algunas ideas para o traballo futuro. DOI: 10.21814/lm.10.2.275 This work is Licensed under a Creative Commons Attribution 4.0 License Linguam´ atica — ISSN: 1647–0818 Vol. 10 N´um. 2 2018 - P´ag. 63–68 2 Similitude sem´antica textual para o Portugu´es SST ´e unha das d´uas tarefas avaliadas no ASSIN (Fonseca et al.,2016). A outra subtarefa, inferencia textual, est´a f´ora do ´ambito deste traballo. A tarefa SST consiste en asignar un valor num´erico (entre 1 e 5) a pares de oraci´ons segundo o grao de similitude sem´antica entre elas: canto maior sexa o valor num´erico, maior ´e o grao de similitude entre elas. Esta tarefa est´a inspirada pola SemEval Task 2 sobre similitude sem´antica textual (Agirre et al.,2015,2016). Na tarefa compartida sobre SST no SemEval 2016, envi´aronse 119 sistemas diferentes, o que denota o enorme interese deste campo. A inmensa maior´ıa (todos menos un) dos sistemas presentados en ASSIN estaban baseados no uso de m´etodos supervisados. A mellor equipa (Hartmann,2016) aplicou regresi´on lineal para adestrar un clasificador cuxas caracter´ısticas son os valores da medida do coseno que representan o grao de similitude de cada para de oraci´ons. Estas mod´elanse de dous xeitos diferentes: a adici´on de valores TF-IDF (cada palabra da oraci´on ´e un valor TF-IDF) e a adici´on de vectores de valores distribucionais, onde cada palabra se representa como un vector contextual a aprendido mediante redes neuronais (Mikolov et al.,2013). As similitudes do coseno entre estes tipos de representaci´ons son valores de entrada do clasificador b´asico. O segundo mellor sistema (e o mellor para o dataset do portugu´es europeo, de Fialho et al. (2016), adestrou un clasificador baseado en modelos de regresi´on (Kernel Ridge Regression) cun n´umero maior de rasgos que os outros sistemas, inlcu´ındo distancias de edici´on entre cadeas de caracteres, o tama˜no da maior subcadea com´un de caracteres, distintas m´etricas de similitude dependentes dos valores de ocorrencia de TF-IDF. En total, o sistema usou m´ais de 90 caracter´ısticas. A ´unica estratexia non suspervisada no ASSIN ´e a chamada Reciclagem e foi proposta por Alves et al. (2016). Este sistema usa medidas de similitude baseadas nas relaci´ons sem´anticas extra´ıdas desde tesauros externos e recursos l´exicos. O preprocesamento ´e realizado co etiquetador morfosint´atico de OpenNLP (Apache) e o lematizador LemPort (Rodrigues et al.,2014). Entre os recursos l´exicos utilizados, destaca PAPEL (Oliveira et al.,2010), que consiste en relaci´ons extra´ıdas do dicionario Porto Editora da L´ıngua Portuguesa, mediante a elaboraci´on de regras baseadas en regularidades atopadas nas definici´ons do dicionario. Al´en deste recurso, os experimentos realizados con Reciclagem incl´uen outras redes de co˜necimento con maior cobertura, nomeadamente, CART ˜ AO (Oliveira et al.,2011), que a s´ua vez consta doutros recursos como PAPEL e as relaci´ons extra´ıdas do Dicion´ario Aberto (Sim˜oes et al.,2012), as´ı como diferentes variantes do WordNet portugu´es: OpenWordNet.PT (de Paiva et al.,2012) e PULO (Sim˜oes & Guinovart, 2014). Neste traballo, avaliaremos varias estratexias non-supervisadas baseadas fundamentalmente en modelos distribucionais sobre o mesmo dataset empregado en ASSIN. 3 Similitude sem´antica textual nonsupervisada Nesta secci´on, definimos tres estratexias nonsupervisadas: a m´ais b´asica bas´ease na sem´antica distribucional e na etiquetaxe morfo-sint´actica (PoS tagging), mentres que os outros m´etodos dependen da an´alise sint´actica al´en de t´ecnicas de extracci´on de informaci´on aberta (Open Information Extraction). 3.1 Similitude distribucional Unha das estratexias m´ais simples e b´asicas para calcular a similitude entre d´uas oraci´ons consiste en sumar os valores de semellanza entre cada par de palabras que aparecen nas d´uas oraci´ons comparadas. Neste caso, s´o tomamos en conta palabras l´exicas, ´e dicir, nomes, verbos e adxectivos. O valor de similitude calc´ulase concretamente mediante a medida de coseno entre vectores que conforman matrices de palabras encapsuladas (word embeddings) pre-adestradas. O algoritmo ´e o seguinte: escollemos a oraci´on m´ais curta e seleccionamos a primeira palabra l´exica de dita oraci´on. A seguir, calculamos a similitude do coseno entre a palabra escollida e todas as palabras l´exicas que conforman a oraci´on m´ais longa, sumando todos os valores de semellanza de maneira a obtermos a relevancia l´exica da primeira palabra seleccionada con respeito ´a oraci´on m´ais longa. Despois, realizamos a mesma operaci´on para o resto de palabras da oraci´on m´ais curta e calculamos a media dividindo a suma final polo n´umero total de palabras l´exicas que conforman a oraci´on curta. M´ais formalmente, dado o vector da palabra pspertencente a Us, onde Us ´e o conxunto de vectores de palabras l´exicas da oraci´on curta, a relevancia l´exica,LR, de psdada a oraci´on m´ais longa, calc´ulase do seguinte xeito: 64– Linguam´ atica Pablo Gamallo & Mart´ın Pereira-Fari˜na LR(ps, Ul) = L X pi∈Ul Cosine(ps,pi) (1) onde Ul´e o conxunto dos vectores de palabras l´exicas da oraci´on m´ais longa e L´e o n´umero de palabras l´exicas nesa mesma oraci´on. Por conseguinte, o valor final de similitude (DSim) para o par UseUl´e a media de LR: DSim(Us, Ul) = PS pi∈UsLR(ps, Ul) S(2) onde S´e o n´umero de palabras l´exicas na oraci´on m´ais curta. Conv´en salientar que esta estratexia non codifica a informaci´on sobre a orde dos elementos da oraci´on. 3.2 Extracci´on de proposici´ons b´asicas DSim s´o toma en conta relaci´ons sem´anticas ao nivel da palabra sen considerar fen´omenos m´ais complexos como a orde das palabras ou as dependencias sint´acticas entre elas. Para podermos tomar en conta estes fen´omenos, desenvolvemos unha nova metodolox´ıa na que a estratexia de similitude definida previamente (DSim) se aplica a proposici´ons b´asicas extra´ıdas das oraci´ons, en vez de aplicarse directamente ´as oraci´ons. As proposici´ons b´asicas (ou tripletas) son relaci´ons suxeito-verbo-obxecto identificadas e extra´ıdas mediante t´ecnicas de Extracci´on de Informaci´on Aberta (OIE) (Etzioni et al., 2011;Gamallo & Garc´ıa,2015). Unha oraci´on pode conter varias proposici´ons b´asicas, como por exemplo, a oraci´on seguinte: En maio de 2010, os partidos da oposici´on boicotaron as elecci´ons despois de acusaci´ons de fraude electoral. Esta oraci´on, despois dunha an´alise sint´actica en dependencias, pode dividirse en, polo menos, tres tripletas ou proposici´ons b´asicas, tal e como se mostra no cadro 1. O m´etodo de c´omputo de similitude baseada en proposici´ons, que chamamos BPROP, s´o toma en conta as palabras l´exicas contidas nas proposici´ons extra´ıdas. Deste xeito, p´odese computar a similitude DSim comparando as tres proposici´ons do cadro 1 (extra´ıdas da oraci´on do noso exemplo) coa seguinte proposici´on (extra´ıda da oraci´on m´ais curta: os partidos boicotaron as elecci´ons): subject relation object partido boicotar elecci´ons Os dous conxuntos de vectores de palabras l´exicas elab´oranse directamente das proposici´ons extra´ıdas. A partir do exemplo citado, Us(o conxunto de vectores de lemas da oraci´on m´ais curta) ´e constituido mediante a selecci´on dos lemas l´exicos seguintes: {partido, boicotar, elecci´on} Pola outra banda, Ul(os vectores de lemas da oraci´on m´ais longa), consta de: {partido, oposici´on, boicotar, elecci´on, maio, 2010, acusaci´on, fraude, electoral} Estes conxuntos de vectores de lemas serven para calcular tanto a relevancia l´exica (ecuaci´on 1) como a similitude DSim (2). Polo tanto, a estratexia BPROP s´o determina que lemas est´an nos conxuntos comparados, mais non modifica o m´etodo de c´omputo da similitude en si mesmo. 3.3 Estrutura de argumentos A terceira estratexia que imos utilizar ´e moi similar a BPROP, mais en vez de extraer todas as pos´ıbeis relaci´ons suxeito-verbo-obxecto, o obxectivo da mesma ´e seleccionar a estrutura argumental principal de cada oraci´on. Definimos a estrutura argumental principal dunha oraci´on como aquela formada pola ra´ız (verbo principal) e os n´ucleos dos seus constitu´ıntes directos. Deste xeito, a similitude baseada na estrutura argumental, que chamamos ARGSTR, calc´ulase a partir das palabras l´exicas que se encontran dentro do esqueleto estrutural extra´ıdo das oraci´ons comparadas. Como no caso de BPROP, a estratexia ARGSTR s´o modifica as listas de lemas que se van utilizar para computar a similitude DSim. No caso das d´uas oraci´ons comparadas no exemplo anterior, a lista correspondente ´a oraci´on m´ais curta, Us, ser´ıa a mesma que no caso anterior: {partido, boicotar, elecci´on} Pois tanto partido como elecci´on son os n´ucleos dos constitu´ıntes directos do verbo ra´ız: boicotar. No entanto, a lista da oraci´on m´ais longa, Ul, ´e m´ais restritiva que na estratexia BPROP: {partido, boicotar, elecci´on, maio, acusaci´on} O resto de lemas l´exicos: oposici´on,2010, fraude eelectoral non son constitu´ıntes directos do verbo ra´ız senon doutros constitu´ıntes da cl´ausula. Explorando M´etodos Non-Supervisados para Calcular a Similitude Sem´antica Textual Linguam´ atica – 65 subject relation object partido de oposici´on boicotar elecci´on partido de oposici´on boicotar elecci´on en maio de 2010 partido de oposici´on boicotar elecci´on despois de acusaci´on de fraude electoral Cadro 1: Tres proposici´ons b´asicas extra´ıdas de: En maio de 2010, os partidos da oposici´on boicotaron as elecci´ons despois de acusaci´ons de fraude electoral 4 Expermimentos Para avaliar a calidade das estratexias definidas na secci´on previa no seu uso na captura de similitude sem´antica textual (SST), prob´amolas nos datasets fornecidos pola tarefa partillada ASSIN (Fonseca et al.,2016). Os experimentos foron realizados utilizando varios modelos sem´anticos pre-adestrados e dispon´ıbeis publicamente, nomeadamente os modelos distribucionais transparantes e baseados en sintaxe descritos en Gamallo (2017). O texto das oraci´ons do test foi procesado con diferentes m´odulos de LinguaKit, unha suite ling¨u´ıstica muliling¨ue e de c´odigo aberto (Gamallo & Garcia,2017).1M´ais concretamente, para podermos implementar as tres estratexias introducidas previamente, utilizamos o m´odulo de etiquetaxe morfo-sint´actica (Garcia & Gamallo, 2015), o parser de dependencias inclu´ıdo en LinguaKit (Gamallo & Garcia,2018), que son necesarios para desenvolver a estratexia ARGSTR, as´ı como o m´odulo OIE de extracci´on de tripletas, (Gamallo & Garc´ıa,2015), requirido por BPROP. O cadro 2mostra os valores, en termos de correlaci´on de Pearson, obtidos polas tres estratexias non-supervisadas obxecto de estudo (DSim, ARGSTR, and BPROP), en base a tres listas de pares de oraci´ons: portugu´es europeo, portugu´es brasileiro e a uni´on dos dous (Total). A cada par de oraci´ons se lle asigna un valor entre 1 e 5, de xeito que canto maior ´e o valor maior ´e a semellanza entre as d´uas oraci´ons comparadas. Cada sistema ´e avaliado mediante a medici´on da correlaci´on entre os valores anotados por persoas e os valores devolvidos polo sistema. O cadro tam´en mostra na ´ultima fila os resultados atinxidos polo ´unico sistema non-supervisado, Reciclagem, que participou na tarefa partillada ASSIN. Como se pode comprobar, as estratexias m´ais b´asicas (DSIM e Reciclagem) son as que conseguen os mellores resultados. Ambas abordaxes utilizan informaci´on ling¨u´ıstica moi b´asica: lematizaci´on e recursos sem´anticos externos (modelos distribucionais pre-adestrados, no caso de DSim, e tesaurus externos, no casos de Recicla- 1https://github.com/citiususc/Linguakit gem). Polo contrario, as d´uas estratexias baseadas en informaci´on ling¨u´ıstica mais elaborada, nomeadamente an´alise sint´actica e extracci´on de informaci´on aberta (ARGSTR e BPROP) devolven valores moito m´ais baixos. Mesmo se vai ser preciso realizar unha an´alise de erros en profundidade, unha an´alise superficial dos mesmos l´evanos a afirmar que os erros sint´acticos provocados polo analizador son determinantes nos resultados finais destas d´uas estratexias. ´ E preciso tam´en salientar que hai unha importante diferenza entre DSim e Reciclagem. O primeiro utiliza modelos distribucionais automaticamente constru´ıdos a partir de corpus, mentres que o segundo utiliza relaci´ons sem´anticas extra´ıdas de recursos elaborados manualmente. En consecuencia, a estratexia inherente a DSim ´e completamente non-supervisada, mentres que o m´etodo utilizado por Reciclagem require unha supervisi´on distante pois, en ´ultima instancia, depende de tesaurus manuais. 5 Conclusi´ons Neste traballo probamos e avaliamos diferentes estratexias non-supervisadas para medir a similitude sem´antica textual. O est´andar de referencia, cimentado unicamente no c´alculo das palabras compartidas e similares, claramente mellora os resultados de m´etodos m´ais complexos enriquecidos con an´alise sint´actica e extracci´on b´asica de proposici´ons. Os resultados tam´en mostran como o uso de modelos distribucionais dentro de estratexias non-supervisadas conseguen valores compar´abeis aos que usan recursos l´exicos externos constru´ıdos manualmente. Para o traballo futuro, analizaremos con detalle os tipos de erros xerados nas t´ecnicas baseadas na an´alise sint´actica co obxectivo de propor novas estratexias non-supervisadas para SST. Tam´en avaliaremos estas t´ecnicas con datasets orientados a outras tarefas m´ais al´a da SST, tales como a identificaci´on de par´afrases, as cales poder´ıan ser m´ais sens´ıbeis ´a informaci´on sint´actica. 66– Linguam´ atica Pablo Gamallo & Mart´ın Pereira-Fari˜na Sistemas PT Europeo PT Brasileiro Total DSim 0.54 0.56 0.53 ARGSTR 0.27 0.22 0.24 BPROP 0.29 0.24 0.26 Reciclagem 0.53 0.59 0.54 Cadro 2: Valores (correlaci´on Pearson) devoltos polos nosos tres sistemas e m´ais pola estratexia nonsupervisada (Reciclagem), que participou na tarefa compartida ASSIN. Agradecementos Este traballo foi financiado polo proxecto TelePares (MINECO, ref:FFI2014-51978-C2-1-R), e a Conseller´ıa de Cultura, Educaci´on e Ordenaci´on Universitaria (acreditaci´on 2016-2019, ED431G/08 e Programa de Formaci´on Posdoutoral da Xunta de Galicia 2016) e European Regional Development Fund (ERDF). Referencias Agirre, Eneko, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez- Agirre, Weiwei Guo, I˜nigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria & Janyce Wiebe. 2015. SemEval- 2015 Task 2: Semantic textual similarity, english, spanish and pilot on interpretability. En 9th International Workshop on Semantic Evaluation (SemEval), 252–263. Agirre, Eneko, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau & Janyce Wiebe. 2016. SemEval-2016 Task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. En 10th International Workshop on Semantic Evaluation (SemEval), 497–511. Alves, Ana Oliveira, Ricardo Rodrigues & Hugo Gon¸calo Oliveira. 2016. ASAPP: alinhamento semˆantico autom´atico de palavras aplicado ao portuguˆes. Linguam´atica 8(2). 43–58. Androutsopoulos, Ion & Prodromos Malakasiotis. 2010. A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research 38. 135 – 187. Apache. 2014. Apache OpenNLP. The Apache Software Foundation. http://opennlp. apache.org. Etzioni, Oren, Anthony Fader, Janara Christensen, Stephen Soderland & Mausam. 2011. Open Information Extraction: the Second Generation. En International Joint Conference on Artificial Intelligence, 3–10. Fialho, Pedro, Ricardo Marques, Bruno Martins, Lu´ısa Coheur & Paulo Quaresma. 2016. INESC-ID@ASSIN: Medi¸c˜ao de similaridade semˆantica e reconhecimento de inferˆencia textual. Linguam´atica 8(2). 33–42. Fonseca, Erick Rocha, Leandro Borges dos Santos, Marcelo Criscuolo & Sandra Maria Alu´ısio. 2016. Vis˜ao geral da avalia¸c˜ao de similaridade semˆantica e inferˆencia textual. Linguam´atica 8(2). 3–13. Gamallo, Pablo. 2017. Comparing explicit and predictive distributional semantic models endowed with syntactic contexts. Language Resources and Evaluation 51(3). 727–743. Gamallo, Pablo & Marcos Garc´ıa. 2015. Multilingual open information extraction. En 17th Portuguese Conference on Artificial Intelligence (EPIA), 711–722. Gamallo, Pablo & Marcos Garcia. 2017. Lingua- Kit: uma ferramenta multilingue para a an´alise lingu´ıstica e a extra¸c˜ao de informa¸c˜ao. Linguam´atica 9(1). Gamallo, Pablo & Marcos Garcia. 2018. Dependency parsing with finite state transducers and compression rules. Information Processing & Management 54(6). 1244–1261. Garcia, Marcos & Pablo Gamallo. 2015. Yet another suite of multilingual NLP tools. En Languages, Applications and Technologies (CCIS), vol. 563, 65–75. Hartmann, Nathan Siegle. 2016. Solo queue at ASSIN: combinando abordagens tradicionais e emergentes. Linguam´atica 8(2). 59–64. Mikolov, Tomas, Wen-tau Yih & Geoffrey Zweig. 2013. Linguistic regularities in continuous space word representations. En Conference of the North American Chapter of the ACL: Human Language Technologies, 746–751. Oliveira, Hugo Gon¸calo, Leticia Ant´on P´erez, Hernani Pereira Costa & Paulo Gomes. 2011. Uma rede l´exico-semˆantica de grandes dimens˜oes para o portuguˆes, extra´ıda a partir Explorando M´etodos Non-Supervisados para Calcular a Similitude Sem´antica Textual Linguam´ atica – 67 de dicion´arios electr´onicos. Linguam´atica 3(2). 23–38. Oliveira, Hugo Gon¸calo, Diana Santos & Paulo Gomes. 2010. Extrac¸c˜ao de rela¸c˜oes semˆanticas entre palavras a partir de um dicion´ario: o PAPEL e a sua avalia¸c˜ao. Linguam´atica 2(1). 77– 93. de Paiva, Valeria, Alexandre Rademaker & Gerard de Melo. 2012. OpenWordNet-PT: An open Brazilian wordnet for reasoning. En International Conference on Computational Linguistics (COLING), 353–360. Rodrigues, Ricardo, Hugo Gon¸calo Oliveira & Paulo Gomes. 2014. LemPORT: a highaccuracy cross-platform lemmatizer for Portuguese. En 3rd Symposium on Languages, Applications and Technologies (SLATE), 267– 274. Sim˜oes, Alberto & Xavier G´omez Guinovart. 2014. Bootstrapping a Portuguese WordNet from Galician,Spanish and English wordnets. En Second International Conference on Advances in Speech and Language Technologies for Iberian Languages (IberSPEECH), 239–248. Sim˜oes, Alberto, ´ Alvaro Iriarte Sanrom´an & Jos´e Jo˜ao Almeida. 2012. Dicion´ario-aberto: A source of resources for the portuguese language processing. En Computational Processing of the Portuguese Language (PROPOR), 121–127. 68– Linguam´ atica Pablo Gamallo & Mart´ın Pereira-Fari˜na