Projecte Inspira'ns: detecció d'idees relacionades

Projecte Inspira’ns Detecci´o d’Idees Relacionades TALP Research Center Universitat Polit`ecnica de Catalunya 1 ´ Index 1 Introducci´o i objectius 3 2 Creaci´o del corpus d’entrenament 3 3 Extracci´o d’atributs 5 4 Selecci´o d’atributs 7 5 Detector autom`atic de parelles d’idees relacionades 8 5.1 Detector d’idees relacionades combinat amb el classificador de categories 11 6 Recuperador autom`atic d’idees relacionades 12 A Resultats de l’avaluaci´o creuada del detector de parelles d’idees relacionades 16 A.1 Aplicacionsm`obils ................................. 16 A.2 Bancam`obil..................................... 17 A.3 BancaperInternet................................. 18 A.4 Caixers ....................................... 19 A.5 Targetes....................................... 20 B Resultats de l’avaluaci´o creuada del detector de parelles d’idees relacionades amb l’etiquetador de categories 21 B.1 Aplicacionsm`obils ................................. 21 B.2 Bancam`obil..................................... 22 B.3 BancaperInternet................................. 22 B.4 Caixers ....................................... 23 B.5 Targetes....................................... 23 C Resultats de l’avaluaci´o creuada del recuperador d’idees 24 C.1 Exactitud ...................................... 24 C.2 Precisi´oicobertura................................. 25 2 1 Introducci´o i objectius El projecte Inspira’ns compta amb un sistema online per a la recollida de suggeriments i comentaris (Idea) d’usuaris. Aquests comentaris es classifiquen per categories (Aplicacions m`obils, Banca m`obil, Banca per Internet, Caixers i Targetes), i pels temes que tracten (el tema ´es lliure, generalment es tracta de peticions de millora d’un servei o problemes detectats amb algun producte o servei, entre d’altres). Sovint els usuaris es refereixen a una mateixa Idea, ´es a dir, es reben suggeriments i comentaris repetits. Actualment, la classificaci´o d’aquestes idees es duu a terme de forma manual. L’objectiu d’aquest projecte ´es desenvolupar una metodologia que permeti detectar que una nova Idea ´es similar a una Idea anterior rebuda. ´ Es a dir, donat un conjunt Dd’idees, determinar si una nova Idea dest`a relacionada (´es similar) amb alguna de les idees del conjunt D. Per dur a terme aquesta recerca, es disposa de dades anotades manualment. El conjunt de dades consta de 729 idees, classificades en 127 grups d’idees que estan relacionades entre elles. Cadascuna de les idees pertany a un ´unic grup d’idees, ´es a dir, estan relacionades amb nom´es un grup d’idees. A m´es, cada grup s’identifica per una Idea de les que pertany al grup. El nombre d’elements de cada grup d’idees varia for¸ca. En concret, hi ha 65 grups que consten de nom´es 2 idees, 24 grups que consten de 3 idees, 9 grups que consten de 4 idees i 7 grups de 5 idees. Respecte els grups m´es nombrosos, hi ha 8 grups amb un total d’idees entre 6 i 10; 5 grups consten d’entre 11 i 20 idees; 5 grups consten d’entre 21 i 30 idees, 3 grups consten d’entre 31 i 40 idees, i el grup m´es nombr´os consta d’un total de 83 idees. Aquest informe descriu el procediment que s’ha dut a terme per determinar si ´es possible identificar autom`aticament si dues idees estan relacionades. L’objectiu ´es establir una metodologia efica¸c que porti a identificar aquestes idees. En resum, el procediment consisteix en (i) crear un corpus d’entrenament que contingui parelles d’idees i un conjunt d’atributs que representi la similitud entre dos elements d’una parella; (ii) entrenar un classificador binari que aprengui a detectar si dues idees estan relacionades o no ho estan; i (iii) analitzar els resultats. La seg¨uent secci´o 2 descriu el procediment per crear un corpus de dades adequat per aquest an`alisi. La secci´o 3 i 4 descriuen, respectivament, el proc´es d’extracci´o d’atributs a partir del corpus generat i el proc´es de selecci´o d’atributs que representen les dades de forma m´es eficient (un conjunt d’atributs m´es petit). La secci´o 5 explica el proc´es d’aprenentatge autom`atic d’un classificador binari que detecta parelles d’idees que estan relacionades i analitza els resultats obtinguts amb aquest classificador. Finalment, la secci´o 6 descriu una metodologia per obtenir un r`anquing d’idees relacionades d’un conjunt donat i seleccionar el subconjunt d’aquelles que tenen m´es probabilitats de ser idees relacionades i analitza els resultats obtinguts. 2 Creaci´o del corpus d’entrenament L’objectiu d’aquesta fase ´es crear un corpus de parelles d’idees, tant si estan relacionades com si no ho estan, a partir de les dades proporcionades. Per a cadascuna de les parelles seleccionades, es calcula un conjunt d’atributs (Secci´o 3) i es construeix un corpus d’entrenament pel detector de parelles d’idees relacionades (Secci´o 5). El nombre total de parelles que es poden obtenir a partir de les dades originals ´es de 531.441 (de les quals 16.084 s´on parelles relacionades). Aquest ´es un nombre molt elevat, tant pel temps que requereix calcular els atributs que representen a cada parella, com pel 3 temps que requereix entrenar el classificador. Per aquest motiu s’opta per seleccionar un nombre de parelles que representi aproximadament un 10% del total. El criteri de selecci´o de parelles es basa en trobar aquelles parelles d’idees no relacionades que siguin m´es semblants a les parelles relacionades, de forma que el detector de parelles relacionades sigui el m´es robust possible a l’hora d’aprendre a diferenciar-les. El procediment per obtenir aquestes parelles consisteix en crear un r`anquing de similituds (basats en ´ındexs de paraules i car`acters per accelerar el temps de c`alcul) entre totes les parelles d’idees i seleccionar (i) totes les parelles relacionades d’acord a les dades originals anotades manualment, i (ii) un conjunt de parelles no relacionades per`o que tenen una similitud alta. ´ Es a dir, les parelles d’idees no relacionades que estan m´es a prop en el r`anquing a les parelles relacionades. El procediment detallat ´es el seg¨uent: 1. Es creen quatre ´ındexs k, independents entre ells, que guarden les 729 idees del corpus d’acord a quatre caracteritzacions diferents: bag-of-words (BOW) : Cada Idea Iies representa per un vector vbow Iiamb el nombre d’ocurr`encies de cadascuna de les paraules. pseudo–cognats (COG) : Una paraula ´es un pseudo–cognat si (i) cont´e com a m´ınim un d´ıgit, (ii) cont´e nom´es lletres i la seva longitud ´es m´es gran o igual a 4, o (iii) ´es un signe de puntuaci´o (el concepte cognateness es va proposar originalment a [SFI92]). Cada Idea Iies representa amb un vector de cognats vcog Iique cont´e aquelles paraules de la Idea que s´on pseudo–cognats. 3-grames de paraules (WNG) : Anomenem n-grama a una subseq¨u`encia de nelements consecutius d’una llista d’elements. En aquest cas, generem totes les subseq¨u`encies de 3 paraules consecutives del text de cada Idea. El vector de 3-grames de paraules vwng Iirepresenta a la Idea Ii. 3-grames de car`acters (CNG) : Igual que en el cas anterior, generem totes les subseq¨u`encies de 3 car`acters presents en el text de cada Idea. El vector d’aquestes subseq¨u`encies vcng Iirepresenta una Idea Ii. 2. A continuaci´o, calculem la similitud de cada parella d’idees sk i,j com el cosinus dels vectors que representen les idees dins l’index k:sk i,j =cos(vk Ii, vk Ij). L’estimaci´o final de la similitud entre dues idees s’obt´e com la mitjana de les similituds obtingudes amb cada ´ındex: si,j =sbow i,j +scog i,j +swng i,j +scng i,j 4A partir d’aquestes similituds, es genera un r`anquing1 Rid’idees Iij de m´es a menys similars, per a cadascuna de les idees Ii. 3. Finalment, el corpus d’entrenament per al detector d’idees relacionades es composa de totes les parelles d’idees relacionades segons les dades originals (un total de 16.084 parelles) i aquelles parelles d’idees no relacionades que tenen una similitud per sobre d’un determinat llindar segons els r`anquings (en total 42.087 parelles). Aquest llindar ls’ha calculat com: l=mitjana de la similitud de les parelles relacionades 2 1Aquest r`anquing es troba al fitxer grup idees.top2bot.txt. 4 Index Ratio R’ Precisi´o R’ Precisi´o 10 Cobertura 10 WNG 68.02% 0.10 0.76 0.29 COG 49.63% 0.17 0.74 0.40 BOW 60.66% 0.16 0.77 0.38 CNG 72.69% 0.05 0.79 0.22 Taula 1: An`alisi dels r`anquings generats a partir dels ´ındexs WNG, COG, BOW i CNG. ´ Es a dir, s’han seleccionat aquelles parelles no relacionades que tenen una similitud superior o igual a la meitat de la mitjana de la similituds de les parelles que estan relacionades. En total s´on 58.171 parelles d’idees no relacionades. La taula 1 mostra un resum de l’an`alisi del contingut dels r`anquings, on la primera columna indica el nom de l’´ındex.2Per a cada Idea Iihem buscat dins el r`anquing Ritotes les idees que pertanyen al mateix grup (´es a dir, hi estan relacionades), i anotarem la posici´o pque ocupa l’´ultima idea relacionada dins el r`anquing. Aquest subconjunt d’idees [Ii1, Iip] del r`anquing l’anomenem R0 i. Calculem el percentatge d’idees que representa el subconjunt R0 i respecte el nombre total d’idees (Ratio R’), i calculem la precisi´o d’idees relacionades respecte al subconjunt d’idees R0 i. Despr´es analitzem el contingut d’un subconjunt R0 id’una mida topN determinada (enlloc de buscar la posici´o de l’´ultima idea relacionada). La taula 1 indica els resultats obtinguts de precisi´o i cobertura per a topN=10 primeres idees del r`anquing. La conclusi´o ´es que, tot i que algunes de les idees relacionades les podem trobar en posicions molt baixes del r`anquing (tercera columna), la majoria de les idees relacionades les trobem a les posicions altes (quarta columna) i per tant els ´ındexs s´on v`alids per ajudar-nos a fer la selecci´o d’idees que es necessita per construir el corpus d’entrenament del detector descrit a la secci´o 5. 3 Extracci´o d’atributs El corpus de parelles d’idees es completa afegint un conjunt heterogeni d’atributs obtinguts a partir de diferents mesures de similitud. Per a obtenir aquests atributs hem usat l’eina Asiya [GM10]. Asiya ´es un programa amb llic`encia LGPL. Inicialment es va dissenyar per a l’avaluaci´o de la traducci´o autom`atica, ´es a dir, la comparaci´o de dos textos. ´ Es per aix`o que els seus mecanismes de c`alcul de m`etriques ens permeten usar aquest programa per a altres prop`osits que requereixin la comparaci´o de dos textos. Asiya cont´e un nombre molt elevat de mesures (m´es de 500 per al castell`a i catal`a) basades en diferents principis de similitud (precisi´o, recall, overlap, etc.) i que actuen a diferents nivells ling¨u´ıstics (l`exic, sint`actic i sem`antic). Tot i que aquestes mesures s´on apropiades en la traducci´o autom`atica, no totes elles s´on adequades pel nostre prop`osit. Seleccionem un subconjunt de 46 mesures que es poden usar per comparar idees: •WER [NOLN00]: Aquesta mesura es basa en la dist`ancia de Levenshtein [Lev66]. Calcula el nombre m´ınim de substitucions, eliminacions i insercions que s’han d’efectuar per convertir un text en un altre. 2Un an`alisi m´es detallat del r`anquing de cada Idea es troba al fitxer rank analysis statistics.txt. 5 •PER [TVN+97]: Una variant de la mesura WER que compara les paraules dels dos texts sense tenir en compte l’ordre de les paraules. •TERbase, TER [SMDS09], TERp, TERp-A: TER mesura les post-edicions que s’han d’efectuar per convertir un text en un altre. A difer`encia de WER i PER, TER tamb´e compta els canvis de posici´o a dins de la seq¨u`encia de paraules. Es calculen 4 variants: TERbase nom´es t´e en compte paraules, TER usa stemming i cerca de sin`onims, TERp usa a m´es par`afrasi i TERpA ´es una mesura adaptada per mesurar la coincid`encia sem`antica. •BLEU [PRWZ02]: Mesura l`exica basada en el comptatge de n-grames de paraules per a n∈[1,4]. •NIST [Dod02]: Una variant millorada de BLEU per a n-grames ∈[1,5]. •GTM-3 [MGT03]: Mesura GTM per a valor del par`ametre e= 3 ( e´es el par`ametre que controla el guany per a coincid`encies de seq¨u`encies llargues). •ROUGE-SU* [LO04]: Una variant de la mesura ROUGE que ignora els n-grames sense max-gap-length, incloent els unigrames. •Pl, Rl, Fl, Ol: Precisi´o, cobertura, F-measure i solapament del conjunt de paraules d’un text respecte un altre text. •ESA-es, ESA-lkxa-6, ESA-lkxa-7, ESA-lkxa-8, ESA-lkxa-9, ESA-lkxa-10, ESA-lkxa-11, ESA-lkxa-12, ESA-lkxa-13, ESA-lkxa-14, ESA-lkxa-15: Explicit Semantic Analysis (ESA) compara dos texts a partir d’un vector de similituds entre cada text i un conjunt de documents. En el nostre cas, la col·lecci´o de documents consisteix en extractes de tots els articles de la Viquip`edia en castell`a. Les variants lkxa-X es corresponen a subconjunts d’articles que tenen l’etiqueta “finances” i tots els articles relacionats a una dist`ancia menor o igual a X. •METEOR-ex, METEOR-pa, METEOR-st [DL14]: 3 variants de la mesura METEOR, una que considera nom´es la coincid`encia exacta de paraules, una altre que t´e en compte par`afrasi, i la ´ultima que t´e en compte l’arrel de les paraules. •NGRAM-cosChar2ngrams, NGRAM-cosChar3ngrams, NGRAM-cosChar4ngrams, NGRAM-cosChar5ngrams, NGRAM-cosTok2ngrams, NGRAM-cosTok3ngrams, NGRAM-cosTok4ngrams, NGRAM-cosTok5ngrams, NGRAM-jacChar2ngrams, NGRAM-jacChar3ngrams, NGRAM-jacChar4ngrams, NGRAM-jacChar5ngrams, NGRAM-jacTok2ngrams, NGRAM-jacTok3ngrams, NGRAM-jacTok4ngrams, NGRAM-jacTok5ngrams: Mesures de similitud basades en el cosinus i el coeficient de Jaccard per a n-grames de tokens i car`acters (n∈[2,5] ). •NGRAM-jacCognates: Mesura basada en pseudo-cognats. •NGRAM-lenratio: Mesura basada en la proporci´o de la longitud dels texts. En total tenim 50 atributs que representen cada parella d’idees: les 46 mesures calculades per Asiya i les 4 mesures proporcionades pels´ındexs creats en la secci´o anterior: BOW, COG, 6 WNG i CNG. Com a resultat despr´es d’obtenir aquestes mesures, cadascuna de les parelles d’idees del corpus que es va construir a la secci´o 2 es representa per un vector de 50 atributs. El proc´es d’obtenir tots aquests atributs ´es computacionalment cost´os, i a m´es no tenim la certesa que la combinaci´o de tots ells sigui avantatjosa. El seg¨uent pas en aquest estudi ´es entrenar i obtenir un classificador que aprengui a diferenciar les idees relacionades de les que no ho estan. Per una banda, algun dels 50 atributs que hem calculat podria empitjorar el rendiment del nostre detector de parelles d’idees relacionades. A m´es, per altra banda, els temps necessari per entrenar el classificador augmenta tamb´e amb el nombre d’atributs que ha de processar. Per aquests motius, tal com s’explica a la seg¨uent secci´o, es realitza un estudi de selecci´o d’atributs. L’objectiu de trobar un subconjunt m´es petit que doni igual o fins i tot millor rendiment. 4 Selecci´o d’atributs La fase de selecci´o d’atributs t´e per objectiu determinar quina combinaci´o atributs ´es la que millor pot representar les dades del nostre corpus. La selecci´o d’atributs es fa en dues fases: primer es crea un r`anquing d’atributs, i despr´es s’avaluen iterativament diferents conjunts d’atributs. En la primera fase s’avalua cadascun dels atributs per separat per estimar la seva habilitat predint la similitud entre dos texts i el grau de redund`ancia entre els diferents atributs (informaci´o m´utua). A partir d’aquesta avaluaci´o es genera un r`anquing d’atributs. En la segona fase, un algoritme de selecci´o d’atributs afegeix/elimina atributs en ordre, segons el r`anquing, fins que troba el subconjunt que millor s’ajusta a les dades del corpus, i per tant les representa millor. L’algoritme d´ona prefer`encia a aquells subconjunts que presentin una correlaci´o alta amb les dades i, a la vegada, tinguin un baixa inter–correlaci´o. ´ Es a dir, que no siguin redundants entre ells [Hal98]. L’algoritme de cerca emprat ´es Greedy Stepwise3, que realitza una cerca “forward insertion” i “backward elimination” a trav´es de l’espai dels diferents subconjunts d’atributs. ´ Es a dir, pot comen¸car amb cap atribut o tots a la vegada, segons si s’escull el mode “forward” o “backward”, respectivament. A cada iteraci´o s’afegeix o es treu un nou atribut i es torna a avaluar el subconjunt. Si el nou model resulta ser pitjor que el model anterior, es torna a provar canviant l’´ultim atribut afegit/eliminat per un altre atribut. La cerca s’atura quan afegir o eliminar qualsevol de la resta dels atributs empitjora la capacitat predictiva del subconjunt d’atributs. La llista ordenada d’atributs que es va generar en la primera fase s’usa per determinar l’ordre en qu`e s’explora l’espai d’atributs. Del conjunt inicial de 50 atributs, el proc´es de selecci´o d’atributs va seleccionar els seg¨uents 31: WNG, CNG, PER, TER, TERbase, TERp, TERp-A, WER, BLEU, NIST, GTM-3, ROUGE-SU*, Ol, Pl, Rl, Fl, ESA-es, ESA-lkxa-6, ESA-lkxa-7, ESA-lkxa-8, ESAlkxa-9, ESA-lkxa-10, ESA-lkxa-11, ESA-lkxa-12, ESA-lkxa-13, ESA-lkxa-14, ESA-lkxa-15, METEOR-ex, METEOR-pa, METEOR-st, NGRAM-lenratio. ´ Es a dir, va eliminar dos atributs relacionats amb els ´ındexs de la Secci´o 2, i la col·lecci´o d’atributs NGRAM. Com a resultat de la selecci´o, ´es interessant observar que els dos m`etodes (“backward” i “forward”) van obtenir el mateix subconjunt d’atributs, el que suggereix la robustesa del subconjunt d’atributs seleccionats. Per altra banda, a l’an`alisi del r`anquing d’atributs de la primera fase es pot apreciar que tots els atributs de la col·lecci´o ESA tenen una capacitat predictiva similar (veure la taula 2). 3http://weka.sourceforge.net/doc.dev/weka/attributeSelection/GreedyStepwise.html 7 Aquests atributs s´on especialment costosos de calcular computacionalment, donat que usen col·leccions de documents molt grans. Amb l’objectiu de determinar si es pot mantenir el rendiment final del sistema millorant la efici`encia, es va decidir crear un altre subconjunt m´es petit d’atributs que nom´es inclou l’atribut ESA-lkxa-6 (el que cont´e la col·lecci´o m´es petita de documents). 5 Detector autom`atic de parelles d’idees relacionades En aquesta fase de l’estudi entrenem un classificador binari que aprengui a diferenciar (detectar) les parelles d’idees que estan relacionades (s´on similars) de les que no ho estan. El programa emprat ´es SVMlight, una implementaci´o de Support Vector Machines [Joa02].4 S’han realitzat els experiments amb kernels polin`omics de grau 1, 2 i 3, amb diferents valors de c(valor de trade-off entre l’error d’entrenament i l’hiperpl`a que separa les dades). En particular, el valor de la constant cs’ha optimitzat samplejant-la de forma logar´ıtmica entre 1e−6 i 1e+ 3. Les figures dels experiments mostren algunes de les corves de precisi´o que s’aconsegueixen en aquest proc´es. Donat que per algunes configuracions els classificadors s´on molt sensibles al valor de c, es podria fer una exploraci´o molt m´es detallada del marge i potser s’aconseguirien precisions lleugeraments superiors. L’experiment s’ha dut a terme amb els tres conjunts d’atributs descrits en les seccions anteriors: •all features: 50 atributs seleccionats de la secci´o 3. •selected features: 31 atributs seleccionats de la secci´o 4. •selected features min: 20 atributs del conjunt selected features que requereixen menys recursos i no s´on redundants. L’objectiu ´es veure si amb un subconjunt m´es petits d’atributs que requereixin menys recursos i per tant siguin m´es r`apids d’obtenir i processar, aconseguim obtenir un model tan prec´ıs com el que cont´e tots els atributs. Les dades d’entrenament final s´on 57.442 parelles amb els seus vectors d’atributs. Aquest nombre ´es lleugerament inferior que el corpus que es va construir a la secci´o 2 perqu`e s’han eliminat les parelles on es comparava una Idea amb ella mateixa. Per garantir que els resultats de l’experiment s´on independents de la partici´o de les dades d’entrenament i test, s’aplica a m´es una validaci´o creuada de 10 iteracions. Per altra banda, s’han constru¨ıt uns corpus especialitzats per a cada categoria. L’objectiu d’aquest experiment ´es determinar si un classificador especialitzat per a cada categoria ´es m´es efica¸c que un classificador general. Per aquest motiu, les proves de validaci´o es realitzen sobre el conjunt de dades de test obtingut de la partici´o corresponent, i sobre el el subconjunt de parelles de test on el primer element de la parella (Ii) pertany a una categoria determinada. En resum, totes les variables de l’experiment s´on: D: El grau del polinomi del kernel de la SVM: 1, 2 i 3. C: El valor del par`ametre cdel classificador. Categoria : Aplicacions m`obils, Banca m`obil, Banca per Internet, Caixers i Targetes. 4http://svmlight.joachims.org/ 8 forward insertion Backward elimination rank atribut rank atribut 1.0 CNG 1.0 CNG 1.0 -PER 1.0 -PER 1.0 -TER 1.0 -TER 1.0 -TERbase 1.0 -TERbase 1.0 -TERp 1.0 -TERp 1.0 -TERp-A 1.0 -TERp-A 1.0 BLEU 1.0 BLEU 1.0 ESA-es 1.0 ESA-es 1.0 ESA-lkxa-6 1.0 ESA-lkxa-6 1.0 ESA-lkxa-7 1.0 ESA-lkxa-7 1.0 ESA-lkxa-8 1.0 ESA-lkxa-8 1.0 ESA-lkxa-9 1.0 ESA-lkxa-9 1.0 ESA-lkxa-10 1.0 ESA-lkxa-10 1.0 ESA-lkxa-11 1.0 ESA-lkxa-11 1.0 ESA-lkxa-12 1.0 ESA-lkxa-12 1.0 ESA-lkxa-13 1.0 ESA-lkxa-13 1.0 ESA-lkxa-14 1.0 ESA-lkxa-14 1.0 ESA-lkxa-15 1.0 ESA-lkxa-15 1.0 Fl 1.0 Fl 1.0 GTM-3 1.0 GTM-3 1.0 METEOR-ex 1.0 METEOR-ex 1.0 METEOR-pa 1.0 METEOR-pa 1.0 METEOR-st 1.0 METEOR-st 1.0 NGRAM-cosChar2ngrams 1.0 NGRAM-cosChar2ngrams 1.0 NIST 1.0 NIST 1.0 Ol 1.0 Ol 1.0 Pl 1.0 Pl 1.0 ROUGE-SU* 1.0 ROUGE-SU* 1.0 Rl 1.0 Rl 5.6E-12 BOW 1.0 BOW 2.8E-12 COG 5.6E-12 COG 1.8E-12 WNG 2.8E-12 NGRAM-cosChar3ngrams 1.4E-12 NGRAM-cosChar3ngrams 1.9E-12 -WER 1.1E-12 NGRAM-cosChar4ngrams 1.4E-12 NGRAM-cosChar4ngrams 9.3E-13 NGRAM-cosChar5ngrams 1.1E-12 NGRAM-cosChar5ngrams 8.0E-13 NGRAM-cosTok2ngrams 9.3E-13 NGRAM-cosTok2ngrams 7.0E-13 NGRAM-cosTok3ngrams 8.0E-13 NGRAM-cosTok3ngrams 6.2E-13 NGRAM-cosTok4ngrams 7.0E-13 NGRAM-cosTok4ngrams 5.6E-13 NGRAM-cosTok5ngrams 6.2E-13 NGRAM-cosTok5ngrams 5.1E-13 NGRAM-jacChar2ngrams 5.6E-13 NGRAM-jacChar2ngrams 4.7E-13 -WER 5.1E-13 NGRAM-jacChar3ngrams 4.3E-13 NGRAM-jacChar3ngrams 4.7E-13 NGRAM-jacChar4ngrams 4.0E-13 NGRAM-jacChar4ngrams 4.3E-13 NGRAM-jacChar5ngrams 3.7E-13 NGRAM-jacChar5ngrams 4.0E-13 NGRAM-jacCognates 3.5E-13 NGRAM-jacCognates 3.7E-13 NGRAM-jacTok2ngrams 3.3E-13 NGRAM-jacTok2ngrams 3.5E-13 NGRAM-jacTok3ngrams 3.1E-13 NGRAM-jacTok3ngrams 3.3E-13 NGRAM-jacTok4ngrams 2.9E-13 NGRAM-jacTok4ngrams 3.1E-13 WNG 2.8E-13 NGRAM-jacTok5ngrams 2.9E-13 NGRAM-jacTok5ngrams 2.7E-13 NGRAM-lenratio 2.8E-13 NGRAM-lenratio Taula 2: R`anquing d’atributs segons els dos m`etodes de selecci´o d’atributs. 9 A Resultats de l’avaluaci´o creuada del detector de parelles d’idees relacionades Els seg¨uents resultats es corresponen a l’avaluaci´o dels classificadors d’idees relacionades. Cada subsecci´o es correspon a l’avaluaci´o per a un tipus d’idea. Per a cada tipus d’idea s’avaluen 6 models: (i) un model per a cadascun dels 3 conjunts d’atributs (50, 31, 20), i (ii) cadascun d’aquests entrenat amb totes les dades disponibles (model general) o entrenat nom´es amb les dades particulars de la categoria (model especialitzat). A.1 Aplicacions m`obils (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat (e) 20 Atributs; Model General (f) 20 atributs; Model Especialitzat Figura 3: Resultats obtinguts per a Aplicacions M`obils 16 A.2 Banca m`obil (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat (e) 20 Atributs; Model General (f) 20 atributs; Model Especialitzat Figura 4: Resultats obtingunts per a Banca M`obil 17 A.3 Banca per Internet (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat (e) 20 Atributs; Model General (f) 20 atributs; Model Especialitzat Figura 5: Resultats obtinguts per a Banca per Internet 18 A.4 Caixers (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat (e) 20 Atributs; Model General (f) 20 atributs; Model Especialitzat Figura 6: Resultats obtinguts per a Caixers 19 A.5 Targetes (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat (e) 20 Atributs; Model General (f) 20 atributs; Model Especialitzat Figura 7: Resultats obtinguts per a Targetes 20 B Resultats de l’avaluaci´o creuada del detector de parelles d’idees relacionades amb l’etiquetador de categories Els seg¨uents resultats es corresponen a l’avaluaci´o dels identificadors d’idees relacionades combinat amb el classificador de categories. Cada subsecci´o es correspon a l’avaluaci´o per a un tipus d’idea. Per a cada tipus d’idea s’avaluen 4 models: (i) un model per a cadascun dels 3 conjunts d’atributs (50, 31), i (ii) cadascun d’aquests entrenat amb totes les dades disponibles (model general) o entrenat nom´es amb les dades particulars de la categoria (model especialitzat). Les gr`afiques mostren els resultats obtinguts amb etiquetes de categories reals i estimats: rr s´on els models entrenats i testejats amb etiquetes reals; re s´on models entrenats amb etiquetes reals i testejats amb etiquetes estimades; i ee s´on els models entrenats i testejats amb etiquetes estimades. B.1 Aplicacions m`obils (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat Figura 8: Resultats obtinguts per a Aplicacions M`obils 21 B.2 Banca m`obil (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat Figura 9: Resultats obtingunts per a Banca M`obil B.3 Banca per Internet (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat Figura 10: Resultats obtinguts per a Banca per Internet 22 B.4 Caixers (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat Figura 11: Resultats obtinguts per a Caixers B.5 Targetes (a) 50 Atributs; Model General (b) 50 atributs; Model Especialitzat (c) 31 Atributs; Model General (d) 31 atributs; Model Especialitzat Figura 12: Resultats obtinguts per a Targetes 23 C Resultats de l’avaluaci´o creuada del recuperador d’idees Els seg¨uents resultats es corresponen a l’avaluaci´o dels recuperadors d’idees relacionades per a tres mesures (exactitud, precisi´o i cobertura) per a cadascun dels 3 conjunts d’atributs (50, 31, 20). Els millors resultats que es van obtenir amb els classificadors de grau 2, entrenats amb totes les dades disponibles (sense especialitzaci´o per categories). Cada corba es correspon a una mida diferent del conjunt d’idees relacionades que s’avalua, on t0 es correspon a una mida variable que abasta totes les parelles amb una similitud positiva. C.1 Exactitud (a) 50 Atributs (b) 31 Atributs (c) 20 Atributs Figura 13: Resultats d’exactitud per a diferents conjunts d’atributs 24 C.2 Precisi´o i cobertura (a) 50 Atributs; Precisi´o (b) 50 Atributs; Cobertura (c) 31 Atributs; Precisi´o (d) 31 Atributs; Cobertura (e) 20 Atributs; Precisi´o (f) 20 Atributs; Cobertura Figura 14: Resultats de precisi´o i cobertura per a diferents conjunts d’atributs 25