Implementación de asignación jerárquica latente de Dirichlet para modelado de temas

Equa ion Chap e 1 Sec ion 1 T abajo Fin de Más e Ingenie ía de Telecomunicación Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Au o : Ma ía Sil es e Gómez Tu o : Juan José Mu illo Fuen es Dep. Teo ía de la Señal y Comunicaciones Escuela Técnica Supe io de Ingenie ía Uni e sidad de Se illa Se illa, 2018 iii T abajo Fin de Más e Ingenie ía de Telecomunicación Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Au o : Ma ía Sil es e Gómez Tu o : Juan José Mu illo Fuen es P o eso Ca ed á ico de Uni e sidad Dep. de Teo ía de la Señal y Comunicaciones Escuela Técnica Supe io de Ingenie ía Uni e sidad de Se illa Se illa, 2018 T abajo Fin de Más e : Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Au o : Ma ía Sil es e Gómez Tu o : Juan José Mu illo Fuen es El ibunal nomb ado pa a juzga el P oyec o a iba indicado, compues o po los siguien es miemb os: P esiden e: Vocales: Sec e a io: Acue dan o o ga le la cali icación de: Se illa, 2018 El Sec e a io del T ibunal ii A mi amilia ix Ag adecimien os A mi abuela po que siemp e es a ás conmigo y po enseña me a se una mejo pe sona. Espe o que es és o gullosa. A mi mad e po el es ue zo ealizado odos es os años, po es a a mi lado y po ayuda me a c ece . A mi he mana po las a en u as compa idas, incluso las más pequeñas, y las que nos quedan po i i . A mis íos, Cin a y Jesús, y mis dos pequeños, Rubén y Manuel, po aleg a me odos los días y po es a en los buenos y en los malos momen os. A odos ellos, g acias po c ee en mí. A mi u o , Juan José Mu illo, po o ece me la opo unidad de ealiza es e p oyec o y pe mi i me p o undiza en es e á ea de conocimien o ascinan e. A él, jun o al es o de p o eso es que me han acompañado a lo la go de es os años, ag adece odo lo que he ap endido de cada uno de ellos. A odos los que siemp e es u ie on a mi lado dándome su apoyo incondicional y a las ma a illosas pe sonas con las que he coincidido du an e es os años uni e si a ios, con los que he compa ido g andes his o ias y jun o a los que he c ecido, g acias. A las odas las pe sonas que he conocido en es e úl imo año, de los que he ap endido an o p o esional como pe sonalmen e y de las que espe o segui ap endiendo, g acias po enseña me con an a paciencia y po la con ianza deposi ada en mí. Y en especial, a Jesús, po su ayuda, mo i ación cuando lo necesi aba y po aleg a me en los días de es és. Ma ía Sil es e Gómez Se illa, 2018 4.2.2 Hie a chicalLDA 33 5 Resul ados. Análisis de Pa áme os 37 5.1 Base de da os NIPS 38 5.1.1 Análisis del hipe pa áme o α 38 5.1.2 Análisis del hipe pa áme o γ 46 5.1.3 Análisis del hipe pa áme o η 50 5.1.4 Compa a i a de hipe pa áme os 54 5.2 Base de da os CORA 54 5.2.1 Resul ados con 10 ni eles 55 5.2.2 Compa a i a núme o de ni eles 70 6 Conclusiones 73 Re e encias 75 Anexo 77 ÍNDICE DE TABLAS Tabla 1. Conjun o de expe imen os pa a la alidación del algo i mo 37 Tabla 2. Hipe pa áme os del caso de es udio 1 38 Tabla 3. Resul ados del caso de es udio 1 39 Tabla 4. Resumen de los esul ados del caso de es udio 1 39 Tabla 5. Código de colo es del á bol de opics 39 Tabla 6. Hipe pa áme os del caso de es udio 2 40 Tabla 7. Resul ados del caso de es udio 2 41 Tabla 8. Resumen de los esul ados del caso de es udio 2 42 Tabla 9. Hipe pa áme os del caso de es udio 3 42 Tabla 10. Resul ados del caso de es udio 3 43 Tabla 11. Resumen de los esul ados del caso de es udio 3 43 Tabla 12. Hipe pa áme os del caso de es udio 4 43 Tabla 13. Resul ados del caso de es udio 4 44 Tabla 14. Resumen de los esul ados del caso de es udio 4 45 Tabla 15. Hipe pa áme os del caso de es udio 5 46 Tabla 16. Resul ados del caso de es udio 5 47 Tabla 17. Resumen de los esul ados del caso de es udio 5 48 Tabla 18. Hipe pa áme os del caso de es udio 6 48 Tabla 19. Resul ados del caso de es udio 6 49 Tabla 20. Resumen de los esul ados del caso de es udio 6 49 Tabla 21. Hipe pa áme os del caso de es udio 7 50 Tabla 22. Resul ados del caso de es udio 7 51 Tabla 23. Resumen de los esul ados del caso de es udio 7 51 Tabla 24. Hipe pa áme os del caso de es udio 8 52 Tabla 25. Resul ados del caso de es udio 8 53 Tabla 26. Resumen de los esul ados del caso de es udio 8 53 Tabla 27. CORA - Hipe pa áme os del caso de es udio 1 55 Tabla 28. CORA - Resul ados del caso de es udio 1 56 Tabla 29. CORA - Resumen de los esul ados del caso de es udio 1 56 Tabla 30. CORA - Código de colo es del á bol de opics 57 Tabla 30. CORA - Hipe pa áme os del caso de es udio 2 58 Tabla 31. CORA - Resumen de los esul ados del caso de es udio 2 58 Tabla 33. CORA - Hipe pa áme os del caso de es udio 3 59 Tabla 34. CORA - Resumen de los esul ados del caso de es udio 3 60 Tabla 35. CORA - Hipe pa áme os del caso de es udio 4 61 Tabla 36. CORA - Resumen de los esul ados del caso de es udio 4 61 Tabla 37. CORA - Hipe pa áme os del caso de es udio 5 62 Tabla 38. CORA - Resumen de los esul ados del caso de es udio 5 63 Tabla 39. CORA - Hipe pa áme os del caso de es udio 6 64 Tabla 40. CORA - Resumen de los esul ados del caso de es udio 6 64 Tabla 41. CORA - Hipe pa áme os del caso de es udio 7 65 Tabla 42. CORA - Resumen de los esul ados del caso de es udio 7 66 Tabla 43. CORA - Hipe pa áme os del caso de es udio 8 67 Tabla 44. CORA - Resumen de los esul ados del caso de es udio 8 67 ÍNDICE DE FIGURAS Figu a 1. Ejemplo de clasi icación usando suppo ec o machine (SVM) 2 Figu a 2. Ejemplo de Reg esión 2 Figu a 3. Ejemplo de clus e ing usando el algo i mo de K-means 3 Figu a 4. Clasi icación de los algo i mos de Topic Modelling (V. Jelisa čić, 2012) 6 Figu a 5. Rep esen ación de los da os en pLSA (V. Jelisa čić, 2012) 8 Figu a 6. Modelo asimé ico 8 Figu a 7. Modelo simé ico 8 Figu a 8. Rep esen ación g á ica del modelo LDA 10 Figu a 9. Modelo hLDA (Blei, G i i hs, Jo dan, & Tenebaum, Hie a chical Topic Models and he Nes ed Chinese Res au an P ocess, 2013) 13 Figu a 10. Rep esen ación g á ica del modelo DTM 14 Figu a 11. Rep esen ación g á ica CTM 15 Figu a 12. A la izquie da, ep esen ación g á ica del modelo PAM de 4 ni eles. A la de echa, co elación en PAM de 4 ni eles. (Li & McCallum, 2006) 16 Figu a 13. Modelo ATM 16 Figu a 14. Rep esen ación del modelo sLDA 17 Figu a 15. Rep esen ación g á ica del modelo TNG (Wang, McCallum, & Wei, 2007) 18 Figu a 16. Rep esen ación de la segmen ación AHMM (Blei & Mo eno, 2001) 19 Figu a 17. Rep esen ación g á ica de HMM (Mohi , 2014) 20 Figu a 18. Dis ibución de Di ichle pa a dis in os alo es de α . 24 Figu a 19. His og ama esul ado de aplicación del algo i mo SBC. A la izquie da, con α2=1 . A la de echa con α2=50 . (Blei Lab, s. .) 25 Figu a 20. Rep esen ación de algo i mo CRP (Ge shman & Blei, 2011) 26 Figu a 21. nCRP de es ni eles (Blei, G i i hs, & Jo dan, 2010) 27 Figu a 22. Diag ama de lujo de main() 33 Figu a 23. Diag ama de lujo de la c eación del á bol de opics 34 Figu a 24. Diag ama de lujo de la es imación del camino 35 Figu a 25. Rep esen ación pa cial del á bol de opics esul an e del caso de es udio 1 40 Figu a 26. G á ica compa a i a de dis in os alo es del hipe pa áme o α 46 Figu a 27. G á ica compa a i a de dis in os alo es del hipe pa áme o γ 50 Figu a 28. G á ica compa a i a de dis in os alo es del hipe pa áme o η 53 Figu a 29. Compa a i a gene al casos de es udio 54 Figu a 30. Á bol de opics esul an e del caso de es udio 1 pa a la base de da os CORA 57 Figu a 31. Á bol de opics de 10 ni eles del caso de es udio 2 de la base de da os CORA 59 Figu a 32. Á bol de opics de 10 ni eles del caso de es udio 3 de la base de da os CORA 60 Figu a 33. Á bol de opics de 10 ni eles del caso de es udio 4 de la base de da os CORA 62 Figu a 34. Á bol de opics de 10 ni eles del caso de es udio 5 de la base de da os CORA 63 Figu a 35. Á bol de opics de 10 ni eles del caso de es udio 6 de la base de da os CORA 65 Figu a 36. Á bol de opics de 10 ni eles del caso de es udio 7 de la base de da os CORA 66 Figu a 37. Á bol de opics de 10 ni eles del caso de es udio 8 de la base de da os CORA 68 Figu a 38. G á ica compa a i a de la base de da os CORA 69 Figu a 39. CORA - Compa a i a pa cial de cada hipe pa áme o 69 Figu a 40. Rep esen ación de opics en unción del núme o de ni eles y del expe imen o 70 Figu a 41. CORA - Rep esen ación de opics esul an e de cada expe imen o 71 No ación < Meno o igual > Mayo o igual 1 OBJETIVO Y MOTIVACIÓN lo la go de los úl imos años, la can idad de da os disponibles se ha uel o an g ande y de al a iedad que el se humano puede ex ae g an can idad de in o mación. Nos encon amos en la e a del Big Da a. An e es a inundación de in o mación, es necesa io desa olla écnicas que pe mi an el manejo de los da os. La in o mación que se puede ex ae es muy a iada: es ados de ánimo, in e eses de las pe sonas, incluso p edeci el compo amien o. Es os mé odos se engloban en lo que se conoce como machine lea ning (ML) o ap endizaje máquina. En pa icula , se de ine el ML (Mu phy, 2012) como un conjun o de écnicas o mé odos que pe mi en ex ae pa ones en los da os y usa o os pa ones pa a ealiza p edicciones u o as decisiones que poseen cie a ince idumb e. En la ac ualidad, se in ie e un g an es ue zo en alcanza soluciones a es os p oblemas, empleando es as écnicas au omá icas en las que el ac o humano se e ampliamen e educido. En conc e o, es e p oyec o busca pode maneja la in o mación con enida en ex os de di e sa índole. Po ejemplo, pa a maneja la g an can idad de a ículos disponibles en cualquie pla a o ma, es necesa io un sis ema que clasi ique es os ex os y que, el usua io, haciendo una búsqueda pueda encon a la in o mación deseada. Es e p oyec o su ge como un pun o de pa ida en la in es igación de écnicas de ap endizaje máquina pa a esol e el p oblema de clasi icación de ex os en unción de su con enido ( opic modeling). Los p oblemas que ac ualmen e in en an esol e los algo i mos de ML se pueden di idi en es g andes g upos: • Ap endizaje supe isado. En es e caso, se busca ob ene un da o de salida, llamada e ique a, en unción de los da os de en ada que se denominan ca ac e ís icas. Se dispone de un conjun o de da os de en enamien o en los que las e ique as son conocidas pa a pode lle a a cabo la p ime a ase del algo i mo, el ap endizaje. Las ca ac e ís icas pueden se de dis in os o igen: edad, géne o de una pe sona, una imagen, ex os, e cé e a. Po o o lado, las e ique as ambién pueden se de di e en es clases: alo es ca egó icos o no ca egó icos. • Ap endizaje no supe isado. En es os ipos de p oblemas se dispone de un conjun os de da os de en ada a los que se les quie e ex ae los pa ones que siguen pa a pode así ob ene in o mación in e esan e. A di e encia del caso an e io , no se dispone de e ique as de inidas. Es os p oblemas no es án an bien de inidos como los an e io es debido a que no se conoce a p io i qué pa ón se busca, po an o, la di icul ad se e inc emen ada. • Ap endizaje con e ue zo. Es menos conocido que los an e io es y se basa en la idea de lle a a cabo el ap endizaje usando e oalimen ación, eedback (Wie ing, 2012). Se emplea en campos como la eo ía de juegos, eo ía de con ol, e cé e a. A El e dade o p og eso es el que pone la ecnología al alcance de odos -Hen y Fo d- Obje i o y Mo i ación 2 En un segundo ni el, más especí ico, se pueden di e encia es ipos de p oblemas de ML: • Clasi icación. Es un ipo de p oblema de ap endizaje supe isado que se ca ac e iza po ene da os de salida ca egó icos, es deci , da os que oman alo es eales de un conjun o p e iamen e de inido. Su obje i o es ob ene un da o de salida, ) , en unción de las ca ac e ís icas de en ada, * . Se pueden di e encia dos ipos de clasi icado es: bina ios, en los que la salida puede oma dos alo es, y mul iclase, en los que la salida oma di e sos alo es. Con el clasi icado se busca una unción que elacione las en adas con una salida: )=+(*) Es a unción, sis ema de clasi icación, es desconocida y se desea encon a aquella con la que se ob enga meno e o de clasi icación. Pa a ello, se emplea un conjun o de da os de en enamien o cuyas e ique as son conocidas y, pos e io men e, se emplea á es a unción al es o de da os en los que la salida es desconocida. A es o se le llama gene alización. Se debe ob ene un clasi icado que gene alice co ec amen e a odos los da os de en ada. Figu a 1. Ejemplo de clasi icación usando suppo ec o machine (SVM) • Reg esión. Es e ipo de p oblemas se di e encian de los de clasi icación en que la salida es una a iable con inua. Algunos ejemplos de eg esión son: la p edicción de la bolsa, p edicción de localización o p edicción de la empe a u a. Se pueden encon a di e sas clases: a. Reg esión lineal, que ealiza la p edicción empleando una unción lineal. b. Reg esiones no lineales, que pueden usa unciones cuad á icas, polinómicas, adiales, … Figu a 2. Ejemplo de Reg esión • Clus e ing. Es un p oblema no supe isado en la que los da os no es án e ique ados y que busca pone los da os de en ada en di e sos conjun os. El núme o de conjun os o clus e s, K, se encuen a de inido po el usua io. En la ac ualidad, hay di e sas écnicas que buscan ob ene el núme o de 3 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas clus e s de o ma au omá ica, haciendo que la in e ención humana sea mínima. Hay di e en es modelos en unción de cómo se deseen ag upa los da os: k-means, basado en cen oides y la dis ancia de los da os a és os; algo i mo expec a ion-maximiza ion (EM) que emplea dis ibuciones es adís icas pa a de ini los clus e s. Figu a 3. Ejemplo de clus e ing usando el algo i mo de K-means O a clasi icación de los mé odos de ML se basa en el conocimien o de los pa áme os de és os. De es a o ma, se dis inguen dos modelos (Alpaydin, 2014): • Modelos pa amé icos. En es os mé odos, los pa áme os del algo i mo es án de inidos en un conjun o ini o. Po an o, se puede e que la in e ención humana es necesa ia. Tienen la en aja de se más ápidos. Sin emba go, cuen an con un mayo e o po el ac o humano. • Modelos no pa amé icos. En es os mé odos, no se de inen p e iamen e los pa áme os, o eciendo una mayo lexibilidad de los algo i mos. Sin emba go, es os modelos se hacen in a ables pa a conjun os de da os (da ase ) muy ex ensos. Un ejemplo de modelo no pa amé ico es el es imado K- NN (K- nea es neighbo ). Es e p oyec o, como se ha mencionado an e io men e, iene como obje i o clasi ica unos documen os en unción de su con enido. Es un p oblema en el que no se conoce p e iamen e el ema del ex o, sino que el usua io únicamen e posee los ex os como en ada pa a el algo i mo. Po an o, con es e p oyec o se busca emplea écnicas de clus e ing pa a clasi ica los documen os. Exis en di e sos mé odos que pueden emplea se pa a ex ae las palab as más signi ica i as de los ex os y di e encia los en unción de és as. La en Di ichle Alloca ion, Named-En i y Recogni ion o Wo d2 ec son algunos de los algo i mos empleados en los p oblemas de Topic Modeling. En el siguien e apa ado se ealiza á una in oducción a los p oblemas de ap endizaje au omá icos de inidos como Topic Modeling. 1.1. In oducción a Topic Modeling En es e apa ado se a a á el p oblema de ML elacionado con el p ocesado de ex os, en conc e o, se in oduci án algo i mos des inados a la ex acción de in o mación de dichos ex os. Debido a la g an can idad de da os y de con enido muy di e so de la que se dispone ac ualmen e, el p oblema de mine ía de da os ha ido cob ando impo ancia en los úl imos años. Hay una g an necesidad de diseña algo i mos que p ocesen es os da os y ex aigan in o mación de o ma e icien e (Agga wal & Zhai, 2012). Es os algo i mos ienen como obje i o busca pa ones en los da os de o ma dinámica y escalable. En e las uen es de in o mación disponibles se encuen an: a ículos cien í icos, pe iodís icos, co eos elec ónicos, publicaciones en edes sociales, … (Mu phy, 2012)). Es ado del A e 10 Se suponen opics; ] palab as en el ocabula io; ^ _ ` , un ec o de amaño que se emplea como pa áme o de la dis ibución de Di ichle que de ine la p opo ción de los opics de cada documen o y a , un escala empleado en la dis ibución de Di ichle que de ine la dis ibución de cada opic en unción de las palab as (Blei & La e y, Topic Models, 2009). El algo i mo LDA se puede esumi en los siguien es pasos: 1. Pa a cada opic: a. De ini una dis ibución de las palab as. Q _ ` b~dAe](a) 2. Pa a cada documen o: a. De ini un ec o de p opo ciones de opic. _ ` 0~dAe(^ _ ` ) b. Pa a cada palab a: i. Asigna un opic. Pa a ello se sigue una dis ibución mul inominal. g0,=~<hUi j _ ` 0 k ,g0,=∈{1,…, } ii. Mues ea una palab a del ocabula io. Se escoge siguiendo una dis ibución mul inomial. l0,=~<hUi m Q _ ` g0,= n ,l0,=∈{1,…,]} La siguien e igu a, mues a un g á ico del modelo LDA, donde cada nodo ep esen a una a iable alea o ia y las lechas, las dependencias en e a iables. Q ` 1:F ep esen a la es uc u a de opics; ` 1:p , las p opo ciones de cada opic po documen o y B1:p,1:4 , la asignación de un opic a cada palab a. Como se ha mencionado an e io men e, el modelo LDA hace uso de la dis ibución de Di ichle que pe enece a la amilia de las dis ibuciones exponenciales y se ca ac e iza po que sus alo es suman uno. El algo i mo LDA iene dos a iables Di ichle , la p opo ción de los opics, ` O , y la dis ibución de es os opics po el ocabula io, Q ` q . El modelo LDA p opo ciona la dis ibución conjun a de las a iables alea o ias ocul as y obse adas. Pa a halla la descomposición de opics se calcula el pos e io de las a iables ocul as dados los documen os. j ` 1:p,B1:p,1:4,Q ` 1:F s 71:p,1:4,^,a)=C j ` 1:p,B ` 1:p,Q ` 1:F s 7 _ _ ` 1:p,^,a) ∫ ∫ j ` 1:p,B ` 1:p,Q ` 1:F s 7 _ _ ` 1:p,^,a) u _ _ ` :w x _ _ ` :y Es a exp esión es in a able debido a la in eg al del denominado . Po an o, es necesa io aplica mé odos de ap oximación. Cada una de ellas posee en ajas e incon enien es, pe o es muy impo an e elegi aquella en la que exis a un comp omiso en e la elocidad, la complejidad, la p ecisión y la simplicidad concep ual. Exis en di e sas écnicas: • In e encia a iacional de campo medio (D. M. Blei, 2003). Es e mé odo busca simpli ica la exp esión del pos e io empleando una pa ame ización que se ace que al e dade o alo . Pa e de la idea de que el mo i o de que la exp esión sea in a able es la dependencia exis en e en e las a iables. Po an o, se ha án uso de unos pa áme os con los que se consegui á la independencia de dichas a iables. ^ O gO,z lO,z Qq a N D K Figu a 8. Rep esen ación g á ica del modelo LDA 11 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Se asigna á un pa áme o a cada una de las a iables. Finalmen e, el cálculo del pos e io se ealiza con la siguien e exp esión: {( ` 1:p,B1:p,1:4,Q ` 1:F)= | { j Q ` q s F q}1 ~ ` q) |• {( ` O|Ä ` O) | {(BO,z|Å _ ` O,z) 4 z}1 Ç p O}1 donde cada a iable ocul a se desc ibe po una dis ibución: Q ` 1:F son los opics cuyos alo es ienen dados po la dis ibución de Di ichle de pa áme o ~ ` q ; la p opo ción de los opics ` 1:p iene dada po la dis ibución de Di ichle de pa áme o Ä ` O ; y la asignación del opic iene desc i a po una dis ibución mul inomial de pa áme o Å _ ` O,z . Una ez calculado el pos e io , la unción obje i o a minimiza iene dada po la dis ancia Kullback- Leible (KL): ÉeW min Ä _ ` 1:d,~ _ ` 1: ,Å _ _ ` 1:d,1:: á({ j _ ` 1:d,B1:d,1::,Q _ ` 1: k ||C j _ ` 1:d,B1:d,1::,Q _ ` 1: s 71:d,1::)) Es a unción obje i o no es a able y debe eemplaza se po o a que hace uso de los pa áme os p e iamen e in oducidos: ℒ= I â ä log j Q ` q s a) ã F q}1 + I â ä log j ` O s ^ ` ) ã p O}1 + II â ä log j gO,z s ` O) ã 4 z}1 p O}1 + II â ä log j 7O,z s gO,z,Q ` 1:F) ã 4 z}1 p O}1 +å({) Donde å hace e e encia a la en opía. • Mues eo de Gibbs (G i i hs & S ey e s, 2004). Mé odo p opues o po G i i hs y S ey e s que oma mues as del pos e io pa a ap oxima las con una dis ibución. Se conside a uno de los mé odos de Mon e Ca lo de cadenas de Ma ko (MCMC, Ma ko Chain Mon e Ca lo). Es os mé odos cons uyen cadenas de ma ko con la dis ibución deseada a pa i de una se ie de mues as. El p oceso de mues eo comienza as la ejecución de un g an núme o de pasos pa a asegu a la es abilidad. Es e mé odo ob iene la dis ibución condicional de la a iable la en e B a pa i de la exp esión: G(B>=@|Bç>,7)∝ =ç>,? (éè)+Q =ç>,? (·) +lQ=ç>,? (Oè)+^ =ç> (Oè)+ ^ donde: =−A,@ (7A) es el núme o de eces que apa ece la palab a 7A en el opic @ =−A,@ (·) es el núme o o al de palab as asignadas al opic @ =−A,@ (0A) es el núme o de palab as del documen o 0A asignadas al opic @ =0A es el núme o o al de o as palab as en el documen o 0A Pa a ealiza el mues eo se inicializa la a iable BA a un alo comp endido en e 1 y el núme o o al de opics y se a ac ualizando en cada i e ación con la exp esión. T as nume osas i e aciones, cuando se alcanza una dis ibución es aciona ia, se oma án las mues as de BA . Es ado del A e 12 2.3 Hie a chical LDA (hLDA) Es e modelo es una ex ensión del mé odo LDA p opues o po Blei en 2003 (Blei, G i i hs, Jo dan, & Tenebaum, Hie a chical Topic Models and he Nes ed Chinese Res au an P ocess, 2013) que o ganiza los opics en una es uc u a en á bol en luga de la es uc u a plana usada en LDA. Es e modelo se ca ac e iza po combina el cálculo del p io con la e osimili ud basándose en la a iación je á quica del LDA. Dado un co pus en el que cada documen o con iene unas palab as, se busca descub i los opics p esen es en cada documen o, o ganizándolos je á quicamen e. Emplea una ap oximación bayesiana no pa amé ica que pe mi e cons ui el á bol de opics con o me an llegando los da os, es e modelo se denomina nes ed Chinese Res au an P ocess (nCRP) y es una adap ación del algo i mo CRP pa a emplea lo con je a quías. Cada nodo de la es uc u a ep esen a una a iable alea o ia que iene asociada la dis ibución palab a- opic. Es e algo i mo iene en cuen a dos conside aciones: se debe de ini la p o undidad del á bol y cada documen o queda asociado a una ama de dicho á bol, aunque idealmen e pueda pe enece a a ias. Conside ando el conjun o de da os de en ada, co pus, o mado po documen os que con ienen palab as de cie o ocabula io, el modelo asume que es as palab as se han gene ado siguiendo un mé odo de mezcla de palab as donde cada p opo ción, C , es alea o ia. Cada una de es as palab as es á asociada a uno o a ios opics, B . El modelo pa e de un á bol p e iamen e de inido de L ni eles y de ine un p oceso de es pasos pa a gene a los documen os: • P ime o, se elige un camino desde un nodo aíz a una hoja. • Segundo, se de ine un ec o de p opo ciones de opics, C , siguiendo la dis ibución de Di ichle . • Te ce o, se gene an las palab as del documen o median e una mezcla de opics desde el nodo aíz al nodo hoja empleando el ec o p e iamen e calculado, C . El algo i mo CRP se emplea pa a gene a la es uc u a del á bol de o ma alea o ia, de ine el p io de las p opo ciones de cada opic. Finalmen e, el algo i mo hLDA puede es uc u a se en: 1. Elegi el nodo aíz, ë1 2. Pa a cada ni el UC∈{2,…,á} : a. Elegi el nodo, ëU−1 , a endiendo a las exp esiones del algo i mo de nCRP: ( =V0VCVëh É0VCAC | C ÉUÉíeÉìC eîïAÉì)=C ñ> Ä+ñ−1 ( ìAWhAî=iîC=V0VC0îìVëh É0VC | C ÉUÉíeÉìC eîïAÉì)=C Ä Ä+ñ−1 b. Elegi nodo ëU a pa i del an e io . 3. Calcula el ec o de p opo ciones de opics, , empleando la dis ibución de Di ichle . 4. Pa a cada palab a =C∈{2,…,:} : a. Selecciona un opic BC∈{2,…,g} siguiendo la dis ibución mul inomial. b. Selecciona las palab as asociadas al opic ëB . Es e modelo se ilus a en la siguien e igu a, donde el nodo T hace e e encia al conjun o in ini o de amas de L ni eles c eados con el algo i mo nCRP. Dado un T, la a iable ëñ,U hace e e encia al opic asociado al ni el U y al camino ñ . En el caso de que llegue un nue o documen o que no es á e lejado en el á bol, se emplea á el algo i mo nCRP pa a asocia lo a su camino. Se debe ene en cuen a que es e nue o documen o puede compa i camino con o o documen o p e iamen e asociado, o pa i de uno comple amen e nue o. Es o se aduce en que el pos e io de un nue o documen o puede depende del pos e io de los documen os p e iamen e p ocesados. 13 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Figu a 9. Modelo hLDA (Blei, G i i hs, Jo dan, & Tenebaum, Hie a chical Topic Models and he Nes ed Chinese Res au an P ocess, 2013) Al igual que en el mé odo LDA, el pos e io equie e de una ap oximación pa a pode se calculable. En es e caso, el mé odo p opues o po Blei es el mues eo de Gibbs, de allado en el apa ado an e io . Las a iables necesa ias son: 7ó,z , co esponde a la n-ésima palab a del m-ésimo documen o; ëó,ò , el nodo co espondien e al l-ésimo opic en el m-ésimo documen o; y Bó,z , que co esponde a la asignación de la n-ésima palab a del m-ésimo documen o a uno de los L opics disponibles. Con el mé odo de Gibbs se quie e mues ea las a iables ëó,ò y Bó,z . El p oceso de mues eo se di ide en dos pa es: 1. Mues ea Bó,z con el mé odo desc i o en LDA. 2. Dados los alo es de las a iables ocul as en LDA, mues ea ëó,ò , empleando el p io de CRP. La dis ibución de los L opics asociados al documen o ñ iene dado po : ( ôó | ö,ôçó,õ)C∝C ( öó | ô,öçó,õ) ( ôó | ôçó)CC Pa a calcula la e osimili ud es necesa io hace la ap oximación: ( öó | ô,öçó,õ)=C | Γ m =ùû,ü,çó (·) +la n ∏ Γ m =ùû,ü,çó (é) +a n é ∏ Γ m =ùû,ü,çó (é) +=ùû,ü,ó (é) +a n é Γ m =ùû,ü,çó (·) +=ùû,ü,ó (·) +a n ° ò}1 donde: =ùû,ü,çó (é) es el núme o de eces que apa ece la palab a 7 en el opic ëó,ò en los documen os que no sean el ac ual. l es el amaño del ocabula io. Γ(·) es la unción gamma es ánda . 2.4 Dynamical Topic Model (DTM) Es un modelo publicado en 2006 (Blei & La e y, Dynamic Topic Models, 2006) y se p esen a como una mejo a del modelo LDA en el que se iene en cuen a la e olución empo al de los opics en una colección de documen os. En los mé odos p opues os an e io men e, los documen os se suponían independien es. Sin emba go, en nume osos ex os la e olución empo al se conside a un ac o impo an e, po ejemplo, en los co eos elec ónicos, a ículos pe iodís icos, e c. Po an o, la echa de los documen os que o man el co pus co esponde a un me ada o empleado po el algo i mo. El modelo DTM sepa a los da os po echa, po ejemplo, ag upándolos po año. Se modelan los documen os Es ado del A e 14 de cada g upo, eniendo en cuen a que los opics del g upo i e olucionan de los opics del g upo i−1 . Es e mé odo no emplea las dis ibuciones de Di ichle , como lo hacían los modelos an e io es, debido a que no esul a manejable. En su luga , usa una dis ibución Gaussiana de media ^ pa a el cálculo de p opo ciones de los opics. El p oceso gene a i o pa a el g upo empo al i es: 1) Selecciona los opics Qi|CQi−1~9(Qi−1,¢2£) 2) Calcula las p opo ciones ^i|C^i−1~9(^i−1,§2£) 3) Pa a cada documen o: a. De ini a~9(^•,ɶ£) b. Pa a cada palab a: i. Calcula el opic gC~<hUi j ß ( a )k ii. Ob ene la palab a asociada al opic li,0,=C~<hUi m ß j Qi,B kn La ep esen ación g á ica de es e modelo, como puede ap ecia se en la igu a, es más compleja. Cada columna co esponde a un g upo empo al y puede ap ecia se cómo se encuen an elacionadas. Figu a 10. Rep esen ación g á ica del modelo DTM En inc emen o de la complejidad de es e modelo hace que el cálculo del pos e io sea in a able. Además, los modelos de ap oximaciones empleados en los mé odos es á icos no son adecuados, sino que equie e de o os más complejos que buscan op imiza los pa áme os de las a iables la en es empleando la di e gencia KL espec o al alo eal del pos e io , inco po ando el ac o empo al. Los posibles mé odos de ap oximación son: • Va ia ional Kalman Fil e ing. Es e modelo no conside a la exis encia de opics, los cálculos son más simples Q ® i|CQi~9(Qi,© ™ i2£) . Seguidamen e, empleando el il o de Kalman se ob iene la media y la a ianza del pos e io y, se epi en los pasos pa a cada g upo empo al. • Va ia ional Wa ele Reg ession. Emplea la descomposición de Wa ele pa a ealiza las ap oximaciones del pos e io y el mé odo de g adien e ascenden e pa a ob ene el óp imo. El modelo DTM o ece la en aja de la in oducción de la a iable empo al en los da os de en ada pa a ob ene nue as elaciones en e documen os. Sin emba go, ambién cuen a con algunos incon enien es como son: el núme o de opics ijo, la disc e ización del iempo o la complejidad del algo i mo que c ece ápidamen e con la g anula idad del iempo que a ec a a la ca ga compu acional. 2.5 Co ela ed Topic Model (CTM) Mé odo p opues o po Blei en 2007 que mejo a el modelo LDA in oduciendo co elaciones en e opics (Blei 15 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas & La e y, A Co ela ed Topic Model o Science, 2007). En los modelos an e io es, cada uno de los opics se suponen independien es del es o. Con es e modelo se quie e encon a una es uc u a de documen os más compleja eniendo en cuen a las elaciones en e opics. Gene almen e, es e modelo se adap a mejo a los da os debido a la mayo in o mación que se iene en cuen a. CTM hace uso de dis ibuciones no males pa a el cálculo de las p opo ciones de los opics, pe mi iendo e la co elación en e és os. La no ación que sigue es e modelo es la siguien e: o 7O,z es la n-ésima palab a del documen o d-ésimo. o Qq es la dis ibución del opic b o BO,zC se e ie e a la asignación de un opic a la n-ésima palab a del d-ésimo documen o. o O es la p opo ción de cada opic del d-ésimo documen o. Es e modelo sigue el p oceso gene a i o: 1) Es ima la dis ibución de los opics =+ ( a ) =C ´¨≠C{Æ} ∑ ´¨≠C{Æè} è donde a sigue una dis ibución mul inomial. 2) Pa a cada palab a de cada documen o a. Asigna un opic BO,z|CaC~<hUi( O) b. Asigna una palab a 7O,z| Ø BO,z,Q1:F ∞ ~<hUi(QJ±,≤) Es e p oceso se mues a en la siguien e imagen: Figu a 11. Rep esen ación g á ica CTM Como puede obse a se, es e mé odo es muy pa ecido al LDA sal o en la ob ención de las p opo ciones de los opics. En es e caso se emplea una dis ibución mul inomial en luga de la de Di ichle . Al igual que en LDA, se emplea el mé odo de ap oximación de in e encia a iacional de campo medio pa a calcula los pa áme os de o ma que la di e gencia KL en a la ap oximación y el e dade o pos e io sea mínima. Sin emba go, al emplea dis ibuciones no males, es e p oceso se complica. 2.6 Pa achinko Alloca ion Model (PAM) Mé odo in oducido en 2006 como al e na i a a CTM (Li & McCallum, 2006). Al igual que es e úl imo, PAM iene en cuen a las co elaciones en e opics pa a ex ae la in o mación ocul a en los documen os. Sin emba go, pa a conside a las co elaciones se ealiza una ede inición del concep o de opic. En es e modelo se conside a como una dis ibución an o de las palab as como de o os opics. Pa a ello, hace uso del mé odo conocido como di ec ed acyclic g aph, DAG, es un modelo en á bol, en el que cada nodo in e no ep esen a un opic que sigue una dis ibución de Di ichle en e a sus hijos. Pa iendo del nodo aíz, se mues ea uno de sus hijos siguiendo pa a ello la dis ibución mul inomial y se con inúa con el p oceso has a llega a una hoja del á bol, una palab a. Es ado del A e 16 Figu a 12. A la izquie da, ep esen ación g á ica del modelo PAM de 4 ni eles. A la de echa, co elación en PAM de 4 ni eles. (Li & McCallum, 2006) Al igual que el es o de modelos, es necesa io aplica una ap oximación pa a el cálculo del pos e io . PAM p opone hace uso del mues eo de Gibbs, mé odo p e iamen e p esen ado. PAM posee la en aja de pode ob ene co elaciones anidadas y no se es inge a usa la dis ibución no mal. Además, soluciona el p oblema de escalado de CTM, donde únicamen e se modela la co elación po pa es. 2.7 Au ho Topic Model (ATM) Se publica en 2004 como una ex ensión del modelo LDA (Rosen-Z i, G i i hs, S ey e s, & Smy h, 2004) y, pos e io men e, es e isado en 2010. Se undamen a en los mismos p incipios que los modelos an e io es, pe o añade el uso de me ada os pa a ex ae la in o mación del au o del ex o. Cada palab a de un documen o se asocia á a un opic y a un au o . Es e modelo e a cada au o como una dis ibución de opics y, al igual que en LDA, cada opic es una dis ibución de palab as. Con es os modelos se puede ex ae más in o mación de los documen os, po ejemplo, los emas sob e los que esc ibe de e minado au o o qué au o es esc iben sob e un de e minado ema. Pa e de la idea de que un g upo de au o es, É0 , deciden esc ibi sob e de e minado ema. Cada palab a de esos documen os se elige po el au o siguiendo una dis ibución y, de la misma mane a que en LDA, se elige el opic siguiendo una dis ibución an o de palab as como de au o es. En la siguien e igu a se ep esen a el modelo ATM. Figu a 13. Modelo ATM 17 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas donde ; es el au o co espondien e a una palab a, 7 , elegido del conjun o É0 . Los pesos de cada au o se emplean pa a selecciona el opic B y cada palab a se gene a siguiendo la dis ibución Å . Como mé odo de ap oximación del pos e io se emplea el mues eo de Gibbs debido a su simplicidad. En es e caso, el núme o de a iables la en es se inc emen a. No sólo se conside a la dis ibución de los opics, CB , sino que ambién se ha de ene en cuen a la dis ibución de los au o es, ;. 2.8 Supe ised LDA (sLDA) A di e encia de los modelos an e io es, sLDA es un mé odo supe isado que su ge en 2007 como ex ensión del LDA que añade una a iable obse able, e ique a, a cada documen o (Blei & McAuli e, Supe ised Topic Models, 2007). Busca esol e los p oblemas de p edicción, es deci , el obje i o del algo i mo es ob ene aquellos opics que mejo se adap en a u u os documen os no e ique ados. Es e modelo debe á modela no sólo los documen os, como hacía LDA, sino ambién la espues a de cada uno. Po an o, los pasos a segui son: 1) Modela las p opo ciones de opics. ` O~dAe(^ ` ) 2) Pa a cada palab a: a. Asigna un opic. Pa a ello se sigue una dis ibución mul inominal. gO,z~<hUi j ` O k b. Elegi una palab a del ocabula io. Se escoge siguiendo una dis ibución mul inomial. lO,z~<hUi j Q ` ¥±,≤ k 3) Modela la espues a: )~9(aµB ¶ ,¢¶) donde B ∑ =(1 : ∑ B= : ==1 ) Se puede obse a que la única di e encia con el mé odo LDA es la adición del modelado de la espues a. La siguien e imagen mues a la ep esen ación g á ica de es e modelo. Figu a 14. Rep esen ación del modelo sLDA Po úl imo, pa a ealiza el cálculo del pos e io se emplea el mé odo de ap oximación Expec a ion- Maximiza ion (EM), al igual que en el modelo LDA. Con la di e encia de que es necesa io añadi la a iable espues a. 2.9 Di ichle Mul inomial Reg ession (DMR) Modelo publicado en 2008 como ex ensión del LDA cuya idea p incipal es la inco po ación de me ada os de los documen os alea o ia sin una codi icación adicional (Mimno & McCallum, 2008). Al igual que sLDA, es un mé odo de ap endizaje supe isado. La inclusión de los me ada os se ealiza median e un p io en las dis ibuciones que es una unción de algunas ca ac e ís icas de los documen os, como son el au o , echas o e e encias. Dado un documen o, 0 , sea ;0 un ec o que con iene la ca ac e ís ica que ep esen a a los me ada os. Pa a cada opic, i , se dispone de un ec o con la longi ud del núme o de ca ac e ís icas, ~i . Con es os pa áme os de inidos, el modelo gene a i o de DMR es: 1) Pa a cada opic i : Es ado del A e 18 a. Es ima ~i~9 ( 0,¢2£ ) b. Es ima Åi~dAe ( Q ) 2) Pa a cada documen o 0 : a. De ini pa a cada opic ^0i=expC(;0ª~i) b. Es ima la p opo ción de cada opic 0~dAe(^0) c. Pa a cada palab a A i. Es ima el opic asociado: BA~<hUi( 0) ii. Es ima las palab as asociadas al opic: 7A~<hUi(ÅBA) Es e modelo incluye es hipe pa áme os: ¢2 , la a ianza del p io ; Q , pa áme o de las dis ibuciones opic- palab a; y ª , el núme o de opics. Pos e io men e, se debe calcula la e osimili ud. Pa a ello, es necesa io aplica el mé odo de mues eo EM en el que en un paso se mues ea la asignación de opics a pa i del opic ac ual dadas unas ca ac e ís icas y, en el o o, se op imiza ~ dada una asignación. 2.10 Topical N-G ams (TNG) Modelo de inido en 2007 que, al con a io de LDA que supone que cada documen o es un simple conjun o de palab as (bag o wo ds), iene además en cuen a la conside ación de la elación secuencial en e las palab as, siendo capaz de modela ases complejas (Wang, McCallum, & Wei, 2007). Po an o, es e mé odo no sólo descub e los opics de un documen o sino ambién ases elacionadas con el opic. El p ocedimien o de gene ación de palab as se puede e en dos pa es: p ime o, mues ea un opic asociado a dicha palab a y su es ado como un big am, una secuencia de dos elemen os adyacen es; segundo, mues ea la palab a a pa i de la dis ibución del big am. La siguien e imagen mues a la ep esen ación de es e modelo. Es e es a igu a puede ap ecia se la in oducción del big am en la a iable ¢ , que sigue una dis ibución mul inomial de pa áme o § , así como la a iable º , que ep esen a la dis ibución de las palab as eniendo en cuen a la palab a an e io . Figu a 15. Rep esen ación g á ica del modelo TNG (Wang, McCallum, & Wei, 2007) Pa a la ap oximación del pos e io se emplea, al igual que en o os mé odos an e io men e explicados, el mues eo de Gibbs. Como conclusión de TNG, es un modelo que emplea las elaciones semán icas pe mi iendo el modelado de concep os o ases compues as. Sin emba go, eso hace que los cos es compu acionales se ean inc emen ados conside ablemen e. 19 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 2.11 Aspec Hidden Ma ko Model (AHMM) Modelo p esen ado en 2001 como combinación de HMM y aspec model (AM) pa a la aplicación en p ocesado de lenguaje na u al (Blei & Mo eno, 2001). Es e modelo e a cada documen o como una colección de palab as mu uamen e independien es, cada una de es as palab as ha sido gene ada siguiendo un a iable ocul a que e leja el opic. AHMM segmen a un nue o documen o omando palab as Vi con una en ana de amaño L y empleando el algo i mo de Vi e bi pa a encon a la secuencia de opics B más p obable en es a en ana. Pa a la ap oximación se emplea el mé odo EM. Figu a 16. Rep esen ación de la segmen ación AHMM (Blei & Mo eno, 2001) 2.12 Named En i y Recogni ion (NER) Named En i y Recogni ion es un p oblema de ML que busca ca ego iza palab as impo an es en un ex o. En e sus di e sas aplicaciones se encuen a la ex acción de in o mación de los documen os pa a una pos e io clasi icación (Mohi , 2014). Los algo i mos NER se in oduje on po p ime a ez en 1996 en la sex a con e encia sob e en endimien o del mensaje (MUC – Message Unde s anding Con e ence). An es de p o undiza en los algo i mos es impo an e in oduci el concep o Named En i y, que es una palab a o ase que iden i ica cla amen e una en idad ( ase, pá a o, ex o, e cé e a) de o o conjun o con a ibu os pa ecidos. En MUC se de inie on es posibles e ique as: • ENAMEX, que incluye es ipos: pe sonas, o ganizaciones y luga es. • TIMEX, que incluye echa y iempo. • NUMEX, que hace e e encia al dine o, po cen aje y can idad. Pos e io men e, se in odujo o o es ánda de e ique ado, denominado BIO, el cual u iliza las clases de la o ma B – X, I – X y O, donde X es el nomb e de una ca ego ía (PER – pe sona, ORG – o ganización, LOC – localización), B co esponde al p ime oken (palab a) de la en idad X, I es un oken de X que no es el p ime o y O, cuando no pe enece a ninguna ca ego ía. O a al e na i a es el o ma o BILOU, donde L iden i ica al úl imo oken y U a una en idad de una única palab a. O iginalmen e, NER se empleaba pa a ex ae pe sonas, luga es y o ganizaciones. Sin emba go, con la en ada de o os dominios, es necesa io in oduci nue os ma cado es o clases. Exis en dos posibles amas de algo i mos NER: basados en eglas y es adís icos. En los siguien es apa ados se in oducen cada uno de ellos. 2.12.1 NER basado en egla Son los p ime os sis emas de econocimien o de en idades y emplean eglas manuales pa a de ec a las en idades. La mayo ía de es os sis emas p esen an los siguien es componen es: 1) Reglas pa a la ex acción de en idades 2) Dicciona ios geog á icos, gaze ee s 1 , pa a los di e en es ipos de las clases de en idades 1 Gaze ee s es un é mino empleado no malmen e pa a e e i se al léxico especí ico de un dominio. An eceden es 26 mesa ocupada con p obabilidad p opo cional al núme o de clien es an e io es o en una mesa desocupada con p obabilidad p opo cional a Ä : œ ( ñîìÉCVëh É0ÉCAC | ëUAî=iîìCÉ=iîeAVeîì)=C =A Ä+=−1 ( ìAWhAî=iîCñîìÉC0îìVëh É0É | ëUAî=iîìCÉ=iîeAVeîì ) =C Ä Ä+=−1 donde =A es el núme o de clien es que ac ualmen e es án sen ados en la mesa A y = , el núme o de clien es que hay ac ualmen e en el es au an e. Se puede obse a cómo a mayo alo de Ä , mayo núme o de mesas ocupadas, es deci , menos clien es po mesa. En el caso de opic modeling se aduci ía en que hab ía un mayo núme o de opics y menos documen os en cada uno. Po an o, se concluye que los emas se ían más especí icos y, po an o, hab ía menos documen os en cada uno. La siguien e igu a mues a un ejemplo de asignación de mesas con el algo i mo CRP. Figu a 20. Rep esen ación de algo i mo CRP (Ge shman & Blei, 2011) T as sen a se : clien es, enemos una pa ición de : elemen os cuya es uc u a es simila a la ob enida con los p ocesos de Di ichle . Si se asume que cada mesa se ca ac e iza po el pa áme o A que sigue una dis ibución, cada clien e se asocia á al pa áme o de la mesa en la que se sien e. El esul ado es una secuencia de es os pa áme os que puede e se como un clus e ing p obabilís ico. Con el modelo CRP es posible de e mina el núme o de clus e s (núme o de mesas ocupadas) a pa i de los da os y, pos e io men e, pe mi e asigna a es os clus e s nue os da os. Es e mé odo es muy ú il pa a los algo i mos de opic modeling, po ejemplo, LDA, debido a que se pueden es ablece elaciones uno a uno en a las mesas y los componen es del algo i mo. Sin emba go, en modelos de je a quía, como HLDA, se emplea una ex ensión de CRP, denominada Nes ed Chinese Res au an P ocess (nCRP) debido a que cada da o se puede asocia a múl iples componen es de la je a quía. Una ca ac e ís ica del modelo CRP es su in e cambiabilidad de su dis ibución. Es o quie e deci que dicha dis ibución no depende del o den de llegada de los clien es. Es a p opiedad es muy impo an e pa a el cálculo del pos e io ya que pe mi e el uso de écnicas de Mon e Ca lo pa a hace lo más manejable. 3.4 Nes ed Chinese Res au an P ocess Como se ha mencionada an e io men e, es una ex ensión del algo i mo CRP que se emplea en el modelado de opics je á quico. nCRP se puede de ini suponiendo el escena io donde hay un núme o in ini o de es au an es chinos de in ini as mesas en una ciudad. Uno de es os es au an es se á el nodo aíz y en cada una de sus in ini as mesas hab á una a je a con el nomb e de o o es au an e. En odos los siguien es es au an es sucede á lo mismo, end án en cada una de sus mesas una a je a de o o es au an e. Se supond á que cada es au an e se e ie e una única ez. Po an o, los es au an es de la ciudad se o ganizan en un á bol de in ini as amas, donde cada uno de ellos se asocia a un ni el en el á bol. Cada ez que un clien e en a en un es au an e elige una mesa 27 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas siguiendo el p oceso de CRP. Un ejemplo es un u is a que llega a una ciudad y en su p ime a noche en a en el es au an e aíz donde elige sen a se en una mesa de e minada po CRP. La segunda noche se di ige al es au an e ecomendado po la a je a de la mesa en la que se sen ó y allí elige o a mesa. Es o se epi e du an e L días cuando el clien e iene un conjun o de L es au an es isi ados que cons i uyen un ayec o desde el nodo aíz has a el L-ésimo es au an e. Si es e p oceso lo epi en M u is as, el conjun o de ayec os o man un á bol de L ni eles. Es a dis ibución se emplea como p io en el modelado de opics je á quico en el que cada documen o desc ibe uno de los ayec os del á bol. La siguien e igu a mues a la es uc u a en á bol del modelo nCRP donde cada nodo ep esen a uno de los es au an es. Puede ap ecia se cómo cinco clien es llegan al p ime es au an e y se sien an en de e minadas mesas que los lle an a o o es au an e. Figu a 21. nCRP de es ni eles (Blei, G i i hs, & Jo dan, 2010) 4 ALGORITMO IMPLEMENTADO. HLDA Those who can imagine any hing, can c ea e he impossible - Alan Tu ing - n es e capí ulo se desa olla á el algo i mo implemen ado pa a esol e el p oblema de opic modeling. Ese modelo se denomina Hie a chical La en Di ichle Alloca ion, hLDA, y emplea los mé odos desc i os en el capí ulo an e io pa a elabo a una es uc u a je á quica en á bol con los opics de los documen os empleados como da os de en ada. Cada nodo se co esponde a un opic y cada documen o posee á an os opics como nodos enga su ayec o. El algo i mo LDA de inido en el Capí ulo 2 de ine los opics como dis ibuciones de p obabilidad sin elación en e ellos. Es o p esen a el incon enien e de que se desconoce el ni el de abs acción de los opics así como la posible elación en e ellos. Es os p oblemas se solucionan con el uso de nCRP, que si e como base pa a el modelo hLDA. El algo i mo nCRP pe mi e de ini el p io en una opología en á bol sin limi a la ami icación o p o undidad del á bol, de o ma que los opics más gené icos se encuen an si uados en los nodos más ce canos al aíz y los más especí icos, al ededo de las hojas del á bol. Una ez de inido el modelo se emplea á una in e encia p obabilís ica pa a iden i ica an o los opics como las elaciones en e és os. Se conside a á un conjun o de da os o mado po un co pus de documen os. Cada documen o es una colección de palab as y cada palab a o ma pa e de un ocabula io. hLDA asume que las palab as de un documen o se han gene ado con o me a un modelo p obabilís ico. Conside ando la a iable mul inomial, B , y el conjun o de dis ibuciones asociadas a cada palab a, (7|B,Q) donde Q es un hipe pa áme o. Es e conjun o de dis ibuciones con o ma á los opics del documen o. Cada documen o pe enece á a un opic con cie a p obabilidad, . Tempo almen e se asume un conjun o de opics ini o, . Po an o, la a iable B oma á alo es en e los posibles opics y se á un ec o de dimensiones que de ine la p obabilidad de pe enencia a cada opic. De inidos es os pa áme os, el algo i mo LDA se de ine como un p oceso gene a i o de dos ni eles en los que cada documen o se asocia a cada opic con una de e minada p opo ción y el co pus se modela como una dis ibución de Di ichle de es as p opo ciones. Los dos ni eles son: 1) Elegi un ec o . 2) Pa a cada documen o, mues ea palab as siguiendo la dis ibución (7| ) pa a el alo escogido de . Puede ap ecia se la independencia exis en e en e opics. Como al e na i a, se p opone el modelo hLDA donde se supone que se pa e de un á bol de á ni eles en el que cada nodo es un opic. Un documen o se gene a siguiendo es e p oceso: 1) Elegi un camino desde el nodo aíz al nodo hoja. 2) Es ima el ec o de p opo ciones de opics a pa i de la dis ibución de Di ichle de á dimensiones. 3) Gene a las palab as del documen o a pa i de los opics p esen es en el camino desde el nodo aíz a la hoja. Finalmen e, se emplea á el algo i mo nCRP pa a elaja la condición de es uc u a ija del á bol, calculando el p io . Un documen o se gene a p ime o eligiendo un camino del á bol de á ni eles y se escogen las palab as a endiendo a los á opics asociados a dicho camino. E Algo i mo Implemen ado. hLDA 30 Fo malmen e, conside ando el á bol in ini o cons uido po nCRP y de iniendo ë0 como el camino azado po el 0 -ésimo documen o, el modelo hLDA iene el siguien e p oceso gene a i o: Algo i mo hLDA 1) Pa a cada mesa del á bol in ini o bC∈C– : a) Es ima su opic asociado a pa i de la dis ibución de Di ichle : QqC~CdAe(a) 2) Pa a cada documen o del co pus 0∈{1,2,…,d} : a) Elegi un camino del á bol siguiendo el algo i mo nCRP: ëOC~C=—“G(Ä) b) Es ima la p opo ción de cada opic de su ama del á bol: O|[ñ,ß]~Ãâ<(ñ,ß) c) Pa a cada palab a: i. Elegi un ni el/ opic: gO,zC|C OC~dAìëeîiî( O) ii. Elegi una palab a según el ni el/ opic en el que se encuen e: lO,zCsC{gO,z,ëO,Q∞~dAìëeîiî(Qù±ägO,zã) que se encuen a pa ame izado po el opic gO,z del camino ëO Cabe menciona que los componen es p obabilís icos son a iables la en es, po ejemplo, los opics. Es o quie e deci que no se asumen unos opics p ede inidos sino que se in ie en es os alo es a pa i del pos e io , condicionado al co pus de documen os y a las p obabilidades de las a iables la en es. Po ejemplo, suponiendo que 0 documen os han sido p e iamen e gene ados, el documen o 0+1 puede segui uno de los ayec os del á bol p e iamen e de inido o c ea uno nue o. Po an o, el núme o de pa áme os del modelo p opues o puede c ece , según el co pus. Es a lexibilidad pe mi e op imiza el pos e io pa a inalmen e ob ene el á bol que mejo se ajus e al conjun o de da os de en ada. Sin emba go, exis en o os pa áme os que deben se p e iamen e de inidos: el núme o de ni eles del á bol o la o ma son algunos ejemplos. És os se conocen como hipe pa áme os. Po ejemplo, el pa áme o de la dis ibución de Di ichle , a , de ine la dispe sión de los opics, es deci , a meno alo , los opics es a án o mados po menos palab as lo que lle a á a soluciones donde los á boles son más g andes. Se debe conside a que el alo de es os pa áme os depende en g an medida del co pus de documen os. Po an o, es muy impo an e hace un análisis con dis in os alo es has a ob ene aquellos que mejo se ajus en a los da os. En el siguien e capí ulo se mos a án los dis in os esul ados ob enidos pa a di e sos alo es de los hipe pa áme os. 4.1 In e encia p obabilís ica Tal y como se ha mencionado an e io men e, una ez seguido el p oceso gene a i o de documen os, se debe á ealiza la op imización del modelo has a consegui el á bol que mejo se ajus e a los da os, es deci , ob ene el á bol que mejo es ime la es uc u a de opics ocul a en los documen os. Es a op imización se conoce como in e encia p obabilís ica y emplea á el pos e io . Sin emba go, la exp esión del pos e io no esul a a able y deben emplea se écnicas de ap oximación. En el caso p opues o, se ha á uso del mues eo de Gibbs colapsado, un algo i mo MCMC (Ma ko Chain Mon e Ca lo) en el que las a iables la en es se mues ean i e a i amen e condicionadas a las obse aciones y que ma ginaliza algunas de ellas pa a acele a la con e gencia. Se mues ea án los ayec os po documen os y las asignaciones de opics po ni el y se ma ginaliza án los pa áme os de Di ichle , Qq , y de p opo ciones de opics, O . Con es o se ap oxima á el pos e io (ë1:p,B1:p|Ä,a,ñ,ß,71:p) donde Ä de ine la endencia de los clien es de compa i mesa en cada es au an e, a e leja la a ianza de opics y ñ y ß , la asignación de palab as en los dis in os ni eles. El algo i mo se di ide en dos pa es p incipales: el mues eo de asignación de ni eles y el mues eo de asignación de ayec os. 31 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 4.1.1 Mues eo de asignación de ni eles Dada una elección de ayec o, se debe á mues ea la asignación de la a iable de asignación de opics po ni eles, B0,= , que pa a la palab a = del documen o 0 sigue la exp esión: (BO,z|Bç ( O,z ) ,ë,7,ñ,ß,a)∝ (BO,z|BO,çz,ñ,ß) (7O,z|B,ë,7ç ( O,z ) ,a) donde B− ( 0,= ) y 7− ( 0,= ) son los ec o es de asignación de ni eles y de palab as obse adas, ex ayendo B0,= y 70,= , espec i amen e. La p ime a pa e de la exp esión es una dis ibución de ni eles que, al ene un núme o in ini o de componen es, se mues ea po e apas. P ime o se mues ea de una dis ibución de odo el espacio de ni eles p esen e en el documen o y un ni el más p o undo al ac ual. j BO,z=b s BO,çz,ñ,ß k =â ” ]q |j 1−]? k |BO,çz,ñ,ß qç1 ?}1 ‘ =â ä ]q s BO,çz,ñ,ß ã| â[ j 1−]? k |BO,çz,ñ,ß qç1 ?}1 =Cñß+#[BO,çz=b] ß+#[BO,çz≥b] |( 1−ñ ) ß+#[BO,çz>@] ß+#[BO,çz≥@] qç1 ?}1 donde #[·] cuen a los elemen os que cumplen de e minada condición. La segunda pa e de la exp esión es la p obabilidad de una palab a basado en su asignación. j 7O,z s B,ë,7ç ( O,z ) ,a k ∝#[Bç ( O,z ) =BO,z,ëJ±,≤=ëO,J±,≤,7ç ( O,z ) =7O,z]+Ca 4.1.2 Mues eo de ayec o Dadas las a iables de elección de ni el, se mues ea el ayec o asociado a cada documen o condicionado a los o os ayec os y palab as obse adas. Pa a ellos, la exp esión que se sigue es: (ôO|ö,ôçO,õ,a,Ä)∝ (ôO|ôçO,Ä) (öO|ô,öçO,õ,a) Es a exp esión puede e se como una ins ancia del eo ema de Bayes donde (öO|ô,öçO,õ,a) es la p obabilidad de una palab a dada una asignación de ayec o y (ôO|ôçO,Ä) es el p io de ayec os de inido con nCRP. La p obabilidad de los da os se ob iene in eg ando los pa áme os mul inomiales, de i ando en la siguien e exp esión: ( öO | ô,öçO,õ,a ) = | Γ( ∑ #[õçO=U,ôçO,ò=ëO,ò,öçO=7] é+]a) ∏ Γ( é#[õçO=U,ôçO,ò=ëO,ò,öçO=7]+a) ∏ Γ( é#[õ=U,ôò=ëO,ò,ö=7]+a) Γ( ∑ #[õ=U,ôò=ëO,ò,ö=7]+]a é) ÷◊¨C(J±) ò}1 Se debe ene en cuen a que cada ayec o de de ine en bloque debido a que su alo en cada ni el depende del an e io . 4.1.3 Algo i mo de mues eo de Gibbs Una ez de inidos los pasos a segui , el algo i mo de mues eo de Gibbs se esume en: dado el es ado ac ual, ÿ ë1:p ( • ) ,B1:p ( • )Ÿ, se mues ea i e a i amen e cada a iable condicionada al es o: Algo i mo Implemen ado. hLDA 32 Algo i mo de mues eo de Gibbs 1) Pa a cada documen o del co pus 0∈{1,2,…,d}: a) Es ima alea o iamen e ë0(i+1)empleando: (ôO|ö,ôçO,õ,a,Ä)∝ (ôO|ôçO,Ä) (öO|ô,öçO,õ,a b) Es ima alea o iamen e B=,0 (i+1)empleando: (BO,z|Bç(O,z),ë,7,ñ,ß,a)∝ (BO,z|BO,çz,ñ,ß) (7O,z|B,ë,7ç(O,z),a) pa a cada palab a =∈{1,2,…,:O} La dis ibución es aciona ia de la cadena Ma ko co espondien e es la dis ibución condicional de las a iables la en es en el modelo hLDA dado el co pus. T as a ias i e aciones del algo i mo se alcanza una dis ibución es aciona ia y se comienza a ex ae mues as en de e minados in e alos seleccionados pa a minimiza la au oco elación y ap oxima el e dade o pos e io con la dis ibución empí ica co espondien e. 4.2 Implemen ación del algo i mo Una ez de inido el modelo implemen ado, en es e apa ado se p esen a la es uc u a del código. El lenguaje de p og amación elegido pa a la implemen ación ha sido Py hon debido a la mul i ud de lib e ías de las que dispone y al se un lenguaje que ha ido cob ando g an impo ancia en los úl imos años. Las lib e ías que se han empleado en el código han sido: 1. numpy. Impo a ope aciones ma emá icas. 2. cs . Se emplea pa a lee /esc ibi iche os .cs . 3. ma h. Con iene unciones ma emá icas. De aquí se impo a á la unción log. 4. sys. Se emplea á en la salida po línea de comandos de los esul ados. 5. e. Se emplea á pa a el uso de exp esiones egula es. Pa a ans o ma el ocabula io de la base de da os en un o ma o adecuado pa a su pos e io p ocesado. 6. scipy. Pa a impo a además de las ope aciones de numpy, o as es adís icas. Es e código se es uc u a en a ias unciones p esen adas en la siguien e abla. In e az Desc ipción main() Función p incipal del p og ama. En ella se llaman al es o de unciones. con e _doc_ o_lis (doc_index, doc_wo ds) Es a unción se emplea pa a cons ui el co pus de documen os con el o ma o adecuado. load_ ocab( ocab_ ile) Es a unción ca ga el ocabula io empleado en el co pus de documen os. load_co pus(co pus_ ile) Es a unción ca ga el co pus de documen os y lo ans o ma has a consegui el o ma o adecuado pa a el algo i mo. Hie a chicalLDA(co pus, ocab, alpha, gamma, e a, num_le els) Clase donde se de inen las dis in as unciones que se emplea án en el algo i mo hLDA. 33 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas nCRP_node(num_le els, ocab, pa en , le el) Clase que de ine a un nodo del á bol esul an e del algo i mo nCRP. Todas es as unciones y clases han sido desa olladas en es e p oyec o, excep o con e _doc_ o_lis (doc_index, doc_wo ds) que se ha eu ilizado de un código de lib e acceso el cuál hace uso de una de las bases de da os empleadas en es e p oyec o (Gi Hub, s. .). La siguien e igu a mues a el diag ama de lujo de la unción p incipal main(). Figu a 22. Diag ama de lujo de main() 4.2.1 nCRP_node Es una clase donde se de inen las dis in as unciones que se emplean en la c eación del á bol de opics. Es as unciones son: 1. add_child. Añade un nue o nodo al á bol. 2. check_lea . Comp ueba si un nodo es una hoja o no, es deci , si pe enece o no al úl imo ni el. 3. add_new_pa h. Añade nodos has a llega a la hoja (úl imo ni el). 4. emo e_pa h. Elimina un documen o de un camino. 5. emo e_child. Elimina un nodo hijo. 6. add_ o_pa h. Añade un documen o el camino. 7. selec _node. Elegi un nodo o c ea uno nue o cuando llega un nue o documen o. Base del algo i mo nCRP. 8. ge _ op_wo ds. Ob iene las palab as más usadas en un opic. 4.2.2 Hie a chicalLDA Es una clase donde se de inen las dis in as unciones que se emplean en el algo i mo hLDA. Es e algo i mo se es uc u a en di e sas pa es: Algo i mo Implemen ado. hLDA 34 1. Inicializa un camino, ijando un nodo aíz. 2. Pa a cada documen o del co pus, eco e cada ni el e i ijando su camino en el á bol de opics. Pa a ello se llama á a la unción selec _node de inida en el apa ado an e io . Finalmen e, se eco e cada palab a del documen o y se asigna a un nodo de su camino. 3. Es imación y op imización de la solución aplicando el mues eo de Gibbs. La Figu a 23 mues a el diag ama de lujo de la clase Hie a chicalLDA, donde se inicializan a iables y se o ma el á bol de opics. Figu a 23. Diag ama de lujo de la c eación del á bol de opics Den o de es a clase se de inen a su ez o as unciones que se emplean en la pa e de es imación y op imización del algo i mo. Es as unciones son: 1. es im_pa h. En es a unción se implemen a el algo i mo de mues eo de Gibbs, donde se eco e cada documen o y se mues ea el camino, llamando a la unción sample_pa h. Finalmen e, se mues ea el opic asociado a cada palab a del documen o haciendo uso de la unción 35 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas sample_ opics. 2. sample_pa h. De ine el camino que sigue un documen o desde el nodo aíz has a la hoja. Calcula la ap oximación de la e osimili ud pa a esa solución. 3. calcula e_p io . Calcula el p io del camino siguiendo el algo i mo nCRP. 4. calcula e_doc_likelihood. Calcula la e osimili ud de un documen o. 5. calcula e_wo d_likelihood. Calcula la e osimili ud de una palab a, siguiendo la ecuación de inida en apa ados an e io es. 6. sample_ opics. Mues ea el opic al que pe enece cada palab a del documen o. Figu a 24. Diag ama de lujo de la es imación del camino Po úl imo, se de inen dos unciones que se emplean en la ep esen ación de los esul ados: 1. p in _node. Imp ime la in o mación de cada ni el: opic, núme o de documen os en el opic, palab as más usadas en el opic y el núme o de epe iciones de dichas palab as. 2. p in _nodes. Se emplea en la unción es im_pa h y llama a su ez la p in _node pa a mos a po pan alla los esul ados del algo i mo. Resul ados. Análisis de Pa áme os 42 49 696 (231 de los cuales no ienen coincidencia de palab as, po an o, se quedan en el ni el 48) Tabla 8. Resumen de los esul ados del caso de es udio 2 5.1.1.3 Caso de es udio 3 En es e e ce caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 0.5 1 2 Tabla 9. Hipe pa áme os del caso de es udio 3 Los esul ados co espondien es a algunas amas del á bol ob enidos en es e caso se esumen en la siguien e abla. Ni el Rama Topic Núme o de documen os Palab as más empleadas 0 0 0 1499 s uden ship, eaching, o e lapped, commi ees, eplicas, physic, ensembles, biasing, phased, sabes 1 - 44 0 379 - 561 1499 Boo s apping, isualisa ion, modeled, cellula , place, di ec ional, esponses, eyes, bounda ies, ec o ial, p oblema ic, esul an , unc ional, algo i hmic, lea n 45 1 562 525 ansla es, pa allelizable, isi , mo ie, lea n, ho nik, p o o ypes, analysis, puddle, ance 46 1.1 563 278 da ies, johnson, jan, hompson, geome ic, alle ia e, michalski, manipula ed, ohwe , meado 47 1.1.1 564 196 lea n , aced, ilk, da es, semipa ame ic, con inuing, laugh on, issues, egula ize , na u e 48 1.1.1.1 565 189 asa, mul imodal, obscu e, pa co , e na ional, lexibili y, ounded, sys em, ibl, es i 49 1.1.1.1.1 566 169 ci cui y, chi , analogical, cu ied, l p, ou seg, ol ages, neu onal, implemen ed, sys ema ic 49 1.1.1.1.2 665086 7 * En es e caso ninguna palab a coincide con el ex o. Es o signi ica que esos sie e documen os end ían 48 opics 49 1.1.1.1.3 666106 4 homas, ub, inmann 49 1.1.1.1.4 666832 2 quan iza ion, compe i o 49 1.1.1.1.5 666884 7 i ially, s uc u ing, de ec able, nonpa ame ic 43 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 48 1.1.1.2 662090 4 mul ilaye ed, simpli ied, cup, sized, es o e, memo yless, blind, easoning, plausible 49 1.1.1.2.1 666482 1 * En es e caso ninguna palab a coincide con el ex o. Es o signi ica que ese documen o end ía 48 opics 49 1.1.1.2.2 666753 3 composed, going Tabla 10. Resul ados del caso de es udio 3 Finalmen e, en la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 44 1 45 7 (1 de los cuales no iene coincidencia de palab as. Po an o, esos documen os se quedan en el ni el 44) 46 34 (2 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 45) 47 135 (45 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 46) 48 391(182 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 47) 49 804 (444 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 48) Tabla 11. Resumen de los esul ados del caso de es udio 3 5.1.1.4 Caso de es udio 4 Los alo es de los hipe pa áme os analizados en es e caso son los siguien es: ⁄ € ‹ 0.2 1 2 Tabla 12. Hipe pa áme os del caso de es udio 4 Los esul ados ob enidos en es e caso se esumen en la siguien e abla. Al igual que en el apa ado an e io , se ha ep esen ado únicamen e algunas amas del á bol de opics de uel o po el algo i mo. Ni el Rama Topic Núme o de documen os Palab as más empleadas 0 0 0 1499 ci cui y, chi , analogical, cu ied, ou seg, l p, ol ages, neu onal, sys ema ic, implemen ed 1 - 33 0 97 - 21008 1499 Dynamical, poin ed, unc ional, algo i hmic, lea n , con ollable, p oblema ic, op imally, sys ema ic, me hologies, pa ame e ised, dis ibu ional, da abase, modeled, bounda ies, Resul ados. Análisis de Pa áme os 44 objec ion, cellula 34 - 40 1 21010- 21016 1498 Gene ically, po al, played, i ed, classi ies, neighbo hood, decisi e, gamma, g ama ical, ep esen a ional, symbolic, s ingen , languages 41 1.1 21017 1497 en i e, phased, au oassocia ion, a iance, legal, bu ke, b eas , complex, scale, s am 42 1.1.1 21018 1492 book, essen ial, sys ema ic, jude, eco ded, agglome a i e, ima, cybe n, simila i ies, help ul 43 1.1.1.1 21019 1045 a angemen , s uc u ing, en ies, ecommenda ion, sima d, commanded, ca y, simila ly, com o , deal 44 1.1.1.1.1 21020 239 imp o ed, non e minal, g een, di usi e, pos subiculum, home, highligh , decides, c ossco ela ion 45 1.1.1.1.1.1 21021 78 psychologically, ajec, compa men , unco ela ed, cali , ha de , suppo ed, compe ence, shaped, biological 46 1.1.1.1.1.1.1 21022 62 modules, exclusi e, o icial, pendulum, yo k, lwpc , explana o y, si osh, som 47 1.1.1.1.1.1.1.1 21023 45 hika idai, in elli, appealing, i e a i ely, gene a i e, in es , subsequence, se le, pu suing, ede ine 48 1.1.1.1.1.1.1.1.1 21024 13 shapley, eq, nel, sa dne 49 1.1.1.1.1.1.1.1.1.1 62299 11 da ies, michalski, johnson, icha dson, pe e sen, au is ic, indexed, hompson, e kki, williamson 49 1.1.1.1.1.1.1.1.1.2 1598221 2 * En es e caso ninguna palab a coincide con el ex o. Es o signi ica que esos dos documen os end ían 48 opics 48 1.1.1.1.1.1.1.1.2 1589571 31 * En es e caso ninguna palab a coincide con el ex o. Es o signi ica que esos 31 documen os end ían 47 opics 48 1.1.1.1.1.1.1.1.3 1596164 1 me ical, s ably Tabla 13. Resul ados del caso de es udio 4 Finalmen e, en la siguien e abla se mues an el núme o de ni eles ob enidos en es e caso de es udio pa a ealiza compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 33 1 45 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 34 - 40 2 (1 de los cuales no iene coincidencia de palab as. Po an o, ese documen o se queda en el ni el 33) 41 3 (2 de los cuales no iene coincidencia de palab as. Po an o, esos documen os se quedan en el ni el 40) 42 4 (3 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 41) 43 8 (3 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 42) 44 17 (8 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 43) 45 59 (18 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 44) 46 173 (90 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 45) 47 410 (282 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 46) 48 746 (597 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 47) 49 1101 (903 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 48) Tabla 14. Resumen de los esul ados del caso de es udio 4 5.1.1.5 Conclusiones as la a iación del hipe pa áme o ⁄ T as la ealización de di e sos expe imen os, cambiando el alo del hipe pa áme o ^ , se pueden llega a las siguien es conclusiones: 1) A mayo alo de ^ , hay meno núme o de ni eles más al os. Es o quie e deci que la clasi icación es menos selec i a y se cen a en ex ae emas más gené icos o comunes a un mayo núme o de documen os. 2) En el caso de una clasi icación más selec i a, es deci , meno es alo es de ^ , hay una mayo a iedad de opics. Sin emba go, se ha de conside a que el núme o de documen os que se quedan en ni eles más al os es mayo . Es o se puede aduci a que, debido al ca ác e especí ico de los emas, hay muy pocos documen os que cumplan esos c i e ios de pe enencia. La siguien e igu a mues a una compa a i a de los casos de es udio del hipe pa áme o ^. Cada columna ep esen a el núme o de opics di e en es exis en es en cada ni el, cada opic puede ene uno o más documen os. Po ejemplo, el caso de es udio 4 posee 41 opics dis in os en el ni el 45 del á bol. Resul ados. Análisis de Pa áme os 46 Figu a 26. G á ica compa a i a de dis in os alo es del hipe pa áme o ^ 5.1.2 Análisis del hipe pa áme o € En es e apa ado se lle a á a cabo un es udio del hipe pa áme o Ä p esen e en el algo i mo implemen ado. En es e caso, es a a iable a ec a al mé odo nCRP, enca gado de la o mación del á bol de opics. En los siguien es sub-apa ados se p esen an los di e sos casos de es udio. 5.1.2.1 Caso de es udio 5 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 2 2 Tabla 15. Hipe pa áme os del caso de es udio 5 Los esul ados ob enidos en es e caso se esumen en la siguien e abla. Al igual que en el apa ado an e io , se ha ep esen ado únicamen e algunas amas del á bol de opics de uel o po el algo i mo. Ni el Rama Topic Núme o de documen os Palab as más empleadas 0 0 0 1499 p oc olin, blocked, ins uc i e, pa allelism, buil , s a k, simi, communi ies, ope a ional, bob 1 - 31 0 50 - 53160 1499 S ingen , symbolic, g ama ical, languages, ees, known, con ex ual, ecognizable, modeled, inqui y, lea n , neu ally, uni a y, analogical, isualisa ion, objec ion, ea u es, cha ac e ised 32 - 39 1 53161- 53168 1498 P o o ypical, undamen ally, da abase, algo i hmic, unc ional, pa ame e ised, 1 1 1 3 6 32 139 454 1 1 1 2 7 53 207 465 1 1 1 6 32 90 209 360 1 5 9 41 83 128 149 198 0 -42 43 44 45 46 47 48 49 COMPARATIVA ALPHA nº ni eles caso 1 nº ni eles caso 2 nº ni eles caso 3 nº ni eles caso 4 47 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas me hologies, bounda ies, heo e ic, esul an 40 - 45 1.1 53169- 53174 1497 Labelling, s essed, syllables, empla es, lea nable, sha ed, ma king, p ima e, pe pendicula , classi ies, decisi e 46 1.1.1 53175 1062 s yles, con ex , bilis ic, s ylis ic, median, illegal, asymme ical 47 1.1.1.1 53176 221 spaces, p o ing, angles, nume ous, pa ice, dependences, un, en i ely, neu ophysiol, b aue 48 1.1.1.1.1 53177 125 Anand, o a ing, pa ame iza ion, ega d, illus a es, e , h , simmon, ac ua o , es a 49 1.1.1.1.1.1 53178 107 con ollable, modeled, mo o ola, mo es, con olling, a ma, in e sely, al, os e , dynamical 49 1.1.1.1.1.2 308497 4 belie e, inna e, es able, se e i y, e a 49 1.1.1.1.1.3 310200 4 p o o ypes, g az, ma yland, g, gene ically, s ing, empla es, noiseless 49 1.1.1.1.1.4 312111 4 gang, addemup 49 1.1.1.1.1.5 312258 3 * En es e caso ninguna palab a coincide con el ex o. Es o signi ica que esos es documen os end ían 48 opics 49 1.1.1.1.1.6 312375 1 Deno ing, kanji 49 1.1.1.1.1.7 312588 2 Symbolic, ci cles Tabla 16. Resul ados del caso de es udio 5 Finalmen e, en la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 31 1 32 - 39 2 (1 de los cuales no iene coincidencia de palab as. Po an o, ese documen o se queda en el ni el 31) 40 - 45 3 (2 de los cuales no iene coincidencia de palab as. Po an o, esos documen os se quedan en el ni el 39) 46 5 (2 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 45) 47 25 (3 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 46) 48 159 (15 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 47) Resul ados. Análisis de Pa áme os 48 49 596 (194 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 48) Tabla 17. Resumen de los esul ados del caso de es udio 5 5.1.2.2 Caso de es udio 6 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 0.5 2 Tabla 18. Hipe pa áme os del caso de es udio 6 Los esul ados ob enidos en es e caso se esumen en la siguien e abla donde se mues an únicamen e algunas amas del á bol de opics de uel o po el algo i mo. Ni el Rama Topic Núme o de documen os Palab as más empleadas 0 0 0 1499 unc ional, algo i hmic, lea n , se poin , da abase, e ies, ec o ial, poin ed, me hodologies, p oblema ic 1 - 42 0 1 - 3815 1499 Inqui í, uni a y, neu ally, lea n , weigh ed, sys ema ic, ecognizable, con ex ual, bounda ies, con ollable, s a ic, op imali y, equen , modeled, cha ac e ised, objec ion, ecognizable, ea u es 43 1 3816 1133 ela i e, su icien ly, a ising, ope a ed, gilk, consequen , b ownian, a ionale, isi ed, u ne 44 1.1 3817 1133 o mulas, i ely, asce ain, alb ech , accu a ely, equen ly, al e na i ely, a i hme ic, p oposing, gene a i e 45 1.1.1 3818 474 decayed, se ing, ca ying, delusion, blackbu n, lin, de ine, adjus able 46 1.1.1.1 3819 220 discussed, ges , ac al, lag, la ly, b anching, ki kpa ick, la ness, lowe, assimila ion 47 1.1.1.1.1 3820 204 s eepes , supply, bhalla, pa e n, a o ed, gene a ion, sinh, p oce, aga ion, consecu i ely 48 1.1.1.1.1.1 3821 178 in en ion, alke , a eas, johnson, hough on, ob aining, lamina , scanning, phasic, ci cui y 49 1.1.1.1.1.1.1 3822 164 ci cui y, chi , analogical, cu ied, ou seg, ol ages neu onal, implemen ed, sys ema ic 49 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 49 1.1.1.1.1.1.2 53263 12 da ies, michalski, Johnson, icha dson, pe e sen, indexed, au is ic, hompson, e kki, pause 49 1.1.1.1.1.1.3 410545 2 Theo e ically, space, malignan Tabla 19. Resul ados del caso de es udio 6 Finalmen e, en la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 42 1 43 2 44 4 45 11 46 36 (1 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 45) 47 114 (11 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 46) 48 297 (57 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 47) 49 648 (213 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 48) Tabla 20. Resumen de los esul ados del caso de es udio 6 5.1.2.3 Conclusiones as la a iación del hipe pa áme o € T as la ealización de di e sos expe imen os, cambiando el alo del hipe pa áme o Ä , es deci los casos de es udio 2, 5 y 6, se pueden llega a las siguien es conclusiones: 1) A mayo alo de Ä , hay una meno dispe sión del á bol de opics. Es o quie e deci que los emas son más gené icos y, po an o, hay un mayo núme o de documen os que cumplen cie o c i e io. 2) En el caso de una clasi icación más selec i a, es deci , meno es alo es de CÄ , hay una mayo a iedad de opics. Además, la dispe sión del á bol comienza en ni eles más ce canos al nodo aíz. Po ejemplo, en el caso de es udio 6, donde el alo de Ä es 0.5, la di e encia en e documen os se ap ecia en ni eles más ce canos al aíz (en el ni el 43 ya se di e encian dos amas del á bol) mien as que, pa a alo es más al os, es a di e enciación se p oduce en ni eles más bajos. Resul ados. Análisis de Pa áme os 50 Figu a 27. G á ica compa a i a de dis in os alo es del hipe pa áme o Ä 5.1.3 Análisis del hipe pa áme o ‹ En es e apa ado se lle a á a cabo un es udio del hipe pa áme o a p esen e en el algo i mo implemen ado. En es e caso, es a a iable a ec a al cálculo de pesos de cada ni el que, a su ez, se emplea á en la asignación de un documen o a de e minado opic del á bol. En los siguien es sub-apa ados se p esen an los di e sos casos de es udio. 5.1.3.1 Caso de es udio 7 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 1 1 Tabla 21. Hipe pa áme os del caso de es udio 7 Los esul ados ob enidos en es e caso se esumen en la siguien e abla. Al igual que en el apa ado an e io , se ha ep esen ado únicamen e algunas amas del á bol de opics de uel o po el algo i mo. Ni el Rama Topic Núme o de documen os Palab as más empleadas 0 0 0 1499 signaled, noiseless, il e bank, equen , chaos, spikes, in o ma ional, co ela ional, de ec o , ainable 1 - 43 0 379 - 27556 1499 P edic i e, modeled, da abase, se poin , eg essi e, alida o y, es able, selec i e, mo i a e, di ec ional, isualisa ion, sys ema ic, 1 1 1 2 7 53 207 465 1 1 1 1 3 22 144 402 1 2 4 11 35 103 240 435 0 -42 43 44 45 46 47 48 49 COMPARATIVA GAMMA nº ni eles caso 2 nº ni eles caso 5 nº ni eles caso 6 51 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas objec ion, ea u es, classi ies, cha ac e ised, algo i hmic 44 1 27557 1375 dominan , ocula i y, mapped, eyes, de elopmen al, o ien a ional, ey an, compe i i e, bo el 45 1.1 27558 974 pa ien , seman ically, nance, a ibu e, damaged, op ical, apical, a be , cleaned, damasio 46 1.1.1 27559 242 subsequen ly, sing, bax e , lo ham, biologically, i , pleasu e, hech , playing, mo i a ed 47 1.1.1.1 27560 73 con usion, cell, abso b, e o , ex emely, jago a, close, achie emen , picked, soybean 48 1.1.1.1.1 27561 37 es ablishing, enhances, pay, heo, inhomogeneous, si e , ap, ex emes, in e ac i e, ild 49 1.1.1.1.1.1 27562 17 o onoi, eyes, eloped, heade , o a ional, gained, es ibule, e lexi e, e , s o e 49 1.1.1.1.1.2 62086 13 da ies, michalski, Johnson, icha dson, pe e sen, indexed, au is ic, hompson, williamson, pause 49 1.1.1.1.1.3 436779 5 con olled 49 1.1.1.1.1.4 437281 2 Enginee , con e Tabla 22. Resul ados del caso de es udio 7 Finalmen e, en la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 43 1 44 2 45 4 (1 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 44) 46 14 (1 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 45) 47 72 (11 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 46) 48 282 (58 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 47) 49 737 (279 de los cuales no ienen coincidencia de palab as. Po an o, llegan al ni el 48) Tabla 23. Resumen de los esul ados del caso de es udio 7 Resul ados. Análisis de Pa áme os 58 5.2.1.2 Caso de es udio 2 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 1 2 Tabla 31. CORA - Hipe pa áme os del caso de es udio 2 Finalmen e, en la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 3 1 4 2 5 2 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 4) 6 2 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 5) 7 7 (dos de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 29 (sie e de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 82 (37 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 32. CORA - Resumen de los esul ados del caso de es udio 2 59 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Figu a 31. Á bol de opics de 10 ni eles del caso de es udio 2 de la base de da os CORA 5.2.1.3 Caso de es udio 3 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 0.5 1 2 Tabla 33. CORA - Hipe pa áme os del caso de es udio 3 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Resul ados. Análisis de Pa áme os 60 Ni el Núme o de ni eles 0 - 3 1 4 2 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 3) 5 6 (cua o de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 4) 6 15 (ocho de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 5) 7 35 (18 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 65 (40 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 114 (72 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 34. CORA - Resumen de los esul ados del caso de es udio 3 Figu a 32. Á bol de opics de 10 ni eles del caso de es udio 3 de la base de da os CORA 61 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 5.2.1.4 Caso de es udio 4 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 0.2 1 2 Tabla 35. CORA - Hipe pa áme os del caso de es udio 4 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 2 1 3 3 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 2) 4 7 ( es de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 3) 5 19 (12 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 4) 6 37 (21 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 5) 7 57 (41 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 89 (73 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 134 (116 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 36. CORA - Resumen de los esul ados del caso de es udio 4 Resul ados. Análisis de Pa áme os 62 Figu a 33. Á bol de opics de 10 ni eles del caso de es udio 4 de la base de da os CORA 5.2.1.5 Caso de es udio 5 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 2 2 Tabla 37. CORA - Hipe pa áme os del caso de es udio 5 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. 63 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Ni el Núme o de ni eles 0 - 4 1 5 2 6 3 7 10 (3 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 29 (8 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 81 (31 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 38. CORA - Resumen de los esul ados del caso de es udio 5 Figu a 34. Á bol de opics de 10 ni eles del caso de es udio 5 de la base de da os CORA Resul ados. Análisis de Pa áme os 64 5.2.1.6 Caso de es udio 6 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 0.5 2 Tabla 39. CORA - Hipe pa áme os del caso de es udio 6 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 4 1 5 2 6 5 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 5) 7 19 (3 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 50 (11 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 99 (46 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 40. CORA - Resumen de los esul ados del caso de es udio 6 65 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas Figu a 35. Á bol de opics de 10 ni eles del caso de es udio 6 de la base de da os CORA 5.2.1.7 Caso de es udio 7 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 1 1 Tabla 41. CORA - Hipe pa áme os del caso de es udio 7 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Resul ados. Análisis de Pa áme os 66 Ni el Núme o de ni eles 0 - 5 1 6 5 (uno de los cuales no iene coincidencia de palab as, po an o, llega á has a el ni el 5) 7 13 (3 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 6) 8 43 (15 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 94 (36 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 42. CORA - Resumen de los esul ados del caso de es udio 7 Figu a 36. Á bol de opics de 10 ni eles del caso de es udio 7 de la base de da os CORA 67 Implemen ación de Asignación Je á quica La en e de Di ichle pa a Modelado de Temas 5.2.1.8 Caso de es udio 8 En es e caso se analiza án los siguien es alo es de los hipe pa áme os: ⁄ € ‹ 1 1 0.5 Tabla 43. CORA - Hipe pa áme os del caso de es udio 8 En la siguien e abla se mues an los esul ados ob enidos en es e caso de es udio a un ni el más gené ico que nos pe mi i á hace compa a i as en e las di e en es ejecuciones del algo i mo. Ni el Núme o de ni eles 0 - 4 1 5 2 6 3 7 11 8 36 (6 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 7) 9 90 (36 de los cuales no ienen coincidencia de palab as, po an o, llega án has a el ni el 8) Tabla 44. CORA - Resumen de los esul ados del caso de es udio 8 Po úl imo, se ep esen a el á bol de opics esul an e. REFERENCIAS (s. .). Ob enido de Gi Hub: h ps://gi hub.com/dongwookim-ml/py hon- opic-model Agga wal, C., & Zhai, C. (2012). Tex Mining Da a. Sp inge . Aldous, D. (1985). Exchangeabili y and ela ed opics. École d'é é de p obabili és de Sain -Flou , XIII -1983, 1-198. Alghamdi, R., & Al alqi, K. (2015). A Su ey o Topic Modeling in Tex Mining. In e na ional Jou nal o Ad anced Compu e Science and Applica ions, 6(1), 147-153. Alpaydin, E. (2014). In oduc ion o Machine Lea ning. MIT P ess. And ew McCallum, U. o. (s. .). Ob enido de h ps://people.cs.umass.edu/~mccallum/da a.h ml Blei Lab. (s. .). Ob enido de h ps://gi hub.com/blei-lab/edwa d Blei, D., & La e y, J. (2006). Dynamic Topic Models. P oceedings o he 23 d in e na ional con e ence on Machine lea ning (ICML '06), 113-120. Blei, D., & La e y, J. (2007). A Co ela ed Topic Model o Science. The Annals o Applied S a is ics, 1(1), 17-35. Blei, D., & La e y, J. (2009). Topic Models. Blei, D., & McAuli e, J. (2007). Supe ised Topic Models. P oceedings o he 20 h In e na ional Con e ence on Neu al In o ma ion P ocessing Sys ems. Blei, D., & Mo eno, P. (2001). Topic segmen a ion wi h an aspec hidden Ma ko model. P oceedings o he 24 h annual in e na ional ACM SIGIR con e ence on Resea ch and de elopmen in in o ma ion e ie al, 343-348. Blei, D., G i i hs, T., & Jo dan, M. (2010). The Nes ed Chinese Res au an P ocess and Bayesian Nonpa ame ic In e ence o Topic Hie a chies. Jou nal o he ACM, 57(2). Blei, D., G i i hs, T., Jo dan, M., & Tenebaum, J. (2013). Hie a chical Topic Models and he Nes ed Chinese Res au an P ocess. Cen e o Machine Lea ning and In elligen Sys ems, Uni e si y o Cali o nia. (s. .). UCI Machine Lea ning Reposi o y. Ob enido de h ps://a chi e.ics.uci.edu/ml/da ase s/bag+o +wo ds D. M. Blei, A. Y. (2003). La en Di ichle Alloca ion. The Jou nal o Machine Lea ning Resea ch, 3, 99-1022. F igyik, B. A., Kapila, A., & Gup a, M. R. (2010). In oduc ion o he Di ichle Dis ibu ion and Rela ed P ocesses. Uni e si y o Washing on, Depa men o Elec ical Enginee ing, Sea le. Ge shman, S., & Blei, D. (2011). A u o ial on Bayesian nonpa ame ic models. Jou nal o Ma hema ical Psychology. G i i hs, T., & S ey e s, M. (2004). Finding scien i ics opics. P oceedings o he Na ional academy o Sciences o he Uni ed S a es o Ame ica 101, 5228-5235. Ho mann, T. (1999). P obabilis ic la en seman ic indexing . P oceedings o he 22nd annual in e na ional ACM SIGIR con e ence on Resea ch and de elopmen in in o ma ion e ie al, 50-57. h ps://gi hub.com/dongwookim-ml/py hon- opic-model/blob/mas e /p m/u ils.py. (s. .). Li, W., & McCallum, A. (2006). Pachinko Alloca ion: DAG-s uc u ed mix u e models o opic co ela ions. P oceedings o he 23 d in e na ional con e ence on Machine Lea ning. Lichman, M. (2013). UCI Machine Lea ning Reposi o y [h p://a chi e.ics.uci.edu/ml]. Uni e si y o Cali o nia, School o In o ma ion and Compu e Science. I ine, CA. Re e encias 76 Mimno, D., & McCallum, A. (2008). Topic models condi ioned on a bi a y ea u es wi h Di ichle - mul inomial eg ession. P oceedings o he Twen y-Fou h Con e ence on Unce ain y in A i icial In elligence, 411-418. Mohi , B. (2014). Named En i y Recogni ion. En I. Zi ouni, Na u al Language P ocessing o Semi ic Languages (págs. 221-245). Sp inge Be lin Heidelbe g. Mu phy, K. P. (2012). Machine Lea ning: A P obabilis ic Pe spec i e. The MIT P ess. Nishma Lai onjam, V. P. (2015). Topic Modelling o Songs. IEEE 2015 In e na ional Con e ence on In o ma ion Technology. Rosen-Z i, M., G i i hs, T., S ey e s, M., & Smy h, P. (2004). The Au hos-Topic Model o Au ho s and Documen s. P oceedings o he 20 h con e ence on Unce ain y in a i icial in elligence, 487-494. V. Jelisa čić, B. F. (2012). Topic Model and Ad anced Algo i hms o P o iling o Knowledge in Scien i ic Pape s. MIPRO, 2012 P oceedings o he 35 h In e na ional Con en ion, 1030-1035. Wang, X., McCallum, A., & Wei, X. (2007). Topical n-g ams: Ph ase and opic disco e y, wi h an applica ion o in o ma ion e ie al. P oceeding o he 7 h IEEE In e na ional Con e ence on Da a Mining, 697- 702. Wie ing, M. y. (2012). Rein o cemen lea ning: S a e-o - he-a . Sp inge . ANEXO