Gestión automática del correo electrónico usando técnicas de procesamiento de lenguaje natural: el caso de Labdoo

Ges ión au omá ica del co eo elec ónico usando écnicas de p ocesamien o de lenguaje na u al: el caso de Labdoo Julián A enas Gue e o GRADO EN INGENIERÍA INFORMÁTICA. FACULTAD DE INFORMÁTICA UNIVERSIDAD COMPLUTENSE DE MADRID T abajo Fin de G ado en Ingenie ía In o má ica Fecha 19 de sep iemb e de 2019 Di ec o : Jo ge J. Gómez Sanz Resumen en cas ellano Ac ualmen e, el uso del co eo elec ónico sigue es ando muy ex endido en la comunica- ción y coo dinación de las di e en es o ganizaciones. Es o aumen a la can idad de da os que los/as usua ios/as ienen que p ocesa , p o ocando un g an ni el de es és y ansiedad que disminuye la e iciencia. El p oblema es aún más p onunciado en el caso de las ONGs, que no malmen e cuen an con escasos ecu sos económicos y humanos. Con is as a lo an e io , en es e abajo se ha ealizado una p ueba de concep o con el obje i o de mejo a la ges ión del co eo ele ónico y la au oma ización de a eas. Pa a ello, se ha abajado con el caso eal de la ONG Labdoo. Los esul ados ob enidos son p ome edo es, y mues an que el 85 % de los co eos pueden a a se de mane a au omá ica, con una asa de acie o muy ele ada. Se espe a que es e p oyec o con ibuya de mane a no able a la mejo a de la ges ión del co eo elec ónico en o ganizaciones con escasos ecu sos. Palab as cla e Sob eca ga de co eo elec ónico, Ges ión de lujo de abajo, Co eo elec ónico, Clasi- icación de co eos, Ap endizaje au omá ico, PLN, ONG. Abs ac Cu en ly, he use o email is s ill widesp ead in he communica ion and coo dina ion o di e en o ganiza ions. This inc eases he amoun o da a ha use s ha e o p ocess, causing high le els o s ess and anxie y ha dec ease e iciency. The p oblem is e en mo e p onounced in he case o NGOs, which usually ha e limi ed economic and human esou ces. In iew o he abo e, in his wo k a p oo o concep has been ca ied ou in o de o imp o e he managemen o email and he au oma ion o asks. Wi h his pu pose, we ha e wo ked wi h he eal case o he NGO Labdoo. The ob ained esul s a e p omising, and show ha 85 % o emails can be ea ed au oma ically, wi h a e y high success a e. This p ojec is expec ed o con ibu e signi ican ly o he imp o emen o email managemen in o ganiza ions wi h limi ed esou ces. Keywo ds Email o e load, Wo k low managemen , Email, Email classi ica ion, Machine lea ning, NLP, NGO. Índice gene al Índice i Ag adecimien os iii 1. In oducción 1 1.1. P esen ación y mo i ación . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2. Obje i os y plan de abajo . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3. Es uc u a de la memo ia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2. In oduc ion 6 2.1. P esen a ion and mo i a ion . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.2. Objec i e and wo k plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3. Documen s uc u e................................ 9 3. Es ado del a e 11 3.1. Ges ión del lujo de abajo . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2. Ges ión de lujo de abajo a a és del co eo elec ónico . . . . . . . . . . . 12 3.3. P ocesamien o de con enido de co eo elec ónico y clasi icación . . . . . . . 14 4. Análisis y p opues a 19 4.1. Con ex o...................................... 20 4.2. Análisis de la p oblemá ica . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3. Casosdeuso.................................... 26 4.4. Funcionamien o.................................. 30 5. T a amien o de da os 33 5.1. P ep ocesamien o de los da os . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5.2. Análisisdelamues a .............................. 37 6. Desa ollo 41 6.1. Diseño....................................... 41 i 6.2. Implemen ación.................................. 45 6.3. Expe imen ación ................................. 49 7. Conclusiones y abajo u u o 59 8. Conclusions and u u e wo k 62 Bibliog a ía 67 ii Ag adecimien os A mis pad es Julián y Ca men, a mi he mana Paloma y a mi he mano Albe o. iii Capí ulo 1 In oducción 1.1. P esen ación y mo i ación Ac ualmen e, a pesa de la disponibilidad de edes sociales, ges o es de lujo de abajo, o la Web 2.0, el co eo elec ónico sigue eniendo un peso impo an e en la comunicación a odos los ni eles. De hecho, su uso medio du an e la jo nada labo al se ci a en 2.6 ho as [12]. En muchas o ganizaciones, es un hábi a [14] donde se ecibe, ges iona y delega el abajo, y que se u iliza pa a di e sidad de a eas, como ges ión de la in o mación, coo dinación y colabo ación, o pa a la ges ión de con ac os. Es e uso ex endido del co eo elec ónico aumen a la can idad de da os que los/as usua- ios/as ienen que p ocesa , p o ocando un g an ni el de es és y ansiedad [13] [20] que hace pe de e icacia a la ho a de u iliza lo. El concep o email o e load se de ine como la sensación de agobio po el lujo cons an e de mensajes que apa ecen en la bandeja de en ada, y la incapacidad pa a maneja el al o olumen de es os e icien emen e [20]. Es a sensación se e in ensi icada po la con inua in e upción de a eas, el lujo de abajo y de pensamien o [16] [18]. An e es e p oblema, una de las soluciones más di ec as pa a los/as usua ios/as consis e 1 en usa di e en es écnicas pa a abo da más ápidamen e los mensajes, ales como p io iza , ag upa o il a emails. De hecho, ecien emen e se han de inido nue os en oques o ien ados a aumen a la p oduc i idad, como inbox ze o, que p opone una se ie de pau as pa a mejo a la ges ión del co eo elec ónico po pa e de los/as usua ios/as [7]. A ances en los campos de la In eligencia A i icial y la Recupe ación de In o mación son suscep ibles de ayuda en la ges ión del co eo. Es e ipo de ecnologías ya se han u ilizado, po ejemplo, pa a la p io ización de a eas o pa a la clasi icación de emails [15] [21]. No obs an e, no exis en aún he amien as disponibles que implemen en es as écnicas jun o a uncionalidad del co eo como la aducción o il ado. Además, la g an a iedad de a eas pa a las que se usa el co eo hace que desa olla soluciones gene ales sea una a ea compleja y no i ial, pues o que las necesidades dependen del ipo de usua io/a y de o ganización. En es e abajo, nos cen amos en la au oma ización de a eas y la mejo a de la ges ión del co eo ele ónico en el caso conc e o de las ONGs. La ca ac e ís ica p incipal de es e ipo de o ganizaciones, po su ca ác e no luc a i o, es que abajan ecuen emen e con escasez de ecu sos económicos y/o humanos. Además, las ONGs lle an a cabo ac i idades espe- cí icas, especialmen e de coo dinación y comunicación, que es ablecen necesidades conc e as. En las ONG, el uso del co eo elec ónico es ecuen e, y supone un olumen conside a- ble del abajo que deben ealiza pe sonas olun a ias, cuyo iempo es escaso, po lo que consegui un aumen o de la p oduc i idad en es e aspec o es cla e. A pesa de es o, apenas exis en abajos sob e la ges ión del co eo en el caso de las ONGs, si bien podemos des a- ca el desa ollado en [17], en el que se exponen pau as pa a mejo a la ges ión del co eo elec ónico en el en o no de es e ipo de o ganizaciones. Con lo an e io en men e, en es e abajo nos cen amos en la elabo ación de una p ue- 2 ba de concep o pa a mejo a el uso del co eo elec ónico den o de una ONG. Pa a ello u iliza emos écnicas de p ocesamien o de lenguaje na u al yalgo i mos de ap en- dizaje au omá ico pa a la clasi icación de co eos y la au oma ización o acili ación de a eas. Dicha p ueba se p opone pa a un caso eal, el de la ONG Labdoo. 1.2. Obje i os y plan de abajo El p opósi o p incipal de es e abajo consis e en ealiza una p ueba de concep o que pueda ayuda a Labdoo a hace un uso más e icien e del co eo elec ónico. Pa a ello, nos plan eamos como obje i o iden i ica e implemen a el conjun o mínimo de unciones que pe mi a su desa ollo. Pa a consegui lo, plan eamos el siguien e plan de abajo: 1. Es udio de la ges ión del co eo en Labdoo: En p ime luga , se analiza án las ca ac e ís icas y necesidades de la o ganización. En pa icula , se es udia á el uso que hace del email, pa a pode iden i ica los cuellos de bo ella y los p incipales p oblemas con los que se encuen an los/as olun a ios/as. Pa a ello, se abaja á con da os e in o mación p opo cionada po Labdoo 1. 2. Examen p elimina : A con inuación se ba aja án di e en es opciones, y se analiza á su po encialidad en base a las necesidades p io i a ias de la o ganización, así como sus ecu sos humanos y ma e iales, con ando con el eedback del pe sonal. El ou pu de es e análisis se á la de inición de unos casos de uso. 3. Implemen ación: Pos e io men e se selecciona án los casos de uso más ele an es y se lle a á a cabo su implemen ación en o ma de p ueba de concep o. En pa icula , se desa olla á una API que pe mi a maneja y ex ae in o mación ú il de los co eos, 1Aunque Labdoo colabo a en el p oyec o p opo cionando los da os y acili ando in o mación de su p o- blemá ica, se a a de un p oyec o o almen e ajeno a la o ganización. 3 analyzes he ob ained esul s and p oposes a ious imp o emen s o be made and u u e lines o wo k. 10 Capí ulo 3 Es ado del a e En es a sección se es udia el concep o de wo k low managemen (ges ión del lujo de abajo) y el papel que eje ce el co eo elec ónico en és e. Se mues a la impo ancia que ha adqui ido en las emp esas y o ganizaciones ac uales y las en ajas que p esen a el co eo elec ónico pa a que las ONGs puedan en en a se a es e p oblema. Se e isan écnicas y casos de es udio exi osos en es e ámbi o que se i án pa a ealiza la p opues a de la solución. 3.1. Ges ión del lujo de abajo La ges ión del lujo de abajo consis e en p opo ciona sopo e au oma izado pa a los p ocesos de negocios [22]. Un p oceso de negocio es un conjun o de a eas o e apas a a és de las cuales se encauza el abajo. Es os lujos de abajo es án compues os an o po pe - sonas como po he amien as ecnológicas, de mane a que la in o mación co ec a llega a la pe sona indicada en el iempo adecuado. La de inición, ejecución, egis o y con ol de p ocesos son el obje i o p incipal de un sis ema de ges ión de lujo de abajo [25]. Debido al impo an e papel que desempeñan los p ocesos en la adminis ación del lujo de abajo, es impo an e u iliza un ma co es able- cido pa a modela y analiza el p oceso del lujo de abajo. 11 Las nue as ecnologías han con ibuido a la apa ición de nume osos sis emas de es e ipo [8] que se han con e ido en he amien as undamen ales en las emp esas ac uales pa a mejo a sus p ocesos y se compe i i as. Sin emba go, es os equie en una al a in e sión ec- nológica [24] que en muchos casos las ONGs no pueden asumi dados sus limi ados ecu sos. Es posible ealiza una ges ión del lujo de abajo sin es os sis emas, aunque su uso iene en ajas e iden es, como una mejo espues a an e cambios en el en o no, la modi icación de la legislación o la e olución de las condiciones del me cado [22]. 3.2. Ges ión de lujo de abajo a a és del co eo elec- ónico Uno de los p incipales signi icados de managemen by email es el uso del co eo elec óni- co como he amien a p incipal en la comunicación de una o ganización [24]. Hoy día debido a las en ajas que iene es a ecnología, como la acilidad de uso, su g an implan ación o los educidos cos es económicos hace que la mayo pa e de las o ganizaciones lo u ilicen pa a al in. Las g andes emp esas pueden pe mi i se sis emas emp esa iales pa a una ges ión exi osa de los p ocesos de negocio, pe o no es el caso pa a las PYMES y ONGs. Los bajos cos es económicos del co eo elec ónico han hecho que apa ezcan nue os sis emas basados en és e, como el abajo ealizado en [12], donde se p opone un sis ema de con ol de lujo que lidia con la g an lexibilidad y el ca ác e deses uc u ado del email. El sis ema con ie e el co eo elec ónico en un ma co de ges ión de p ocesos es uc u ado en el que los emails en an es son asociados con p ocesos de negocio y se mejo an con ano aciones sensibles al con ex o como los pasos siguien es a e ec ua más ecomendables. 12 En el modelo de managemen by email p esen ado en [24] los p ocesos de negocio son ealizados únicamen e a a és de la comunicación ía email y las ansiciones en e las e apas de es os p ocesos se inician al ecibi o en ia un co eo elec ónico, de es a mane a cualquie ansición de un p oceso de negocio, iene asociado un email. En es e modelo, el co eo elec ónico es su icien e pa a almacena la in o mación ele an e de un p oceso y es aconsejado pa a o ganizaciones en las que el co eo elec ónico ya se usa pa a la comunica- ción y en la que los p ocesos son conocidos y es án de inidos. La p opues a p esen ada en [19] in eg a un sis ema de seguimien o ( acking sys em) en el co eo elec ónico pa a as ea las a eas has a que és as son comple adas, y en caso con a io in o ma a las pe sonas necesa ias en los momen os opo unos. Cuando se en ía un co eo se asocia con un issue, pa a el que se c ean URLs accesibles po el des ina a io y a a és de las cuales se ealiza el seguimien o. El papel undamen al que desempeña el co eo elec ónico en la ges ión de a eas, se discu e en los abajos p esen ados en [9] [10] donde se sugie e que el p incipal elemen o de in e és son las a eas. Aquí se p opone el é mino h ask, o conjun o de mensajes que hacen e e encia a una a ea y que son ag upados analizando los mensajes de en ada. Ade- más, se mues a que es posible a ec a posi i amen e la expe iencia del co eo elec ónico inco po ando los ecu sos de adminis ación de a eas di ec amen e en la bandeja de en ada. También se han ealizado sis emas in eligen es pa a la ges ión del lujo de abajo ba- sados p incipalmen e en el ex o del mensaje. En el abajo ealizado en [11] los usua ios pueden plan ea consul as o a eas al sis ema, el cual es capaz de desencadena los subp o- cesos necesa ios. De es a o ma la solución se plan ea como un diálogo con el sis ema el cual u iliza el p ocesamien o del lenguaje na u al como base pa a su uncionamien o. 13 3.3. P ocesamien o de con enido de co eo elec ónico y clasi icación Dado que muchas a eas ienen dadas en o ma de emails, los usua ios ienden a usa los clien es de co eo elec ónico como un adminis ado de a eas y a e lo como una lis a de cosas po hace [15]. Sin emba go, los clien es no disponen de la uncionalidad necesa ia pa a ealiza es as a eas de o ma e icien e. Los usua ios encuen an di icul ades a la ho a de hace uso de las uncionalidades básicas de los clien es de co eo elec ónico y adap a las a su si uación conc e a. En el abajo ealizado en [15] se desc ibe un sis ema híb ido en e clien e de co eo elec ónico y adminis ado de a eas, que hace uso de la In eligencia A - i icial pa a, en e o as uncionalidades, hace un cálculo pa a la p io ización de mensajes con esul ados exi osos. Ya en el abajo p esen ado en [24] se aconseja la ex ensión de la uncionalidad básica de los clien es de co eo elec ónico pa a consegui un máximo endimien o en la ges ión del lujo de abajo. En gene al, la p incipal he amien a pa a la ges ión de co eo elec ónico es la clasi icación au omá ica de co eo elec ónico [21]. Un clasi icado de co eo elec ónico es un sis ema que clasi ica au omá icamen e emails en unas ca ego ías p ede inidas. Po ejemplo, puede u iliza se pa a clasi ica un email como spam o no, o pa a asigna e ique as. La es uc u a del p oceso de clasi icación se di ide en es pa es, al y como se obse a en la Figu a 3.1: p ep ocesamien o, ap endizaje y clasi icación. Cada una de las es pa es p incipales en las que se di ide la clasi icación es á compues- a a su ez po p ocesos más sencillos. El p ep ocesamien o comienza con la okenización, a a és de la cual se iden i ican las unidades básicas a se p ocesadas, las palab as. A con i- nuación, se eliminan las s op wo ds, o palab as que más se epi en en un idioma (a, el, cuál, aquel...) y que apo an poco alo al p oceso de ap endizaje. Es o mejo a el endimien o del clasi icado en iempo de p ocesamien o y en la asa de acie o. 14 Figu a 3.1: A qui ec u a gene al de la clasi icación au omá ica de co eos [21]. 15 S emming ylemma iza ion son écnicas usadas pa a no maliza las palab as. Las len- guas es án o madas po múl iples palab as, muchas de ellas de i adas de o as ( elé ono, ele onillo, ele onea ...) que compa en una o ma base ( ele on). No maliza las palab as consis e en encon a es a o ma base. Los algo i mos de s emming lo hacen co ando el inal o el p incipio de la palab a, eniendo en cuen a una lis a de p e ijos y su ijos comunes pa a una o ma base. Los algo i mos de lemma iza ion po o o lado, son más complejos y oman en conside ación el análisis mo ológico de las palab as. Los algo i mos de ap endizaje au omá ico equie en que odos y cada uno de los docu- men os ex uales es én ep esen ados en la o ma de un ec o pa a comenza a en ena , es o se ealiza a a és de un modelo de espacio ec o ial. Es os modelos se implemen an a a és del modelo bolsa de palab as usando TFIDF o median e wo d embeddings. El modelo de bolsa de palab a es el más ex endido po su acilidad de uso y su e iciencia compu acional. En es e modelo, cada documen o pa ece una bolsa que con iene algunas palab as, pe mi ien- do un modelado basado en dicciona ios, donde cada bolsa con iene unas cuan as palab as del dicciona io [5]. En el ni el de ap endizaje se ex ae el conjun o de ea u es, que son p opiedades medi- bles o ca ac e ís icas de los co eos. En la clasi icación de co eos, la ex acción del conjun o de ea u es in luye de e minan emen e en el p oceso de ap endizaje. De es e conjun o se seleccionan las ca ac e ís icas más disc imina i as pa a la clasi icación con el obje i o de mejo a el endimien o del clasi icado en é minos de p ecisión y e iciencia [21]. Las écnicas de ap endizaje supe isado son las más u ilizadas en clasi icación de co- eos elec ónicos [24]. En es as écnicas, se p opo ciona a los algo i mos con un conjun o de ins ancias de en ada y unas clases de salida pa a iden i ica una unción que ap oxime 16 de mane a gene alizada es e compo amien o. Los algo i mos de es e ipo más comunes son: máquinas de sopo e ec o ial (Suppo Vec o Machines, SVMs), á boles de decisión, edes neu onales, Nai e Bayes, edes bayesianas y andom o es . Las SVMs son los algo i mos que mejo se compo an y son las écnicas más u ilizadas pa a la clasi icación de emails [24]. Finalmen e se en ena el clasi icado y se gua da de mane a que se puedan clasi ica co eos en an es. La clasi icación de co eos elec ónicos basada en el con enido de es os u iliza palab as cla e. Las écnicas de ap endizaje es adís ico asignan una pun uación a es as keywo ds, y la pun uación o al es u ilizada pa a clasi ica los emails en an es. La exac i ud en las p edicciones se e a ec ada po la can idad de ins ancias de en e- namien o, a mayo conjun o de da os de en enamien o mayo la p ecisión que ob end á el algo i mo. E ique a el conjun o de da os de en enamien o es uno de los p incipales p oble- mas de las écnicas de ap endizaje supe isado, y puede llega a eque i una g an can idad de iempo. Validación c uzada es la écnica más ex endida pa a e alua el endimien o de un clasi i- cado . És a consis e en di idi el conjun o de da os de en enamien o en pa es equi alen es (po ejemplo, 4 conjun os con el 25% de los da os cada uno). Po cada conjun o se en ena un clasi icado con los conjun os de da os es an es (75% de los da os) y se p ocede a la clasi icación del conjun o inicial con el modelo en enado [6]. Finalmen e se compa a las p edicciones del clasi icado con las e ique as asignadas a mano. Con los esul ados an e io es se de inen mé icas pa a e alua el endimien o del modelo, como se obse a en la Figu a 3.2: Accu acy: po cen aje de ins ancias pa a las que se ha p edicho la e ique a co ec a. 17 P ecision: po cen aje de ins ancias que el clasi icado ob u o co ec amen e de la can idad o al de ejemplos que p edijo pa a una e ique a de e minada. Recall: po cen aje de ejemplos que el clasi icado p edijo pa a una e ique a dada del núme o o al de ejemplos que debe ía habe p edicho pa a esa e ique a. F1 sco e: media ha mónica de p ecision y ecall. Figu a 3.2: P ecision y ecall [3]. 18 Capí ulo 4 Análisis y p opues a Labdoo ecibe una g an can idad de co eos elec ónicos pa a comunica se con la gen e que desea colabo a . Responde odos es os emails supone mucho abajo a los olun a ios de Labdoo. Se p e ende ealiza la esolución al p oblema de email o e load a a és de un modelo de ges ión basado en el co eo elec ónico. En conc e o, se p e enden alcanza los obje i os ex endiendo la uncionalidad básica de los clien es habi uales. U ilizando es e en oque, el sis ema se adap a a las es icciones de Labdoo en a ios sen idos. El co eo es económico y es la o ma que ya se iene usando en la o ganización pa a comunica se con la gen e. No incu e en cos es pa a Labdoo, como pod ían llega a su- pone o as soluciones, como un asis en e con e sacional, el cual eque i ía in e eni en los se ido es y aumen a la ca ga de es os. Es ácil de u iliza , y las pe sonas suelen es a ami- lia izadas con él. Además, se plan ea como una de las opciones más sencillas de implemen a . En gene al se a a de p opo ciona un conjun o de uncionalidades que libe e a los o- lun a ios de Labdoo de una pa e de su abajo y que aumen e la p oduc i idad en aquél que engan que hace . La libe ación de abajo se consigue median e la espues a au omá ica de emails y el aumen o de la p oduc i idad p opo cionando mé odos no disponibles en los clien es de co eo comunes. 19 4.3. Casos de uso Gene a es adís icas gene ales. Desde el inicio del sis ema, el usua io puede gene a in o mación ace ca del es ado de su bandeja de en ada. Es a in o mación ayuda a analiza cómo abo da los mensajes, es ima un iempo de abajo, es ablece dis in as es a egias y de e mina qué il os usa o los c i e ios de p io ización a u iliza más adecuados. Así, se desglosa el núme o de co eos po lee según el asun o, el núme o de co eos pa a los que se de ec a que se pod ían esponde au omá icamen e, el núme o de nue as solici udes de con ac o (a a és del o mula io), y aquéllos que o man pa e de un hilo o issue ya abie o, los idiomas u ilizados, o los mensajes p o enien es de pe sonas pe enecien es a Labdoo. Fil a bandeja de en ada. El usua io puede il a los mensajes de su bandeja de en ada en base a a ios c i e ios. Es e mecanismo mejo a la o ganización del usua io, le pe mi e esponde co eos simila es de o ma consecu i a, esponde p ime o aquéllos que conside e más u gen es, e c. De es a mane a es posible abo da el p oblema núme o 1 il ando co eos con cues iones más básicas y esponde los pos e io men e. También se a on a el p oblema 2 pudiendo c iba aquellos emails que solici an o denado es pa a hace un uso no adecuado de es os. Dis in os il os pueden es alece se, en e ellos: Mensajes ecibidos a a és del o mula io. Asun o (doo onic, doo ip, labdooe , edoo illage, o he ). Acción ecomendada. Di ección de co eo elec ónico de los emi en es. Dominio de las cuen as de co eo de los emi en es. Ni el de p io idad. Palab as cla e. 26 A chi os adjun os. P io ización de co eos. El usua io puede es ablece dis in os c i e ios pa a p io iza la bandeja de en ada. La p io idad puede es ablece se en unción del asun o (doo onic, labdooe , edoo illage...), el iempo que el co eo lle a sin lee , el núme o de co eos en iados po el usua io, longi ud del mensaje, la apa ición de palab as cla e, si p ocede de alguien en el lib o de di ecciones o una pe sona in e na a Labdoo, la acción ecomendada que se haya de ec ado, e c. Es ablece c i e ios de p io idad adecuados, ayuda al usua io indi ec amen e con los p oblemas 1 y 2, pe mi iéndole esponde aquellos co eos que equie an de un meno iempo de demo a en la con es ación, y en caso de no ene iempo pa a eponde a odos, asegu a que es os queden espondidos. Respues a au omá ica de co eos. Desde el inicio del sis ema, és e busca la acción ecomedada pa a los co eos elec ónicos que aún no han sido leídos y que se esc ibie on desde el o mula io de con ac o. Es as acciones son aquéllas especi icadas po las plan illas con las que los olun a ios de Labdoo cuen an pa a esponde los co eos elec ónicos. Los emails se clasi ican en una de es as plan illas o en ninguna en el caso de que no se ajus en al p oblema p opues o po el emi en e. El usua io iene dos opciones pa a u iliza es a acción ecomendada. La p ime a es que después de lee el co eo y comp oba que la ecomendación es co ec a, ejecu a la. De es a o ma la espues a de co eos se ealiza de o ma semisupe - isada. La segunda opción es indica que se esponda de o ma au omá ica odos aquellos emails pa a los que se hayan encon ado acciones ecomendadas. Es a úl ima opción aho a iempo a los olun a ios de Labdoo, pe o iene la des en aja de no alida las espues as, pudiendo incu i en e o es. En mayo o meno medida, es a uncionalidad con ibuye a que el usua io pueda mi iga los p oblemas de inidos en la sección an e io . Iden i ica o mula ios de con ac o incomple os. Es e caso de uso apo a una so- lución al p oblema 3. Las pe sonas que desean solici a doo onics po p ime a ez han de 27 comple a un o mula io que debe se ellenado y en iado po co eo (en el mismo cue po del email) a los olun a ios de Labdoo. Hay eces en las que al an campos po comple a , y los olun a ios deben comp oba uno a uno que odos ellos es én ellenos. Pues o que es o oma mucho iempo a los usua ios, se pueden de ec a aquellos co eos que cuen an con un o mula io, y de ellos, aquéllos que es án incomple os. La acción ecomendada en es os casos es un mensaje pidiendo que uel an a en ia el o mula io con odos los campos obliga o ios comple ados. Ve his ó ico de una cuen a de co eo. Los olun a ios de Labdoo al p ocesa un co eo pueden necesi a eco da mensajes an e io es del emi en e pa a pode oma deci- siones. Po an o, el usua io iene la posibilidad de ecupe a el his ó ico de mensajes de una cuen a de co eo elec ónico. Los mensajen se de uel en al usua io o denados de o ma c onológicamen e in e sa. És e y los siguien es casos de uso ponen solución al p oblema 4 acili ando a los usua ios sus a eas y op imizando su iempo. Ve in o mación de una cuen a de co eo. Simila a la uncionalidad an e io . Es a mues a in o mación de una cuen a de co eo elec ónico como núme os de co eos ecibidos, sin lee , núme o de eces que ha usado el o mula io, asun os más ecuen es, país de o igen, e c. T aducción de co eos. Hay a ias lenguas que los emi en es u ilizan pa a esc ibi los co eos. Pues o que un olun a io de Labdoo no puede conoce odas ellas, iene la opción de aduci el co eo al inglés. Es o le pe mi e analiza el mensaje y sabe a quien edi igi el co eo den o de Labdoo. En caso de que sea el mismo olun a io el que quie a esponde el email, és e puede esc ibi lo en inglés y pos e io men e se aduce el cue po del mensaje a la lengua del des ina a io. 28 Uso de i ma. Los usua ios de Labdoo u ilizan habi ualmen e una i ma. Con el obje i o de aho a iempo, pueden con igu a una po de ec o, de o ma que se incluya au omá ica- men e en el cue po de los emails. Lib o de di ecciones. El usua io puede man ene un lib o de con ac os, que puede u iliza se pos e io men e pa a il a la bandeja de en ada o p io iza . Así los olun a ios esponden an es aquellos co eos p oceden es de pe sonas a ines y que equie an mayo u - gencia en la espues a. P io ización de los casos de uso A con inuación se p esen a una lis a de los casos de uso o denada de más a menos p io i a ios. Pa a ealiza la se ha enido en cuen a an o el bene icio que el caso de uso apo a al p oblema, como c i e ios de implemen ación: 1. Respues a au omá ica de co eos. 2. Gene a es adís icas gene ales. 3. Ve his ó ico de una cuen a de co eo. 4. P io ización de co eos. 5. Iden i ica o mula ios de con ac o incomple os. 6. Fil a bandeja de en ada. 7. Ve in o mación de una cuen a de co eo. 8. T aducción de co eos. 9. Uso de i ma. 29 10. Lib o de di ecciones. La espues a au omá ica de co eos es el caso más comple o, pues equie e in e ac ua con los se ido es IMAP y SMTP además del p ocesado de los ex os de los emails y un modelo de clasi icación de co eos. Es e caso es ambién el que libe a de mayo ca ga de abajo a los olun a ios. La gene ación de es adís icas gene ales e his ó ico de una cuen a compa en g an pa e de la implemen ación y esuel en a eas que se p esen an de mane a ecu en e. La p io ización de co eos y la iden i icación de o mula ios de con ac o incomple os son dos de los casos de uso que más acili an el abajo a los olun a ios. Se ha decidido educi su p io idad ya que su implemen ación se e obs uída al necesi a de Labdoo pa a de ini un c i e io de p io ización, y la ausencia de co eos con o mula ios en los da os con los que se cuen an. Los casos de uso an e io es se en ienden como los básicos pa a el sis ema. La p ueba de concep o a desa olla con empla los es p ime os, pues son los más ele an es, y g an pa e de su implemen ación es compa ida con el es o de los casos. 4.4. Funcionamien o El lujo que se hace de los mensajes eniendo en cuen a odos los casos de uso se obse a en la Figu a 4.4. En p ime luga , se ex aen los pa áme os del o mula io en el caso de que el co eo se esc ibie a a a és de és e. En el caso con a io los pa áme os se dejan en blanco. En segundo luga , se aducen los mensajes si la aducción es á ac i ada. Pa a ello, se econoce el lenguaje en el que es á esc i o el cue po y después se p ocede con la aducción si el idioma o iginal di ie e del inglés. 30 Figu a 4.4: P ocesamien o que se ealiza de los co eos. A con inuación se clasi ican los mensajes. Pa a consegui lo p ime o se pa sea el asun o y se clasi ica en una de los opciones indicadas en la Sección 4.2 u o a si no se co esponde con ninguna de ellas. Aquellos co eos que coincidan con edoo illage son p ep ocesados y p opo cionados al modelo de clasi icación, que puede asigna dos e ique as dis in as: solici- ud ono_cumple_ equisi os. Seguidamen e, se ealiza el p ocesado necesa io pa a los casos de uso. P ime o se il a 31 el buzón de acue do a las ca ac e ís icas seleccionadas po el usua io. Después se ealiza un cálculo de la p io idad de mane a que aquéllos más u gen es quedan en lo al o del buzón. Finalmen e se p ocede a esponde los co eos au omá icamen e o a encola los de mane a que el usua io los pueda esponde uno a uno de o ma semi-supe isada. Pa a que un co eo sea espondido la con igu ación co espondien e debe es a habili ada. Hay dos ías po las que se de ec a un co eo a esponde , o bien con iene un o mula io de solici ud de edoo illage que iene odos sus campos comple os, o bien se co esponde a las ca ego ías doo onic o edoo illage. 32 Capí ulo 5 T a amien o de da os Labdoo ha acili ado una mues a de da os con 1554 co eos en o ma o mbox, que cons i- uyen los da os eales sob e los que se basa á la p opues a. Como paso p e io, se ha lle ado a cabo un a amien o de los mismos que pe mi a abaja con sus ca ac e ís icas y con enido. 5.1. P ep ocesamien o de los da os En la Figu a 5.1 se mues a el esquema gene al del p ep ocesamien o de los da os. En p ime luga , odos los co eos han sido anonimizados usando el sc ip en [23]. Con es e p ocedimien o se minimiza en g an medida la in o mación pe sonal p esen e en los emails. Si bien el sc ip puede lle a a la pé dida de cie a in o mación, conside amos que es necesa io pa a adecua nos a los obje i os é icos necesa ios en la p opues a. A con inuación, pa a acili a el a amien o de la in o mación se ha con e ido el o ma- o de los da os a cs . És e p esen a un uso más ex endido y pe mi e, en e o as opciones, abaja ácilmen e haciendo uso de lib e ías como Pandas. El conjun o inicial de los da os p esen a di e sas incong uencias. En la medida de lo posi- ble, se han a ado de soluciona median e sc ip s, aunque en di e sos casos ha sido necesa io 33 Figu a 5.1: Esquema del p ep ocesamien o de los da os. esol e las a mano o al o pa cialmen e. A con inuación se p esen an las incong uencias más ecuen es: Dis in os mensajes u ilizan nomb es de campos dis in os pa a hace e e encia al mis- mo. Po ejemplo, Message-ID yMessage-Id ep esen an el iden i icado del mensaje. Al hace el dump de la base de da os o du an e el p oceso de anonimización, algunos ca ac e es (según los casos obse ados, aquellos que no ienen ep esen ación en AS- CII ) han pasado a es a codi icados en u -8 hexadecimal. Como ejemplo, «é» es á codi icado como «=C3=A9». Se han iden i icado los casos que cumplen es e pa ón y se han con e ido a su co espondien e ca ác e en unicode. También se han incluido «= » y «= n» alea o iamen e di idiendo palab as. Casos como «ma= ñana» o « ia= je» e an ecuen es. 34 En el asun o y el cue po de muchos co eos de espues a se incluyen el ca ác e «>», en ocasiones apa eciendo a ios consecu i os. También se incluyen o as codi icaciones de la espues a de co eos, como «—– o wa ded message —–» en el cue po de los co eos. En el cue po de los mensajes se incluyen secciones de ex o codi icado o iden i icado es que no esul a ele an e pa a nues o es udio, aumen an el olumen del da ase y di icul an abaja con él. Apa ecen dis in os nomb es pa a un mismo país. De es a mane a, G ecia puede apa- ece como «g ecia» o « G ecia». El p oceso de anonimización sus i uye algunos da os que dejan de ene sen ido pa a nues o es udio, y debe ían se eliminados. En el siguien e paso se han econs uido los hilos de mensajes, asignando un iden i icado a cada hilo, y o o al o den de los mensajes den o de cada hilo. Como se ha decidido abaja sólo con los mensajes esc i os a a és del o mula io, se ha il ado el conjun o de los mensajes desechando aquellos que es ando en un hilo, no son los p ime os de és e. Después se ha p ocedido a il a a mano. Es o se ha hecho a a és de la e minal, median e un sc ip que mues a el mensaje po pan alla pa a que el usua io indique si es álido o no. En es e paso, un mensaje se conside a álido si en alguna pa e del cue po hay una es uc u a que indica que exis e un con ac o a a és del o mula io. Es o esul a ácil de iden i ica pues o que, en es e caso, exis e la siguien e codi icación ipo: Use ’s name: Ejemplo De Nomb e Use ’s email add ess: [.de](3D"mail o:.de") Use ’s coun y: Spain 35 Figu a 6.1: Esquema compa ido de la in e acción con el se ido IMAP. La desca ga de los co eos del se ido se ealiza a a és de es solici udes: selec ,sea ch y e ch. La p ime a selecciona el buzón del que se desean ae los mensajes. Sea ch de uel- e los iden i icado es de los mensajes coinciden es del buzón seleccionado de acue do a un c i e io de búsqueda. Finalmen e e ch ealiza una pe ición al se ido p opo cionando los iden i icado es de uel os po sea ch y de ol iendo los co eos en c udo. Es as llamadas se ealizan pa a el buzón de en ada, y selec ysea ch se ealizan dos eces: una pa a odos los mensajes y o as pa a los mensajes no is os. De es a o ma, es posible dis ingui si los 42 co eos desca gados han sido is os o no y p ocesa los de acue do a ello. Cada caso de uso implemen ado p esen a pequeñas di e encias al in e acciona con el se ido IMAP. Como ejemplo, pa a la gene ación de es adís icas, la llamada sea ch de uel- e odos los iden i icado es del buzón, an o leídos como no leídos. Pa a la ob ención del his ó ico de una cuen a sólo se aen aquellos iden i icado es asociados a co eos que es án elacionados con la cuen a indicada. La secuencia de pe iciones selec -sea ch- e ch supone la asignación del lag Seen a odos los co eos aídos del se ido . Es o no debe ía se así, pues los co eos no llegan a se isua- lizados po el usua io inal. Pa a man ene el es ado inicial del buzón se u iliza la pe ición s o e a la cual se le p opo ciona los iden i icado es de los co eos no is os y el nue o lag. A con inuación, el clien e p ocesa los da os desca gados de acue do al caso de uso especí ico y e mina la sesión ce ando el buzón seleccionado median e close y cie a la conexión con el se ido a a és de logou . La mayo pa e del uncionamien o del sis ema se p oduce en e las llamadas e ch y s o e que se ap ecian en la Figu a 6.1. Es aquí donde se in oduce la lógica de los dis in- os casos de uso. Pa a la espues a au omá ica de co eos la in e acción con el módulo de clasi icación y el se ido SMTP se p oduce ín eg amen e en e es as dos pe iciones. En la Figu a 6.2 se mues a la in e acción con es os dos componen es. Una ez se disponen de los co eos en el clien e, se ca ga en memo ia el modelo de cla- si icación de co eos. Po cada co eo con asun o edoo illage se llama a p edic , al cual se le p opo ciona el cue po del mensaje y hace las ans o maciones necesa ias de és e pa a de ol e una de las e ique as. 43 Figu a 6.2: Diag ama de secuencia pa a espues a au omá ica de co eos. Cada co eo a se espondido, desencadena una sequencia de pe iciones al se ido SMTP. openConnec ion ab e una conexión con el se ido y s a Tls la pone en modo TLS (T ans- po Laye Secu i y) ci ando los siguien es comandos. Después, se p ocede a la au en icación a a és de login. Si ha ido co ec o, se p ocede a en ia el email median e una pe ición send- Mail y a ma ca és e como leído median e una pe ición s o e al se ido IMAP. Finalmen e, se e mina la sesión SMTP y se cie a la conexión a a és de qui . 44 6.2. Implemen ación La implemen ación de la p ueba de concep o se ha desa ollado en Py hon en un en o no conda. Pa a la in e acción con los se ido es IMAP y SMTP se han u ilizado las lib e ías imaplib ysm plib espec i amen e. El módulo de clasi icación se ha desa ollado median e sciki -lea n, cons uyendo un Pipeline del p oceso inal que ha sido se ializado u ilizando pickle. Se ha u ilizado NLTK pa a el p ocesamien o de los ex os, ma plo lib pa a la gene- ación de g á icos y email pa a la maninulación de co eos. En la Figu a 6.3 se mues a la es uc u a seguida pa a la implemen ación. Los casos de uso ealizan llamadas a es APIs di e en es. API email se enca ga de ges iona la in- e acción con las buzones y co eos del usua io, y de esponde y en ia emails. API da a p ocessing se enca ga de almacena , ans o ma y ealiza odas las modi icaciones nece- sa ias de los co eos. Finalmen e API classi ica ion se ocupa de la clasi icación de emails y sólo es u ilizada po el caso de uso de espues a au omá ica de co eos. Figu a 6.3: Es uc u a de la implemen ación. 45 Funciones de las APIs A con inuación se enume an las unciones más ele an es pa a la in e acción an o con los se ido es IMAP y SMTP, como de p ocesamien o de da os. Algunas no son necesa ias pa a la p ueba de concep o, como dele e_email obuild_and_send_email. Igualmen e han sido implemen adas pa a un u u o desa ollo del sis ema: open_connec ion(hos name, use name, passwo d): Se enca ga de es ablece la conexión con el se ido IMAP sob e un socke SSL ci ado. U iliza el pue o es- ánda (993) pa a las conexiones IMAP4 sob e SSL. Se le p opo ciona un hos y las c edenciales del usua io a au en ica . De uel e un obje o IMAP4_SSL ya inicializado. close_connec ion(conn): Ges iona la inalización de la conexión con el se ido IMAP. Cie a el buzón seleccionado, los mensajes eliminados se qui an del buzón de esc i u a y e mina la conexión con el se ido . e ie e_emails_by_ lag(conn, lag, mailbox, p ese e_unseen=T ue): Selecciona en el se ido IMAP el buzón indicado y alida el lag p opo cionado. Se enca ga de busca los iden i icado es de los mensajes de acue do al lag y de des- ca ga los del se ido . En el caso de que p ese e_unseen se man enga a T ue los lags de los co eos en el se ido no llegan a se modi icados. De uel e un Da aF ame que iene po columnas lo campos: uid, om, da e, da e_ aw, subjec , body ya ach- men s. A con inuación se mues a la implemen ación ealizada, des acando la llamada age _message_da a(). de e ie e_emails_by_ lag(conn, lag, mailbox, p ese e_unseen=T ue, e bose=False): conn.selec (mailbox) # Selecciona el buzón i lag no in ['Seen','Unseen','Answe ed','Unanswe ed']: 46 e u n 'e o '# Valida el lag # Busca co eos en el buzón en unción del lag esul _sea ch, da a_sea ch =conn.uid('sea ch',None, lag) i esul _sea ch != 'OK': e u n 'e o '# Comp ueba que la búsqueda u o éxi o # Decodi ica los ids de los co eos y los gua da como una lis a da a_sea ch =da a_sea ch[0].decode('u -8').spli () # Inicializa el Da aF ame pa a gua da los co eos da abase =pd.Da aF ame(columns=['uid',' om','da e','da e_ aw', 'subjec ','body','a achmen s']) o la es _email_uid in da a_sea ch: # T ae los da os del co eo y los gua da como un dicciona io email_dic =ge _message_da a(conn, la es _email_uid) # Con ie e la echa a o ma o YYYYMMDDHHMMSS aw_da e =in (s (email_dic ['Da e']). eplace(':','') . eplace(' ',''). eplace('-','')) # Añade el co eo al inal de Da aF ame da abase.loc[len(da abase)] =[s (la es _email_uid), email_dic ['F om'][1], email_dic ['Da e'], aw_da e, email_dic ['Subjec '], email_dic ['Body'], email_dic ['A achmen s']] 47 i p ese e_unseen: o xin da a_sea ch: # Ma ca los emails como no is os se _ lag_ o_email(conn, x, 'Unseen') e u n da abase sea ch_emails(conn, mailbox, ield, alue): Selecciona en el se ido IMAP el buzón indicado y ae los co eos de acue do al campo y alo p opo cionados. Posibles campos de búsqueda son: om, o, body, da e, e c. Po cada uno de los iden i icado es encon ados se desca gan los da os. Se de uel e un Da aF ame que iene po columnas los campos: uid, om, da e, da e_ aw, subjec , body, a achmen s. build_and_send_email(message_body, subjec , ecipien , use name, pass- wo d): Ges iona el en ío de un nue o mensaje dado los campos de és e. Resuel e oda la in e acción que se ealiza con el se ido SMTP. eply_email(conn, email_ ecei ed, new_message_body, use name, pass- wo d): Dado un obje o de conexión IMAP4_SSL, el iden i icado del email ecibido en el se ido , el cue po del mensaje de espues a y las c edenciales de au en icación, ges iona la espues a del email en un mismo hilo. U iliza el paque e email pa a cons- ui la es uc u a comple a del co eo desde ce o. Resuel e oda la in e acción que se ealiza con los se ido es SMTP e IMAP (pa a pone el mensaje an e io como is o). se _ lag_ o_email(conn, uid, lag): Asigna lag al co eo con iden i icado uid. Los lag acep ados son: Seen, Answe ed, Flagged, D a , Unseen, Unanswe ed. dele e_email(conn, uid): Dada una conexión IMAP4_SSL y el iden i icado de un co eo, ges iona la eliminación de és e en el se ido . 48 assign_ ecommended_ac ions_ o_emails(da abase_unseen): El a gumen- o de en ada es un Da aF ame con columnas subjec ,uid, om ybody. Se enca ga de ca ga el módulo de clasi icación, ealiza el p ep ocesamien o de los ex os pa a p o ee los al modelo y de ealiza la p edicción. De uel e el Da aF ame de en ada con un campo ecommended_ac ion con el esul ado de la p edicción. ge _message_da a(conn, uid): Dado un obje o de conexión y el iden i icado de un co eo, ae los da os de és e, los pa sea y los de uel e como un dicciona io. o ma _ aw_email_mailpa se ( aw_email): Dado una secuencia de by es co espondien es a la desca ga de un co eo del se ido IMAP, lo decodi ica y pa - sea, y de uel e un email es uc u ado po los campos: F om, To, Da e, Subjec , Body, A achmen s, Reply-To yMessage-id. 6.3. Expe imen ación Clasi icación El p oceso de desa ollo comenzó con la a ea de clasi icación de los co eos con asun o edoo illage. El da ase pa a ealiza el en enamien o p esen a dos clases desbalanceadas: solici ud (solici udes admi idas): 128 ins ancias. no _ ul ill_ equi emen s (solici udes no admi idas): 32 ins ancias. Dado el educido amaño del da ase , se ha op ado po u iliza la aducción al inglés ealizada en la Sección 5.2 pa a aquellos ex os cuyo idioma o iginal no uese és e. De es a o ma se e i a ealiza múl iples clasi icado es po cada idioma, eniendo algunos de ellos un conjun o de en enamien o muy educido o ealiza un clasi icado con palab as de a ios 49 idiomas aumen ando conside ablemen e el núme o de ea u es. El p ocesamien o aplicado a los ex os pa a suminis a los a los algo i mos de clasi ica- ción incluye: Eliminación de ca ac e es especiales. Eliminación de ca ac e es suel os. Con e sión de los ca ac e es a minúscula. Lema ización (Wo dNe Lemma ize ). Eliminación de s opwo ds. Omisión de palab as que apa ecen en más del 70 % de las ins ancias. Debido al desbalanceo, se ha u ilizado andom unde sampling en el en enamien o pa a e i a que el clasi icado asigne siemp e la e ique a más ecuen e (solici ud). El conjun o de en enamien o esul an e p esen a un núme o equi alen e de ins ancias pa a ambas clases, igual al amaño de la clase menos ecuen e. Pa a e alua el clasi icado se ha encon ado como p incipal p oblema el educido a- maño del da ase , po lo que se ha op ado po u iliza lea e-one-ou c oss alida ion. Es a écnica en ena el clasi icado N eces (con Nel amaño del da ase ) con odas las ins- ancias sal o una, que se u iliza pa a ealiza la p edicción. De es a o ma se maximiza el núme o de ins ancias que se u iliza pa a en ena el algo i mo pe mi iendo saca mé icas más ep esen a i as del modelo ob enido. El modelo que mejo esul ados ha a ojado se ha conseguido con el algo i mo SGDClas- si ie de la lib e ía sciki -lea n, el cual ajus a una SVM lineal. Los alo es u ilizados pa a 50 los pa áme os son: loss=’log’, penal y=’l1’, max_i e =5. En la abla in e io se mues an las p incipales mé icas ob enidas de la e aluación del clasi icado . Se ha conseguido un al o ni el de acie o, alcanzando un accu acy del 87 %. No obs an e hay di e encias no ables en e los esul ados ob enidos pa a las dos clases. La más ecuen e, solici ud, supe a el 90 % pa a las mé icas de p ecision y ecall. Es o no es así pa a la clase no_cumple_ equisi os que se queda en un 71 % pa a F1-sco e. P ecision Recall F1-sco e Suppo no_cumple_ equisi os 0.67 0.75 0.71 32 solici ud 0.94 0.91 0.92 128 Accu acy 0.87 160 El obje i o p incipal es educi los alsos nega i os, de mane a que solici an es ap os no sean echazados. Es e da o podemos ob ene lo de la mé ica ecall pa a la clase solici ud, la cual indica que de aquellas solici udes que debe ían se acep adas, se econocen el 91 %. Casos de uso Cada caso de uso se ha desa ollado median e un sc ip , que ealiza llamadas a las APIs pa a implemen a lo. Cada uno de ellos p opo cionan oda la uncionalidad de inida en la Sección 4.3. A con inuación se mues an los esul ados ob enidos. Respues a au omá ica de co eos Pa a mos a como el caso de uso queda cubie o po la implemen ación, en la Figu a 6.4 se p esen a el esul ado de una ejecución de p ueba. Po cla idad, y de mane a que no se epi an llamadas como ge _message_da a() la p ueba se ealiza pa a una bandeja de en ada con un sólo co eo a esponde . Se ma can en e de las llamadas p incipales a las 51 el núme o de co eos que enemos en la bandeja de en ada po usua io. La bandeja de la p ueba solo iene emails de dos usua ios, uno ep esen ando un compañe o de la o ganiza- ción (el que queda más abajo), y o o una pe sona ex e na. (a) Dis ibución de emails po idiomas. (b) Ranking de emi en es. Figu a 6.10: Es adís icas pa a bandeja de en ada. Si bien es posible ealiza el caso de uso de ecupe ación de his ó ico median e cualquie clien e de co eo elec ónico ac ual, es o no es así pa a los o os dos casos implemen ados. Es o supone que la p ueba de concep o ealizada, aun no siendo una he amien a inal, pod ía empeza a u iliza se como complemen o a un clien e de co eo po el pe sonal de Labdoo. 58 Capí ulo 7 Conclusiones y abajo u u o En es e abajo se ha analizado la p oblemá ica de la ges ión de co eo elec ónico en el caso de las ONGs. El p opósi o p incipal del p oyec o es minimiza el p oblema de email o e load en es e ipo de o ganizaciones a a és de la au oma ización y acili ación de a eas. Con es e obje i o, se han es udiado los úl imos a ances en wo k low managemen , y el papel que el co eo elec ónico desempeña en es os sis emas y en las o ganizaciones ac uales. Además, se ha lle ado a cabo un análisis de las necesidades pa icula es de las ONGs y sus limi aciones, ligadas a su ca ác e no luc a i o, lo que ha pe mi ido es ablece una se ie de equisi os pa a desa olla el sis ema. Además, se ha lle ado a cabo un análisis de da os p opo cionados po Labdoo, que se han p ep ocesado y e ique ado de ca a a en ena algo i mos de ap endizaje supe isado. Es o ha ayudado a ene un conocimien o más p o undo de la p oblemá ica conc e a a la que se en en a la o ganización y p opone una solución basada en da os. Teniendo p esen e odo lo an e io , se ha desa ollado una p ueba de concep o pa a el caso de Labdoo que con empla los es casos de uso de mayo p io idad. La uncionalidad 59 más ú il es la clasi icación y espues a au omá ica de emails, que educe d ás icamen- e la ca ga de abajo asociada a la ges ión del co eo. En el es ado ac ual de desa ollo, el 85 % de los emails pueden a a se de mane a au omá ica y, den o de es os, el núme o de alsos nega i os ha quedado educido po debajo del 10 %, asa de allo asumible po un sis ema p oduc i izado. Po o a pa e, la gene ación de es adís icas y la ecupe ación del his ó ico de una cuen a acili an las a eas de los usua ios y les ayudan a de ini es a egias pa a abo da el buzón de en ada. Así, el sis ema p opues o o ece di e sas uncionalidades que asis- en a los/as olun a ios/as en sus a eas de mane a e ec i a, obje i o p incipal del p esen e abajo. Además, es de des aca que la au oma ización de a eas sencillas y abo dables po la In eligencia A i icial pe mi e la adap ación a las necesidades especí icas de la o ganización y el pe eccionamien o p og esi o de los esul ados, po lo que el ma gen de mejo a es amplio. Es o cons i uye una de las p incipales en ajas del sis ema. En is a a odo lo an- e io , los esul ados de las p ueba de concep o se conside an muy p ome edo es. La p incipal limi ación de la p opues a es á elacionada con el educido amaño del da- ase , que es inge el endimien o de la clasi icación. Po lo an o, el abajo u u o debe o ien a se hacia la eca ación de da os de en enamien o más amplios, de mane a que los algo i mos puedan gene aliza mejo el p oblema, y aumen a la asa de acie o. Además, as un de e minado iempo de uso del p o o ipo desa ollado, se ía bene icioso con a con eedback en o ma de comen a ios y opiniones del pe sonal, de ca a a inclui nue as mejo as y a anza en la e iciencia. En un abajo más amplio, el uso de da os de o as o ganizaciones simila es a Labdoo pe mi i ía gene aliza la p opues a y desa olla 60 una implemen ación más di e sa. Po úl imo, se plan ea como abajo u u o el desa ollo de una in e az g á ica amigable, que haga uso de la API desa ollada. Es o acili a ía su uso en el día a día del pe sonal de la ONG, y disminui ía el iempo de ap endizaje de los/as nue os/as olun a ios/as, incidiendo de mane a posi i a en el uncionamien o de la o ganización. En conclusión, el abajo ealizado cons i uye un pun o de pa ida pa a la mejo a de la ges ión del co eo elec ónico en o ganizaciones de escasos ecu sos. És a es una p oblemá ica ex endida, aunque ha sido en gene al poco explo ada. Las conclusiones gene ales de es e abajo mues an que la au oma ización es iable y los esul ados son sa is ac o ios, si bien es necesa io a anza en el u u o en la p opues a pa a desa olla una solución óp ima del p oblema, aplicable a dis in as o ganizaciones. 61 Capí ulo 8 Conclusions and u u e wo k This wo k has analyzed he p oblem o email managemen in he case o NGOs. The main pu pose o he p ojec is o minimize he p oblem o email o e load in his ype o o ganiza ions h ough he au oma ion and acili a ion o asks. Wi h his objec i e, we ha e s udied he la es ad ances in wo k low managemen , and he ole ha email plays in hese sys ems and in cu en o ganiza ions. In addi ion, an analysis o he pa icula needs o NGOs and hei limi a ions, linked o hei nonp o i na u e, has been ca ied ou , which has allowed es ablishing a se ies o equi emen s o de- elop he sys em. Wi h all o he abo e in mind, a p oo o concep has been de eloped o he Labdoo case ha conside s he h ee highes p io i y use cases. The mos use ul unc ionali y is he classi ica ion and au oma ic esponse o emails, ha d as ically educes he wo kload associa ed wi h email managemen . In he cu en s a e o de elopmen , 85 % o emails can be ea ed au oma ically and, wi hin hese, he numbe o alse nega i es has been educed below 10%, a ailu e a e accep able by a p oduc i ized sys em. On he o he hand, he gene a ion o s a is ics and he eco e y o he a chi e o 62 an accoun acili a e he asks o he use s and help hem de ine s a egies o add ess he inbox. Thus, he p oposed sys em o e s a ious unc ionali ies ha assis olun ee s in hei asks e ec i ely, main objec i e o his wo k. In addi ion, i is no ewo hy ha he au oma ion o simple and app oachable asks by A i icial In elligence allows adap a ion o he speci ic needs o he o ganiza ion and he p og essi e imp o emen o he esul s, so ha he scope o upg ading is wide. This cons i u es one o he main ad an ages o he sys em. In iew o he abo e, he esul s o he p oo o concep a e conside ed e y p omising. The main limi a ion o he p oposal is ela ed o he small size o he da ase , which es ic s he pe o mance o he classi ica ion. The e o e, u u e wo k should be gea ed owa ds ga he ing mo e ex ensi e aining da a, so ha algo i hms can be e gene alize he p oblem, and inc ease he success a e. In addi ion, a e a ce ain pe iod o use o he de eloped p o o ype, i would be be- ne icial o ha e eedback in he o m o commen s and opinions o he s a , in o de o include new imp o emen s and gain e iciency. In a b oade wo k, he use o da a om o he o ganiza ions simila o Labdoo would allow gene alizing he p oposal and elabo a e a mo e di e se implemen a ion. Finally, he de elopmen o a iendly g aphical in e ace ha makes use o he designed API is conside ed as u u e wo k. This would acili a e i s day- o-day use by NGO s a , and educe he lea ning ime o new olun ee s, posi i ely a ec ing he ope a ion o he o ganiza ion. In conclusion, he wo k done cons i u es a s a ing poin o he imp o emen o email 63 managemen in low-income o ganiza ions. This is an ex ended p oblem, al hough in gene al i has been li le explo ed. The gene al conclusions o his wo k show ha au oma ion is iable and he esul s a e sa is ac o y, al hough, in he u u e, i is necessa y o keep ad ancing in he p oposal in o de o de elop an op imal solu ion o he p oblem, applicable o di e en o ganiza ions. 64 Bibliog a ía [1] Abou labdoo. h ps://www.labdoo.o g/con en /abou -labdoo, 2019. [2] Cloud ansla ion documen a ion. h ps://cloud.google.com/ ansla e/docs/, 2019. [3] F1 sco e. h ps://en.wikipedia.o g/wiki/F1_sco e, 2019. [4] The labdoo social ne wo k - how i wo ks. h ps://www.labdoo.o g/book/expo /h ml/39, 2019. [5] Modelo bolsa de palab as. h ps://es.wikipedia.o g/wiki/Modelo_bolsa_de_palab as, 2019. [6] Tex classi ica ion a comp ehensi e guide o classi ying ex wi h machine lea ning. h ps://monkeylea n.com/ ex -classi ica ion/, 2019. [7] Wha is inbox ze o. h ps:// low-e.com/inbox-ze o, 2019. [8] Wo k low managemen sys em. h ps://en.wikipedia.o g/wiki/Wo k low_managemen _sys em, 2019. [9] Vic o ia Bello i, Nicolas Ducheneau , Ma k Howa d, and Ian Smi h. Taskmas e : Recas ing email as ask managemen . 01 2002. [10] Vic o ia Bello i, Nicolas Ducheneau , Ma k Howa d, and Ian Smi h. Taking email o ask: he design and e alua ion o a ask managemen cen e ed email ool. In P o- ceedings o he SIGCHI con e ence on Human ac o s in compu ing sys ems, pages 345–352. ACM, 2003. [11] She ali Bha , C Anan a am, and Heman K Jain. An a chi ec u e o in elligen email based wo k low in e ace o business applica ions. In IC-AI, pages 344–350, 2008. 65 [12] Thomas Bu kha , Di k We h, and Pe e Loos. Con ex -sensi i e business p ocess suppo based on emails. In P oceedings o he 21s In e na ional Con e ence on Wo ld Wide Web, pages 851–856. ACM, 2012. [13] Lau a A Dabbish and Robe E K au . Email o e load a wo k: an analysis o ac o s associa ed wi h email s ain. In P oceedings o he 2006 20 h anni e sa y con e ence on Compu e suppo ed coope a i e wo k, pages 431–440. ACM, 2006. [14] Nicolas Ducheneau and Vic o ia Bello i. E-mail as habi a : an explo a ion o embed- ded pe sonal in o ma ion managemen . in e ac ions, 8(5):30–38, 2001. [15] And ew Faul ing, B ad Mye s, Ken Mohnke n, B adley Schme l, Aa on S ein eld, John Zimme man, Asim Smailagic, Je e y Hansen, and Daniel Siewio ek. Agen -assis ed ask managemen ha educes email o e load. In P oceedings o he 15 h in e na ional con e ence on In elligen use in e aces, pages 61–70. ACM, 2010. [16] Jo ge F anganillo. El co eo elec ónico en las o ganizaciones: Re os, opo unidades y endencias en la ges ión de in o mación pe sonal. Comunicación co po a i a en Red. [17] Ca olin Gomulia. Imp o ing coo dina ion, in eg a ion and communica ion in ngos. h p://www.ngopulse.o g/a icle/2015/08/05/imp o ing-coo dina ion-in eg a ion- and-communica ion-ngos-some-p ac ical, 2015. [18] Thomas Jackson, Ray Dawson, and Da en Wilson. The cos o email in e up ion. Jou nal o Sys ems and In o ma ion Technology, 5, 04 2004. [19] Zukhanye N Kwinana, P Wen wo h, and A Te zoli. An email based issue- acking wo k low sys em ha is ex ensible ac oss o ganiza ional bounda ies. SATNAC, 2004. [20] Kim McMu y. Managing email o e load in he wo kplace. Pe o mance Imp o emen , 53(7):31–37, 2014. 66 [21] Ghulam Muj aba, Liyana Shuib, Ram Gopal Raj, Nahdia Majeed, and Mohammed Ali Al-Ga adi. Email classi ica ion esea ch ends: Re iew and open issues. IEEE Access, 5:9044–9064, 2017. [22] Chun Ouyang, Michael Adams, Moe Thanda Wynn, and A hu HM e Ho s ede. Wo k low managemen . In Handbook on Business P ocess Managemen 1, pages 475– 506. Sp inge , 2015. [23] Jo ge J. Gómez Sanz. A py hon p og am ha akes an mbox ile and anonymizes i pa ially. h ps://gi hub.com/escalope/mboxanonymize , 2019. [24] Jakub Swacha e al. Managemen by email ein e p e ed wi h a p ocess-based app oach. Managing In ellec ual Capi al and Inno a ion o Sus ainable and Inclusi e Socie y: Managing In ellec ual Capi al and Inno a ion, pages 1343–1350, 2015. [25] Wil MP Van de Aals . The applica ion o pe i ne s o wo k low managemen . Jou nal o ci cui s, sys ems, and compu e s, 8(01):21–66, 1998. 67