Plataforma para Data Mining Colaborativo

FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO Pla a o ma pa a Da a Mining Colabo a i o Hugo Filipe da Sil a Ma os Mes ado In eg ado em Engenha ia In o má ica e Compu ação O ien ado : Rui Camacho (FEUP) 25 de Julho de 2016 Pla a o ma pa a Da a Mining Colabo a i o Hugo Filipe da Sil a Ma os Mes ado In eg ado em Engenha ia In o má ica e Compu ação Ap o ado em p o as públicas pelo Jú i: P esiden e: C is ina Ribei o (FEUP) A guen e: Benedi a Malhei o (ISEP) Vogal: Rui Camacho (FEUP) 25 de Julho de 2016 Abs ac Da a Mining p ac ione s use, in gene al, a se o algo i hms o analyze he a ious da ase s hey wo k wi h. I is also equen ha Da a Mining p ac ione s, in a simple s udy, y ou se e al algo i hms and un hem wi h di e en pa ame e combina ions. In sho , Da a Mining p ac ione s gene a es a lo o da a ha may be use ul o sha e wi h o he s. They a e also, some imes, in ol ed in esea ch eams. In all hese Da a Mining in es iga ion aspec s, a la ge quan i y o in o ma ion is p oduced and can be ele an o o he esea che s. I is hen ex emely ad an ageous o he communi y i each in es iga o allows he access(con olled by himsel ) o his da a, expe ience e- sul s, algo i hms, pape s and e en compu a ional esou ces. This hesis p oposes a pla o m which allows sha ing aluable in o ma ion o he Da a Mining communi y as i acili a es collabo a i e wo k in big p ojec s. i ii Resumo P a ican es de Da a Mining u ilizam, em ge al, um conjun o de algo i mos pa a analisa os di e sos conjun os de dados com que abalham. Ac esce ainda que p a ican es de Da a Mining, num es udo simples, expe imen am á ios algo i mos e execu am es es com á ias combinações di e en es de pa âme os. Em suma, p a ican es de Da a Mining ge am eno mes quan idades de dados que podem se ú eis ao se em pa ilhados com ou os. Es es, po ezes, es ão en ol idos em equipas de in es igação. Em odos es es aspec os da in es igação em Da a Mining se p oduz uma g ande quan idade de in o mação que pode se ele an e pa a ou os in es igado es. Se á pois ex emamen e an ajoso pa a a comunidade se cada in es igado pe mi i o acesso (con olado) aos seus dados, esul ados de expe iências, algo i mos, a igos e mesmo ecu sos compu acionais. Es e abalho de mes ado p e ende desen ol e uma pla a o ma que pe mi a an o a pa ilha de in o mação aliosa pa a a comunidade de Da a Mining como a acili ação de abalho colabo a i o em g andes p ojec os. iii i Ag adecimen os Os meus ag adecimen os ão, em p imei o luga , pa a o meu o ien ado , o p o esso Rui Ca- macho, pela sua disponibilidade e ajuda ao longo de odo o desen ol imen o. Em segundo luga , ag adeço aos meus amigos que semp e es i e am p esen es, e ao meu lado, ao longo de oda es a caminhada que culminou nes a disse ação. Po im, ag adeço à minha amília po e p o idenciado com udo o que eu p ecisei pa a a ingi es e obje i o. Hugo Ma os LISTA DE FIGURAS xii Lis a de Tabelas 2.1 py pdlib s p o pd compa ação de benchma ks . . . . . . . . . . . . . . . . . . 17 xiii LISTA DE TABELAS xi Ab e ia u as e Símbolos ANN A i icial Neu al Ne wo k API Applica ion P og amming In e ace CPU Cen al P ocessing Uni CRISP-DM C oss Indus y S anda d P ocess o Da a Mining DCMES Dublin Co e Me ada a Elemen Se DM Da a Mining DT Decision T ees FTP File T ans e P o ocol GUI G aphical Use In e ace HTML Hype Tex Ma kup Language HTTP Hype ex T ans e P o ocol ILP Induc i e Logic P og amming IP In e ne P o ocol JSON Ja aSc ip Objec No a ion KDD Knowledge Disco e y Da abase k-NN k-Nea es Neighbo s ML Machine Lea ning MVC Model View Con olle P2P Pee o Pee RAM Random Access Memo y REST Rep esen a ional S a e T ans e RF Random Fo es SVM Suppo Vec o Machine URL Uni o m Resou ce Loca o URN Uni o m Resou ce Name XML eX ensible Ma kup Language WS Web Se ice x Capí ulo 1 In odução Es a disse ação inse e-se na á ea de Da a Mining(DM)1colabo a i o, ocando-se na c iação duma pla a o ma ino ado a que pe mi a a pa ilha de ecu sos, en e in es igado es elacionados com es a á ea de es udo, p ocu ando o na o abalho do u ilizado de DM mais e icien e. 1.1 Con ex o/Enquad amen o O abalho colabo a i o é, a ualmen e, uma me odologia ex emamen e ele an e pa a o desen- ol imen o cien í ico e emp esa ial. A colabo ação pe mi e a en abilização de ecu sos, pa ilha de expe iências que, po im, le am à ab e iação da p odução de esul ados. Embo a haja hoje em dia ecnologias de ídeo con e ência que pe mi em e i a as euniões p esenciais e assim eduzi cus os do abalho colabo a i o es as êm limi ações, sob e udo pa a colabo ações en ol endo ele ado núme o de pa icipan es. Algumas des an agens incluem: ob i- gação de de ini uma da a/ho á io comum a indi íduos que mui as ezes êm ho á io já p een- chidos; disponibiliza ins alações (como salas de eunião) pa a um g ande núme o de indi íduos, e c. P oje os de DM eque em, ge almen e, g andes quan idades de dados de á ios ipos e en ol- em uma sé ie de ope ações pa a os analisa . Po ezes, é necessá ia a pa ilha dos mesmos en e um g upo de abalho ou pa icipan es no p oje o. No en an o, exis e a di iculdade de man e um egis o a ualizado sob e quais dados que es ão a se abalhados, e po quem os es á a abalha . O abalho p opos o consis e em desen ol e uma pla a o ma compu acional que pe mi a a ealização de abalho colabo a i o em p oje os de DM. 1Da a Mining é uma das ases do p ocesso comple o da análise de dados conhecido po Knowlegde Disco e y in Da abases(KDD). É ulga , na li e a u a, KDD e DM se em usados de modo equi alen e. Nes a disse ação, semp e que não o necessá io dis ingui os dois e mos, usa emos o e mo DM pa a de ini , an o o p ocesso comple o de análise de dados, como a pa e onde são cons uídos os modelos pa a dados 1 In odução 1.2 Mo i ação e Obje i os O p incipal obje i o des e abalho é o desenho e a implemen ação de uma pla a o ma compu- acional pa a abalho colabo a i o em DM. A pla a o ma se á baseada em Web se ices, pe mi i á oca segu a de in o mações e dados usando pedidos c edenciados, de inição de uma á ea de da- dos p i ada e ou a pública, mo o es de busca de in o mação e pa ilha de ecu sos compu acionais en e os colabo ado es. Sendo que, a ualmen e, não exis e nenhuma ou a pla a o ma o ien ada pa a es e ipo de a- balho. A me odologia pa a a p ossecução dos obje i os consis e em p imei o luga , numa análise do es ado da a e ela i o ao desen ol imen o da pla a o ma colabo a i a no âmbi o do DM. De seguida, a especi icação das uncionalidades da pla a o ma a desen ol e , complemen ando com uma p opos a duma a qui e u a pa a a pla a o ma. Po im, a implemen ação do p o ó ipo e o es e da pla a o ma usando um caso de es udo. 1.3 Es u u a da Disse ação Pa a além da in odução, es a disse ação con ém mais 4 capí ulos. No Capí ulo 2são ap e- sen ados os concei os, e minologias, e amen as e abalhos elacionados com o ema da ese. No Capí ulo 3é ap esen ada a desc ição da solução do p oblema. No Capí ulo 4são ap esen a- dos casos de es udo. No Capí ulo 5conclui-se a disse ação, suma izando os esul ados ob idos e p opondo abalho u u o 2 Capí ulo 2 Concei os e ecnologia em Da a Mining Os P oje os de Da a Mining (DM) eque em no malmen e um es udo p é io do p oblema a esol e e a ecolha, a amen o e análise dos dados. O obje i o é iden i ica ou cons ui , a pa i dos dados, conhecimen o que seja ú il pa a o u ilizado inal. Com o c escimen o e ape eiçoamen o da ecnologia de ecolha de dados, di e si icando os disposi i os, senso es, o ma os di e en es, maio núme o de aplicações, a quan idade de dados ecolhida e a mazenada é hoje imensa e eque écnicas so is icadas de ecolha e p ocessamen o desses dados[FB13]. O DM não se ia possí el sem g andes conjun os de dados e Big Da a es á di e amen e elaci- onada com as aplicações de DM. 2.1 Da a Mining O DM é um p ocesso que se e e e à ex ação, de conhecimen o a a és de g andes conjun os de dados [HK06]. O DM ambém ep esen a uma o ma de esol e p oblemas usando dados, sendo conside ado no malmen e uma a i idade c ia i a. Sendo pa ecida com p á icas de desco- be a cien í ica e usando écnicas como indução, com o obje i o de p opo hipó eses, que ajudem à pe ceção do p oblema e inalmen e, à chegada a uma solução [Moy05]. O p ocesso de DM é po ezes designado Knowledge Disco e y in Da abases (KDD), e é cons i uído po á ias ases: seleção, p é-p ocessamen o, ans o mação, cons ução de modelos, in e p e ação [FU96]. Um exemplo pode se is o na igu a 2.1. Exis em inúme os sis emas de DM e es es podem se classi icados de aco do com os ipos de dados analisados, ipos de conhecimen o a se adqui ido ou pelas écnicas u ilizadas [HK06]. C oss Indus y S anda d P ocess o Da a Mining OC oss Indus y S anda d P ocess o Da a Mining, CRISP-DM, é uma me odologia de DM que desc e e abo dagens ge almen e usadas po especialis as em DM. Um diag ama do p ocesso CRISP-DM pode se is o na igu a 2.2. 3 Concei os e ecnologia em Da a Mining Figu a 2.1: Da a Mining como um p ocesso de descobe a de conhecimen o [HK06] Es e p ocesso em as seguin es ases [Wik16a]: •En ende o Negócio: oca no en endimen o e especi icação dos obje i os do p oje o a pa i de uma pe spe i a de negócios, de inindo um plano p elimina pa a a ingi os obje i os. •En ende os Dados: ecolhimen o de dados e início de a i idades pa a amilia ização com os dados, iden i icando p oblemas ou conjun os in e essan es. •P epa a dos Dados: cons ução do conjun o de dados inal a pa i dos dados iniciais. No - malmen e oco e á ias ezes no p ocesso. •Modela : á ias écnicas de cons ução de modelos são aplicadas, e os seus pa âme os calib ados pa a o imização. Assim, é comum e o na à P epa ação dos Dados du an e es a ase. •A aliação: no passo an e io é cons uído um modelo com g ande qualidade de uma pe spe- i a de análise de dados. No en an o, é necessá io e i ica se o modelo a inge os obje i os do negócio. •Desen ol imen o: o conhecimen o adqui ido pelo modelo é o ganizado e ap esen ado de uma manei a que o clien e possa u iliza . Tipos de a e as de DM As a e as mais impo an es em DM são[MR11]: •Ap endizagem supe isionada, quando são conhecidas as a iá eis de ou pu (classes) do da ase , incluindo: 4 Concei os e ecnologia em Da a Mining Figu a 2.2: Diag ama do p ocesso CRISP-DM [Wik16a] –Classi icação: p e isão das classes, ipicamen e as a iá eis de ou pu são p og ama- das de o ma a ge a em um núme o in ei o. –Classi icação uzzy: associações g aduais de alo es en e 0 e 1, aplicados a di e en es classes. –Reg essão: p edição das classes na o ma dum alo eal, incluindo casos especiais de p e isão de alo es numa sé io empo al a a és de alo es ecen es ou do passado. •Ap endizagem não supe isionada, quando não são conhecidas as a iá eis de ou pu do da ase , incluindo: –Clus e ing: encon a e desc e e g upos de exemplos semelhan es em dados usando algo i mos de clus e ing. –Associação: encon a g upos de i ems que oco em equen emen e jun os em exem- plos. •Ap endizagem semi-supe isionada, onde as a iá eis de ou pu são conhecidas apenas em alguns exemplos. Cada uma des as a e as consis e numa cadeia de a e as de baixo ní el. Além disso, algumas des as a e as a uam s and-alone, po exemplo, iden i icando, num da ase ex enso, elemen os que possuem um ní el de semelhança al o. Exemplos des as a e as de baixo ní el: •Limpeza de dados(e.g., de eção de uído); •Fil ação de dados; 5 Concei os e ecnologia em Da a Mining •Da a –A da a associada com a c iação ou disponibilidade do ecu so, no o ma o AAAA- MM-DD. •Tipo de ecu so –A ca ego ia do ecu so po exemplo, homepage, omance, poema, wo king pape , ela ó io écnico, edação, dicioná io. •Fo ma o –O o ma o dos dados e, opcionalmen e, dimensões(ex., amanho, du ação) do ecu so. O o ma o é usado pa a iden i ica o so wa e e possi elmen e o ha dwa e que pode á se necessá io pa a ap esen a ou ope a o ecu so. •Iden i icado –Uma s ing ou núme o usado pa a iden i ica unicamen e o ecu so. Exemplos pa a ecu sos incluem URLs e URNs. Ou os globalmen e-únicos iden i icado es, como o In e na ional S anda d Book Numbe s (ISBN) ou ou os nomes o mais são ambém candida os pa a es e elemen o. •Idioma –O idioma do con eúdo in elec ual do ecu so. •Cobe u a –As ca ac e ís icas empo ais ou espaciais do con eúdo in elec ual do ecu so. Cobe - u a espacial e e e-se a uma egião ísica, usando o nome desse luga ou as espe i as coo denadas. Cobe u a empo al e e e-se aos aspe os que de inem o ecu so e não à da a de c iação(sendo que es a in o mação pe ence ao elemen o Da a). A cobe - u a empo al é ipicamen e especi icada usando pe íodos de empo(ex., neolí ico) ou o mesmo o ma o de da a/ho a ecomendado pelo elemen o Da a. •Di ei os –Uma decla ação de di ei os, um iden i icado que liga a uma decla ação de di ei os, ou um iden i icado que liga a um se iço que o nece in o mação sob e os di ei os do ecu so. Exemplo: Ti le=”Me ada a example” C ea o =”Ma os, Hugo” C ea o =”Sil a, Filipe” Subjec =”me ada a” 12 Concei os e ecnologia em Da a Mining Desc ip ion=”P esen s an example o a me ada a schema.” Publishe =”FEUP P ess” Da e=”2016-06" Type=”Tex ” Fo ma =”applica ion/pd ” Iden i ie =”h p://www.web.o g/ s anda ds/ esou ces/me ada a.pd ” Language=”en” Os obje i os que mo i a am a c iação des e ocabulá io o am[WKLW98]: •Simplicidade de c iação e manu enção •Semân ica de en endimen o ge al •Con o midade com os s anda ds exis en es e que ainda es ão a eme gi •Aplicabilidade e âmbi o in e nacionais •Ex ensibilidade •In e ope abilidade en e sis emas de coleções e de indexação 2.3 Web se ices Um Web se ice (WS) é um se iço o e ecido po um disposi i o, pa a ou o disposi i o, comunicando en e si pela Wo ld wide web. Num WS, ecnologias Web como HTTP, no mal- men e usadas pa a comunicação humano-máquina, são en ão usadas pa a comunicações máquina- máquina, mais especi icamen e pa a ans e i ichei os em o ma os como XML ou JSON. Na p á ica, o WS o nece uma in e ace Web-based o ien ada a obje os pa a uma base de dados, u ili- zada po exemplo, po ou o WS ou uma aplicação mobile, o necendo uma in e ace ao u ilizado inal24. 2.3.1 Web API Uma Web API é um conjun o de p o ocolos, o inas e e amen as pa a cons ui so wa e e aplicações. Um exemplo se ia uma REST ul Web API, es a é acessí el ia HTTP, incluindo clien es HTTP como b owse s e disposi i os mó eis. Como es es não execu am an as con e sões de dados como um WS no mal, endem a se mais ápido e áceis de implemen a . 2.4 Web F amewo k Uma amewo k pa a aplicações Web é uma amewo k de so wa e designado pa a supo a o desen ol imen o de si es Web dinâmicos, aplicações Web e se iços Web. A amewo k des ina- se a ali ia a sob eca ga associada a a i idades comuns ealizadas em desen ol imen o Web. Po 24h ps://en.wikipedia.o g/wiki/Web-se ice 13 Concei os e ecnologia em Da a Mining Figu a 2.3: Diag ama duma API disponí el an o no lado do clien e e do se ido [Wik16b] exemplo, mui as amewo ks o necem biblio ecas pa a acesso à banco de dados, amewo ks de modelaçã e ges ão de sessão, e ge almen e p omo em a eu ilização de código25. Uma aplicação Web usa uma combinação de, uma aplicação de se ido HTTP, um mecanismo de a mazenamen o como uma base de dados, um mo o de empla es, um dispa che de pedidos e módulos de au en- icação. Es es componen es podem se c iados indi idualmen e ou compiladas numa amewo k de al o-ní el. As amewo ks Py hon de al o-ní el mais popula es são: Django Web F amewo k e web2py26. Django Web F amewo k Django[Dja13] é uma ull-s ack Web F amewo k em Py hon, open sou ce, de al o ní el que incen i a um desen ol imen o ápido e limpo, aliado a um design p agmá ico. Es a oi c iada po de elope s expe ien es, de o ma a eduzi as complicações do desen ol imen o Web, e.g., não epe i o mesmo código á ias ezes. As ca ac e ís icas p incipais des a amewo k são: •Rapidez de desen ol imen o •Ex as pa a o desen ol imen o •Segu ança •Escalabilidade •Ve sa ilidade Es a amewo k assen a sob e o pad ão de a qui e u a Model iew con olle (MVC) mas, endo em con a o o ma o da amewo k Django, é mui as ezes explicado pela o ma "model/ iew/ em- pla e"27. Django REST amewo k Es e módulo pe mi e c ia uma Web API na egá el que possibili a e e es a espos as JSON e os endpoin s da aplicação. Ou a das ca ac e ís icas é a acilidade de se ialiazação, ou seja, os 25h ps://p .wikipedia.o g/wiki/F amewo k-pa a-aplicacoes-Web 26h ps://wiki.py hon.o g/moin/WebF amewo ks 27h p:// einou . an ees.o g/weblog/2011/12/13/django-m c-explana ion.h ml 14 Concei os e ecnologia em Da a Mining se ialize s pe mi em que dados complexos, como que ies ou modelos Django, sejam con e idos pa a es u u as na i as de Py hon que depois são acilmen e o nados em JSON[Ch 14]. web2py Web2py28 é uma ull-s ack amewo k c iada pa a o desen ol imen o, em Py hon, de aplica- ções web-based e da abase-d i en po á eis. 2.5 Pad ão de a qui e u a MVC O pad ão MVC oi in oduzido com o ambien e de p og amação Small alk, de o ma a es u u- a aplicações in e a i as duma o ma modula . Como o nome indica, o pad ão MVC é decompos o em 3 componen es p incipais[GO11]. Figu a 2.4: Es e diag ama exempli ica uma elação ípica da a qui e u a MVC29. Model A componen e model in eg a essencialmen e o es ado da aplicação e as ope ações que podem muda esse es ado. A componen e model man ém ambém dependências das componen es iew e con olle , no i icando-as quando há mudanças de es ado. 28h p://www.web2py.com/ 29Desenhado com a e amen a h p://www.c ea ely.com 15 Concei os e ecnologia em Da a Mining View A componen e iew ap esen a a in o mação u ilizado numa in e ace GUI. Exis em múl iplas iews de di e en es ipos, que são in eg adas na aplicação de o ma a ap esen a iews di e en- es aos u ilizado es. Quando uma iew é a ualizada, essa é no i icada pela componen e model e pos e io men e pode pedi a essa componen e a in o mação que necessi a nesse momen o. Con olle A componen e con olle esponde às ações do u ilizado a a és da in e ace GUI. Es a é esponsá el po passa as ansações ao model pa a se em execu adas. Os con olado es de em exis i numa elação de 1-pa a-1 em co espondência com as iews. Quando um con olado e- cebe um inpu , es e é ep oduzido aos sub-con olado es p imei o, de o ma a que esse inpu seja p ocessado pelos ní eis mais baixos da hie a quia p imei o. 2.6 P o ocolo FTP FTP ou File T ans e P o ocol30 é uma o ma bas an e ápida e e sá il de ans e i ichei os, sendo uma das mais usadas na In e ne . Pode e e i -se an o ao p o ocolo quan o ao p og ama que implemen a es e p o ocolo (Se ido FTP, nes e caso, adicionalmen e apa ece em le as minús- culas, po in luência do p og ama de ans e ência de a qui os do Unix). Os dados são ans e idos num luxo con ínuo de by es. O p o ocolo de anspo e TCP o nece a iabilidade do p ocesso, ce i icando-se que odos os by es que não chegam ao des ino são een iados e pos e io men e e i ica se chega am co e amen e[Mos06]. py pdlib Py pdlib31 é uma biblio eca Py hon pa a a c iação de se ido es FTP duma o ma e icien e, escalá el e assínc ona, sendo a mais comple a disponí el em Py hon. Possui, na u almen e, as chamadas s anda d dum se ido FTP no mais. Pe mi e ambém a c iação de á ios ipo de au- en icações pa a o con olo de u ilizado es em Unix eWindows. Na abela 2.1 ep esen ada a compa ação de benchma ks en e py pdlib e a e amen a p o pd32. 30h ps://p .wikipedia.o g/wiki/File-T ans e -P o ocol 31h ps://gi hub.com/giampaolo/py pdlib 32h p://www.p o pd.o g/ 16 Concei os e ecnologia em Da a Mining Tabela 2.1: py pdlib s p o pd compa ação de benchma ks Benchma k Type py pdlib p o pd Speedup STOR (clien ->se e ) 585.90 MB/s 600.49 MB/s -0.02x RETR (se e ->clien ) 1652.72 MB/s 1524.05 MB/s +0.08 300 concu en clien s (connec , login) 0.19 s 9.98 s +51x STOR (1 ile wi h 300 idle clien s) 585.59 MB/s 518.55 MB/s +0.1x RETR (1 ile wi h 300 idle clien s) 1497.58 MB/s 1478.19 MB/s 0x 300 concu en clien s (RETR 10MB ile) 3.41 s 3.60 s +0.05x 300 concu en clien s (STOR 10MB ile) 8.60 s 11.56 s +0.3x 300 concu en clien s (QUIT) 0.03 s 0.39 s +12x 17 Concei os e ecnologia em Da a Mining 2.7 Pee - o-Pee Pee - o-Pee (P2P) é uma a qui e u a de edes de compu ado es onde cada um dos pon os ou nós da ede unciona an o como clien e quan o como se ido , pe mi indo a pa ilha de se iços e dados sem a necessidade de um se ido cen al33. "A compu ação pee - o-pee (P2P) em p omo ido uma g ande modi icação nos pad ões de uso da In e ne nos úl imos anos. Sua g ande an agem, em elação à compu ação clien e/se ido , é possibili a a colabo ação di e a en e os usuá ios, sem depende de se ido es adminis ados po e cei os"[RDC+04]. Na Figu as 2.5 e Figu a 2.6, podemos e as di e enças en e uma ede baseada em P2P e uma ede baseada num se ido cen al. Figu a 2.5: Diag ama duma ede baseada em P2P 34 Figu a 2.6: Diag ama duma ede baseada num se ido cen al 35 33h ps://p .wikipedia.o g/wiki/Pee - o-pee 34Desenhado com a e amen a h p://www.c ea ely.com 35Desenhado com a e amen a h p://www.c ea ely.com 18 Concei os e ecnologia em Da a Mining 2.8 Sumá io Pode-se conclui que o p oblema essencial é a al a duma pla a o ma pa a DM colabo a i o, como al, e após o es udo das p incipais ecnologias a se usadas, e i ica-se que exis e uma opo - unidade nes a á ea, aliando as ecnologias de WS e P2P, pa a a o mulação duma pla a o ma des- cen alizada. Ou o aspe o undamen al se ia a implemen ação de me adados na solução, de modo a ob e odas as an agens que es es o necem quando usados numa pla a o ma des e géne o. 19 Concei os e ecnologia em Da a Mining 20 Capí ulo 3 Pla a o ma pa a Da a Mining Colabo a i o 3.1 P oblema Exis e uma necessidade de c iação duma e amen a que pe mi a a pa ilha de ecu sos e i- cien e em p oje os de DM. Essa pla a o ma de e pe mi i a exis ência de um ambien e de co- labo ação em que os seus u ilizado es possam, não só gua da in o mação sob e o abalho de in es igação que ealizam, mas ambém pa ilhá-la e pode pesquisa e acede a con eúdos que es- ejam públicos na pla a o ma. Es e ambien e é ca ac e izado po se descen alizado, emo endo assim a necessidade dum se ido cen al e da exis ência dum adminis ado da ede. 3.2 Âmbi o da solução O desen ol imen o des a pla a o ma isa p incipalmen e que os seus u ilizado es sejam um g upo de in es igado es. Es es, encon ando-se na necessidade de pa ilha ecu sos num (ou á ios)p oje os na á ea de DM e es ando geog a icamen e sepa ados, se iam o segmen o de u ili- zado es que mais bene icia ia duma pla a o ma des e géne o. Des e modo, cada u ilizado i ia e o seu p óp io si e, bene iciando da opção de pode pesquisa na ede de u ilizado es, po ecu sos ú eis pa a o seu abalho a ual. Foi en ão desen ol ido um p o ó ipo pa a simula um uso eal da pla a o ma. 3.3 A qui e u a da solução A a qui e u a assen a sob e os seguin es concei os: •Se ido Web — Rep esen a a á ea de abalho do u ilizado e con ém o Web Se ice que es abelece comunicação en e os á ios si es •Base de dados — Rep esen a a base de dados do u ilizado ; 21 Pla a o ma pa a Da a Mining Colabo a i o Figu a 3.5: Algo i mos Figu a 3.6: Da ase s Figu a 3.7: Recu sos compu acionais 28 Pla a o ma pa a Da a Mining Colabo a i o Figu a 3.8: Resul ados de expe iências 29 Pla a o ma pa a Da a Mining Colabo a i o Desc ição dos a ibu os: • i le –Nome do ecu so ( em de se igual ao nome do ichei o) • ile –Fo eign key co esponden e ao ichei o ca egado na pla a o ma •owne –Pessoa que ez o upload •pub_da e –Da a do ca egamen o do ecu so •public –P i acidade do ichei o (0 ep esen a público, 1 ep esen a p i ado) Finalmen e exis e o modelo File( igu a 3.7): Figu a 3.9: Fichei os Desc ição dos a ibu os: •name –Nome do ichei o • o ma –Fo ma o do ichei o •size –Tamanho do ichei o 30 Pla a o ma pa a Da a Mining Colabo a i o •pa h –O igem do ichei o no ilesys em Não exis e o modelo "U ilizado "pois os u ilizado es são di e enciados pelo IP das suas má- quinas, que são con igu ados na mon agem da pla a o ma. Exis e, con udo, um adminis ado do si e -supe use . 3.4.3.1 Es u u a Redis A es u u a Redis oi c iada com o obje i o de aloja os me adados. Is o pois es a es u u a, além de se ca ac e izada po uma es u u a key -> alue, que é ideal pa a a ep esen ação dos me adados, pe mi e gua da g andes quan idades de dados man endo semp e empos ápidos de esc i a e lei u a sem ocupa quan idades de memó ia signi ica i a. Como al, oi necessá io c ia uma in eg ação da es u u a Redis com a amewo k Py hon - Django. Is o oi conseguido a a és de dois módulos: •Redis-py •Django-me ada a O módulo Redis-py se e de back-end, ou seja, pe mi e a comunicação en e as chamadas Py hon e o se ido Redis. O módulo Django-me ada a pe mi e en ão anexa me ada a aos modelos Django. Exemplo de anexação de me adados a um modelo no Lis ing 3.1: 1>>> om app.models impo A icle 2>>> a icle = A icle.objec s.ge ( i le=’ hesis’) 3>>> a icle.me ada a[’au ho ’] = ’Hugo Ma os’ Lis ing 3.1: Anexação de me adados a um modelo Exemplo de acesso aos me adados dum modelo no Lis ing 3.2: 1>>> a icle.me ada a[’au ho ’] 2Hugo Ma os Lis ing 3.2: Acesso aos me adados dum modelo 31 Pla a o ma pa a Da a Mining Colabo a i o Exemplo de emoção de me adados dum modelo no Lis ing 3.3: 1>>> del a icle.me ada a[’au ho ’] 2>>> a icle.me ada a[’au ho ’] 3T aceback (mos ecen call las ): 4... 5KeyE o : ’au ho ’ Lis ing 3.3: Remoção de me adados dum modelo 3.4.4 Se ido Web O se ido Web oi c iado usando a linguagem de p og amação Py hon. Es e es á assen e numa amewo k Web, Django. 3.4.4.1 F amewo k Web O Django o nece á ios ichei os base, de o ma a pe mi i a con igu ação da amewo k. Se ings No ichei o se ings, é ei a a con igu ação p incipal da pla a o ma: •São de inidos odos os módulos usados pela pla a o ma, sendo que é pe mi ida a adição de módulos ex e nos, po exemplo o Django REST F amewo k. •É con igu ada a base de dados a se usada, sendo que é pe mi ido uso de á ias bases de dados em simul âneo. •É ei a a decla ação do sis ema de o as da pla a o ma. •É con igu ada o caminho oo pa a ichei os es á icos e ambém o local onde é gua dada oda a media da pla a o ma. Models No ichei o models são decla ados os modelos de classes usados na pla a o ma. Es es modelos es ão explicados na Secção 3.4.1. U l No ichei o u ls es ão de inidas as odas as o as da pla a o ma pa a a ap esen ação de páginas Web. O con eúdo ap esen ado na página web, di ecionado pelas o as, é p ocessado pelas iews. 32 Pla a o ma pa a Da a Mining Colabo a i o Views No ichei o iews é p ocessada a in o mação que ai se ap esen ada na página Web, ou seja, são execu adas que ies à base de dados, a in o mação p o enien e é en ão p ocessada, se necessá- io e, po im, é e o nado um eques com a empla e (HTML) e as a iá eis que são compiladas nessa empla e. Nes e ichei o são p ocessados os o mulá ios exis en es na pla a o ma, al como as ans e ências de ichei os(download/upload). Po im, o módulo de pesquisa es á ambém de inido nes e ichei o. Templa es HTML Nas empla es HTML são p ocessadas as a iá eis p o enien es das iews, de modo a se em ap esen adas no o ma o desejado. Nas empla es oi usada a amewo k Boo s ap 31. A azão des a escolha de e-se p incipalmen e à sua e iciência na cons ução de empla es, já es ada em abalhos an e io es, mas ambém à sua popula idade, o que esul a numa g ande quan idade de in o mação. 3.4.4.2 REST ul API A REST ul API, oi concebida a a és da amewo k Django REST F amewo k. Is o pois e a necessá ia uma o ma de comunica , en e os á ios nós, o con eúdo exis en e em cada pla a o ma ins alada. Es a amewo k a a de se ializa os modelos Django exis en es na pla a o ma, con e endo- os em es u u as Py hon que são pos e io men e con e idas no o ma o JSON. To na-se en ão possí el acede ao con eúdo exis en e nos ou os nós, a a és dum pedido HTTP c edenciado, que e o na con eúdo JSON que é en ão gua dado e ap esen ado pelo nó que e e uou o pedido. O Lis ing 3.4 mos a con eúdo JSON ge ado pela API, nes e caso o pedido e e uado oi a lis a de a igos(nes e exemplo ha ia apenas um a igo na base de dados). 1h ps://gi hub.com/ wbs/boo s ap 33 Pla a o ma pa a Da a Mining Colabo a i o 1{ 2"coun ": 1, 3"nex ": null, 4"p e ious": null, 5" esul s": [ 6{ 7" i le": "Pee - o-pee _colab.pd ", 8"owne ": " an", 9"pub_da e": "2016-06-23T01:39:47Z", 10 "public": 0, 11 "keys": "[ "publishe ", "desc ip ion ", "language ", "c ea o ", " co e age ", "da e ", "iden i ie ", " ype ", "subjec "]", 12 " alues": "[ "Minicu so, Simp u00 3sio B asilei o de Redes de Compu a ", "Pee - o-pee (P2P) compu ing has been p omo ing a subs an ial change in he usage pa e ns o he In e ne in he las yea s. I s mos impo an ad an age, compa ed o clien /se e compu ing, is maki ", "p ", "Rocha, Jo u00e3o Domingues, Ma co Callado, A hu Sou o ", "- ", "2014-06-23 ", "- ", "A icle ", "Pee - o-pee : Compu a u00e7 u00e3o colabo a i a na in e ne "]" 13 } 14 ] 15 } Lis ing 3.4: Respos a JSON ge ada po um pedido de a igos Pa a adiciona es e con eúdo JSON à pla a o ma, e eco endo à biblio eca u l2lib2é ei o um eques c edenciado ao URL que con ém o con eúdo. No código seguin e es á ep esen ado o código que e e ua essa mesma ação, sendo que a a iá el esul con ém o con eudo ep esen ado no Lis ing 3.5. 1_ eques = u llib2.Reques ("h p://46.101.97.251:8000/app/api/a icles.json") 2base64s ing = base64.encodes ing(’%s:%s’ % ("admin","admin")). eplace(’ n’, ’’) 3_ eques .add_heade ("Au ho iza ion", "Basic %s" % base64s ing) 4 esul = u llib2.u lopen(_ eques ) Lis ing 3.5: Exemplo de eques à API de ou a pla a o ma 3.4.5 Se ido FTP O se ido FTP oi c iado pa a lida com as ans e ências de ichei os en e nós. Es e oi c iado com a u ilização do módulo py pdlib. Es e se ido co e em backg ound, com a ajuda da lib py hon-daemon3, jun amen e com o se ido Web. 2h ps://docs.py hon.o g/2/lib a y/u llib2.h ml 3h p://pypi.py hon.o g/pypi/py hon-daemon 34 Pla a o ma pa a Da a Mining Colabo a i o Como al, quando é ei o pelo u ilizado , um pedido de ans e ência dum ichei o que es á num nó ex e no ao a ual, é ei o um pedido de ans e ência ao se ido FTP desse nó ex e no. De seguida, quando a ans e ência e mina, o ichei o é en ão se ido ao u ilizado que e e uou o pedido inicial. 3.5 Resumo e Conclusões Nes e capí ulo, é iden i icada a desc ição da pla a o ma, iden i icando assim odos os compo- nen es que ep esen am a solução. Além dis o, oi e e uada uma desc ição écnica po meno izada des as componen es de o ma a explica o uncionamen o do p o ó ipo desen ol ido. 35 Pla a o ma pa a Da a Mining Colabo a i o 36 Capí ulo 4 Caso de es udo 4.1 Obje i o O obje i o do caso de es udo é es a a pla a o ma duma o ma e e i a c iando um ambien e ela i amen e ealis a. No inal, é supos o e i a conclusões, ou seja, sob e a iabilidade da pla a- o ma pa a DM colabo a i o usada po um g upo de in es igado es. 4.2 Desc ição do caso O caso é es ado po dois in es igado es que es ão geog a icamen e sepa ados. Um in es iga- do london encon a-se em Lond es (Reino Unido) e o in es igado an encon a-se em F ank u (Alemanha). Como não hou e a possibilidade de es a com dois in es igado es, es e caso oi es ado po mim, usando em simul âneo dois se ido es geog a icamen e sepa ados (Lond es e F ank u ). Pa a o caso o am o necidos á ios documen os que os in es igado es ão coloca na pla a o ma. Es e documen os podem se conjun os de a igos, implemen ações de algo i mos, da ase s, ecu sos compu acionais e esul ados de expe iências. O p óximo passo é e i ica se a pla a o ma unciona de aco do com o especi icado na imple- men ação. Pa a al, é necessá io execu a uma sé ie de ações que cob em os obje i os p incipais de uso da pla a o ma. 37 Caso de es udo 44 Capí ulo 5 Conclusões e T abalho Fu u o 5.1 Conclusão Sendo que a á ea de es udo e in es igação em DM, uma á ea já bas an e desen ol ida, p in- cipalmen e na pa e da descobe a de conhecimen o, a pla a o ma desc i a nes a disse ação em o obje i o de p opo uma solução ino ado a ocando p incipalmen e o aspe o colabo a i o des a á ea. Es a solução pe mi e aos u ilizado es a c iação dum ambien e homogéneo, p opício pa a a pa ilha de ecu sos e expe iências, omen ando assim a en eajuda num g upo de in es igado es. A solução ap esen a uma in e ace simples e in ui i a, de o ma a pe mi i aos seus u ilizado es execu a em as suas ações na pla a o ma duma o ma b e e e e icien e, pe mi indo uma alocação maio de empo a a e as mais impo an es, como a p odução de esul ados nos abalhos em que es ão en ol idos. Conside ando o desen ol imen o do Web se ice concebido pa a a disponibilização de in o - mações p o enien es de á ias on es, e sendo que es e pe mi e o uso desses mesmo ecu sos aos di e en es u ilizado es na ede, conclui-se que o obje i o p incipal des a disse ação oi a ingido. Con udo, exis em alguns aspe os que pode iam pe mi i um uso mais in e a i o da pla a o ma, aos u ilizado es, que não o am conc e izados. Além dis o, e ia sido ú il pa a a e igua a u ilidade da pla a o ma num ambien e cons i uído po sujei os com uma expe iência as a em p oje os de DM. A mo i ação p incipal des e p oje o es e e elacionada com a c iação duma solução ino ado a, cons i uída po ecnologias a uais que incen i a am a in es igação. 45 Conclusões e T abalho Fu u o 5.2 T abalho Fu u o Ao longo do desen ol imen o des a solução o am su gindo opo unidades de melho amen o da pla a o ma que, com o obje i o de não pe de o oco no obje i o p incipal e ambém de ido ao ac o de não se em uncionalidades c í icas pa a o pe ei o uncionamen o, o am deixadas pa a segundo plano. Embo a não essenciais ao uso da pla a o ma, es as uncionalidades i iam p o idencia um uso mais sa is a ó io ao u ilizado . Du an e o uso da pla a o ma, e i ica-se que o p ocesso de upload de ecu sos pode se de- mo ado de ido à necessidade do p eenchimen o dos me adados dos mesmos. Um melho amen o possí el se ia o p eenchimen o au omá ico de alguns des es campos de me adados. Esse p eenchi- men o se ia a ingido, po exemplo, nos a igos, eco endo à API da e amen a Mendeley1. Des a o ma, no momen o do upload do a igo, i ia se ei a uma pesquisa na base de dados do Mendeley nesse mesmo a igo, acedendo a in o mações como o abs ac , edi o , da a de publicação. Ou o aspe o, que se ia ú il na u ilização con ínua da pla a o ma po um g upo as o de u ili- zado es, se ia o a mazenamen o do his ó ico de ações execu adas. Ou seja, pe mi i a isualização duma lis a que con ém a ação que oi execu ada, quem execu ou e a da a em que oi execu ada. O obje i o des a uncionalidade se ia man e o es o dos u ilizado es a pa dos documen os no os que es ão a se adicionados a pla a o ma. Caso osse o obje i o da aplicação pe mi i execu a algum do abalho de DM di e amen e na pla a o ma, se ia possí el a in eg ação dum sis ema que pe mi isse a execução de algo i mos sob e da ase s exis en es na mesma. Is o pode ia se conseguido, po exemplo, in eg ando a API do sis ema de Machine Lea ning - WEKA, na pla a o ma. A p ocu a de in o mação pode ia se melho ada usando on ologias. Po exemplo, se es abele- ce mos uma on ologia sob e algo i mos de DM pode iamos especi ica algo i mos de classi icação e ob e , po exemplo, Decision T ees, k-NN, C4.5, ID3, em ez de lis a odas as possibilidades. A on ologia pe mi i ia expandi a que y inicial pa a e mos mais especí icos. 1www.mendeley.com 46 Re e ências [Bea09] Alan Beaulieu. Lea ning SQL. Da abase, page 312, 2009. URL: h p://books. google.com/books?id=1PgCCV yjOQC, a Xi :a Xi :1011.1669 3. [Ch 14] Tom Ch is ie. Django REST amewo k. Ci i ano 14.9.2014: h p://www.django- es - amewo k.o g/#django- es - amewo k, 2014. URL: h p://www. django- es - amewo k.o g/{#}django- es - amewo k. [Dja13] Django So wa e Founda ion. Django: The Web amewo k o pe ec ionis s wi h deadlines, 2013. URL: h ps://www.djangop ojec .com/. [FB13] W. Fan e A. Bi e . Mining big da a. SIGKDD Explo . Newsl., 14(2):1, 2013. [FU96] U. Fayyad e R. U hu usamy. Da a mining and knowledge disco e y in da abases. Communica ions o he ACM, 39(11):24–26, 1996. [GO11] Ralph F. G o e e E ay Ozkan. The MVC-web design pa e n. WEBIST 2011 - P oceedings o he 7 h In e na ional Con e ence on Web In o ma ion Sys ems and Technologies, pages 127–130, 2011. URL: h p://www.scopus.com/inwa d/ eco d.u l?eid=2-s2.0-80052569275{&}pa ne ID= ZO x3y1. [HK06] J. Han e M. Kambe . Da a mining. 2006. [Lin05] G eg Linds om. P og amming wi h Py hon, 2005. a Xi :a Xi :1011.1669 3, doi:10.1109/MITP.2005.120. [Mos06] Julian Moss. Unde s anding TCP / IP. Compu e , 93(87):478, 2006. URL: h p: //www. echsuppo ale .com/pd /c04100.pd . [Moy05] S e e Moyle. Collabo a i e da a mining. In Oded Maimon e Lio Rokach, edi o s, Da a Mining and Knowledge Disco e y Handbook, page 1043–1056. 2005. [MR11] Ral Miku e Ma kus Reischl. Da a mining ools. Wiley In e disciplina y Re iews: Da a Mining and Knowledge Disco e y, 1(5):431–443, 2011. doi:10.1002/widm.24. [Na 04] Na ional In o ma ion S anda ds O ganiza ion. Unde s anding Me ada a. Na- ional In o ma ion S anda ds, (MD:NISO P ess):20, 2004. URL: h p: //www.mendeley.com/ca alog/unde s anding-me ada a-3/$ delimi e "026E30F$nh p://www.niso.o g/publica ions/p ess/ Unde s andingMe ada a.pd , a Xi :4, doi:10.1017/S0003055403000534. [RDC+04] João Rocha, Ma co Domingues, A hu Callado, Edua do Sou o, Gu hembe g Sil- es e, Ca los Kamienski e Djamel Sadok. Pee - o-pee : Compu ação colabo a i a na in e ne . Minicu so, Simpósio B asilei o de Redes de Compu ado es, (Sep embe 2015), 2004. 47 REFERÊNCIAS [WF05] Ian H. Wi en e Eibe F ank. Da a Mining: P ac ical machine lea ning ools and echniques. Mo gan Kau mann, 2nd edi ion edi ion, 2005. [Wik16a] Wikipedia. C oss Indus y S anda d P ocess o Da a Mining. [online] A ailable a : h ps://en.wikipedia.o g/wiki/C oss_Indus y_S anda d_P ocess_ o _Da a_Mining Accessed 15, Feb ua y 2016. [Wik16b] Wikipedia. Web API. [online] A ailable a : h ps://en.wikipedia.o g/wiki/WebAPI Accessed 15, Feb ua y 2016. [WKLW98] S. Weibel, J. Kunze, C. Lagoze e M. Wol . Dublin Co e Me ada a o Resou ce Disco e y. RFC 2413, 1998. 48