Criação de um data warehouse empresarial : na direção de planeamento e gestão da TAP Portugal

i CRIAÇÃO DE UM DATA WAREHOUSE EMPRESARIAL And é Henggele de Mou a Na Di eção de Planeamen o e Ges ão da TAP Po ugal Rela ó io de Es ágio ap esen ad o como equisi o pa cial pa a ob enção do g au de Mes e em Ges ão de In o mação i MEGI 2017 Tí ulo : CRIAÇÃO DE UM DATA WAREHOUSE EMPRESARIAL Sub í ulo: Na di eção de Planeamen o e Ges ão da TAP Po ugal And é Henggele de Mou a MGI 1 2 NOVA In o ma ion Managemen School Ins i u o Supe io de Es a ís ica e Ges ão de In o mação Uni e sidade No a de Lisboa CRIAÇÃO DE UM DATA WAREHOUSE EMPRESARIAL po And é Henggele de Mou a Rela ó io de Es ágio ap esen ado como equisi o pa cial pa a a ob enção do g au de Mes e em Ges ão de In o mação, Especialização em Ges ão do Conhecimen o e Business In elligence. O ien ado : P o esso Ví o Pe ei a Dua e dos San os No emb o 2017 3 RESUMO Nos dias de hoje as ecnologias de in o mação êm um papel undamen al no sucesso das emp esas. Um dos pon os cha es pa a alcança es e sucesso é en a c ia uma an agem compe i i a ao analisa os dados que as p óp ias o ganizações c iam. A complexidade da in o mação ap esen ada às pessoas que ge am es as iden idades o na a ges ão de in o mação um assun o cha e a e em conside ação. É po an o necessá io cons ui mecanismos ou e amen as que ag egam, p ocessam e pa ilham a in o mação ob ida pe mi indo uma omada de decisão mais ápida e mais e icien e. O p incipal obje i o des e es ágio oi c ia um Da a Wa ehouse, pa a um depa amen o especí ico da emp esa, com ecu so a di e sas on es de in o mação. Um dos pon os impo an es é a necessidade que as emp esas êm em ajus a os p óp ios sis emas às bases de dados. Es e ipo de aplicação pe mi e e uma di e en e isão dos dados e o e ece, ambém, a possibilidade da emp esa e uma análise mais o e dos dados de modo a supo a decisões. PALAVRAS-CHAVE Da a Wa ehouse; Dados; Base de Dados; Business In elligence 4 ABSTRACT In o ma ion echnologies ha e a c ucial ole in he success o he companies in oday’s wo ld. Among he mos impo an weapons o each his kind o success, c ea ing one compe i i e ad an age o analyzing he da a ha companies c ea e in hei business model is absolu ely impo an and ep esen s one way o do i . The complexi y o he in o ma ion ha is p esen ed o who manage his kind o ac i i ies, makes he in o ma ion managemen one issue ha we all mus ha e on coun . I is necessa y build ei he mechanisms o ools ha agg ega e, p ocess and sha e all he in o ma ion ha was ob ained, allowing ha ing one decising-making mo e e icien and as e . The main a ge o his in e nship was o c ea e a Da a Wa ehouse om se e al Da a Sou ces o a speci ic depa men o he i m. One o he mos impo an hemes is he necessi y ha all he companies ha e o adjus hei owns sys ems o Da a Bases. This so o applica ion allows ha ing a di e en ou look o he da a and on he o he hand also gi es he possibili y o he Company o ha ing one s onge analysis o he da a in o de o suppo i decisions. KEYWORDS Da a Wa ehouse; Da a; Da aBases; Business In elligence 5 ÍNDICE 1. In odução .................................................................................................................... 9 1.1. Con ex o académico ............................................................................................ 10 1.2. Con ex o emp esa ial .......................................................................................... 10 1.3. Obje i os do es ágio ............................................................................................ 11 2. Re isão li e a u a ........................................................................................................ 13 2.1. Concei o de Sis emas de In o mação .................................................................. 15 2.2. Business In elligence ........................................................................................... 16 2.3. Sis ema de Da a Wa ehouse ............................................................................... 17 2.4. P ocesso ETL ........................................................................................................ 20 2.5. Sis ema de Apoio à Decisão ................................................................................ 22 2.6. Da a Ma ............................................................................................................ 23 3. Tecnologias e e amen as ......................................................................................... 27 3.1. Tecnologias .......................................................................................................... 27 3.1.1 SQL ................................................................................................................ 27 3.1.2 MDX ............................................................................................................... 27 3.1.3 DAX ................................................................................................................ 27 3.2. FERRAMENTAS ..................................................................................................... 28 3.2.1 Mic oso SQL Se e .................................................................................... 28 3.2.2 Visual S udio .................................................................................................. 29 3.2.2.1 SSIS ............................................................................................................ 30 3.2.2.2 SSAS ........................................................................................................... 31 3.2.2.3 SSRS ........................................................................................................... 31 4. A i idades desen ol idas ........................................................................................... 32 4.1. Con ex o .............................................................................................................. 32 4.2. P oje o – Mon agem de um p ocesso ETL .......................................................... 33 4.2.1 Desa io .......................................................................................................... 33 4.2.2 Ta e as e Skills ............................................................................................... 33 4.1.3 Resul ados ..................................................................................................... 36 4.2 P oje o – C iação de Rela ó ios ........................................................................... 36 4.2.1 Desa io .......................................................................................................... 36 4.2.2 Ta e as e Skills ............................................................................................... 36 4.2.3 Resul ados ..................................................................................................... 37 6 5 Conclusão.................................................................................................................... 38 5.1 Ap eciação C i ica do T abalho Desen ol ido ..................................................... 38 5.2 Ap eciação Global do Es ágio e Ap endizagem ................................................... 38 5.3 Pe spec i as Fu u as ............................................................................................ 39 Re e ências Bibliog á icas ............................................................................................... 40 7 ÍNDICE DE FIGURAS Figu a 1 – O ganog ama da TAP Po ugal em Junho de 2016 ................................................. 11 Figu a 2 - Relações en e dados, cap a, in o mação e conhecimen o (Adap ado de Checkland e Holwell 1998) ................................................................................................................. 15 Figu a 3 – Exemplo do p ocesso ETL ........................................................................................ 21 Figu a 4 – Exemplo de um S a Schema. .................................................................................. 24 Figu a 5 – Exemplo de um Snow lake Schema. ........................................................................ 25 Figu a 6 - Es u u a ípica e simpli icada de um sis ema ecnológico de BI. ........................... 26 Figu a 7 – Ambien e de desen ol imen o do SQL Se e . ....................................................... 28 Figu a 8 – Ambien e inicial do Visual S udio. ........................................................................... 29 Figu a 9 – Ambien e de desen ol imen o do SSIS ................................................................... 30 Figu a 10 – Exemplo de um cubo mul idimensional. ............................................................... 31 Figu a 11 – Modelo ipo de um p ocesso ETL. ......................................................................... 33 Figu a 12 – P ocesso de ex ação da in o mação pa a uma abela on e. .............................. 34 Figu a 13 - P ocesso ETL de ca egamen o de dados pa a uma abela de s aging. ................ 35 14 ans o ma uma quan idade eno me de dados em in o mação e pos e io men e em conhecimen o. O empo acabou po se o na um e dadei o aliado dos sis emas de in o mação ao mos a que uma base de dados é a melho e mais e icaz manei a de gua da a in o mação, independen emen e do seu olume (B obs , 1998). Ci ando uma das ases mais conhecidas de Cha les Da win (1809-1882) ela i amen e à impo ância da adap ação: “Na e olução das espécies não são os mais o es que sob e i em mas sim o que mais apidamen e se adap am às mudanças”. 15 2.1. C ONCEITO DE S ISTEMAS DE I NFORMAÇÃO Exis em á ios concei os que con ibuem pa a a de inição de Sis ema de In o mação (SI). Checkland e Holwell (2014) dis inguem qua o concei os base: dados, cap a, in o mação e conhecimen o. Es es concei os podem se de inidos da seguin e o ma: • Dados: Fac os não es u u ados; • Cap a: Dados ele an es a que escolhemos p es a a enção; • In o mação: A ibuição de um signi icado aos dados já selecionados; • Conhecimen o: Vai além das in o mações pois além de e um signi icado em uma aplicação Figu a 2 - Relações en e dados, cap a, in o mação e conhecimen o (Adap ado de Checkland e Holwell 1998) Com os concei os bases já p esen es é possí el ago a de ini o que se en ende po SI, “pode se de inido como um conjun o de componen es in e elacionados que abalham em conjun o pa a ag upa , ecupe a , p ocessa , a mazena e dis ibui in o mação pa a acili a o planeamen o, con ole, coo denação, análise e p ocesso decisó io nas o ganizações.” (Laudon e Laudon 2014). 16 Os compu ado es passa am a se undamen ais na melho ia das a i idades de p ocessamen o de in o mação o ganizacional desde que começa am a se u ilizados pa a o p ocessamen o de dados. Os SI baseados em compu ado es passa am de um me o supo e pe i é ico pa a um a o cha e de uso comum ao longo da o alidade da o ganização (Boland e Hi schheim, 1987). 2.2. B USINESS I NTELLIGENCE Os sis emas de Business In eligence são, hoje em dia, um ca alisado da mudança pe mi indo uma boa ges ão, ajudam na omada de decisão, o nam a emp esa mais ágil num me cado cada ez mais compe i i o, onde a ecolha e análise de dados é a cha e do sucesso. Um sis ema de BI engloba um as o conjun o de aplicações de apoio a omada de decisão o que possibili a um acesso ápido e pa ilhado das in o mações bem como a sua análise. O e mo Business In elligence oi u ilizado pela p imei a ez po Luhn (1958) como a “a habilidade de ap eende as in e - elações dos ac os ap esen ados, numa o ma que pe mi a guia a ação umo a um obje i o desejado” Em 1989 o e mo é popula izo po Howa d D esne como denominado ge al pa a desc e e um conjun o de concei os e mé odos pa a melho a a omada de decisão do negócio a a és da u ilização de sis emas de supo e à decisão (Powe , 2007). Pa a Wu (2007) o e mo BI é u ilizado pa a desc e e um conjun o de aplicações e ecnologias que são u ilizadas pa a ecolhe , acede e analisa dados de uma o ganização com o obje i o de ajuda a oma decisões melho es. A inalidade de business in elligence é o nece in o mação u ilizá el. O âmbi o de BI cob e p ocesso elacionados com ecnologia bem como p ocessos elacionados com o negócio (Schwenk, 2010) endo English (2005) p opos o as seguin es de inições: • BI: "Capacidade de uma emp esa pa a agi e icazmen e a a és da explo ação dos seus ecu sos humanos e de in o mação."; 17 • Ambien e de BI: In o mação de qualidade con ida em bases de dados bem desenhadas que o necem aos u ilizado es acesso a empado e de o ma in ui i a às in o mações, pe mi indo oma decisões co e as. Business In elligence pe mi e aos memb os de oda a o ganização não só analisa in o mações de negócio com o obje i o de melho a a qualidade de in o mação mas ambém a melho ia de p ocessos ope acionais. (Elbashi , 2008) 2.3. S ISTEMA DE D ATA W AREHOUSE Um Da a Wa ehouse não é nenhum ipo de aplicação que se possa comp a e ins ala nos compu ado es da emp esa. Na ealidade, a sua implemen ação exige a in eg ação de á ios p ocessos. Numa pe spe i a minimalis a, um DW não é mais que uma BD especializada, in eg a que ge e a ecolhe de in o mação a pa i de sis emas ansacionais in e nos e on es de dados ex e nas. Um DW é um eposi ó io de dados sepa ados das bases de dados ope acionais da o ganização, de inido como “ uma coleção de dados o ien ados po assun o, in eg ados, a iá eis no empo e não- olá eis, que supo a o p ocesso da omada de decisão” (Inmon, 2002) Um DW é con uído pa a pe mi i : uma is a in eg ada e comple a de oda a o ganização; acessos a dados his ó icos da o ganização; e uma on e de dados e osímeis den o da o ganização e acili a os p ocessos de omada de decisão, sem sob eca ega os sis emas ope acionais (Po , Klaue e B obs , 1998). Toda ia, e á sido Bill Inmon – conhecido como “o pai do da a wa ehousing” – que popula izou o concei o de Da a Wa ehouse, e que p o idenciou os c i é ios de de inição hoje comumen e acei es (Inmom, 2005). Segundo Bill Inmon (2002) o DW é de inido como: “... a subjec -o ien ed, in eg a ed, non ola ile, and ime- a ian collec ion o da a in suppo o managemen ’s decisions.” 18 Um Da a Wa ehouse é um eposi ó io de dados que comp eende as seguin es ca ac e ís icas: i. O ien ado po assun o - odas as en idades e ansações elacionadas com um de e minado assun o - po exemplo, endas, ecu sos humanos ou hospi ais - es ão ligadas en e si; ii. In eg ado - Inmom e e e que es e é, de ac o, o aspe o mais impo an e de um da a wa ehouse (Inmom, 2005); os dados que alimen a ão o DW são o iundos de á ios sis emas on e, e po isso necessi am de se limpos, il ados e ans o mados, pa a que possam ep esen a uma isão in eg ada do negócio; iii. Não- olá il - os dados que são ca egados pa a o da a wa ehouse, po no ma, não so em al e ações ou a ualizações. Ao con á io dos sis emas ope acionais, apenas du an e as ope ações de ca egamen o (pe iódicas planeadas) é que os dados são al o de algum ipo de edição; i . Va iá el no empo - ao con á io de um sis ema ansacional, em que os egis os apenas es ão associados ao momen o de acesso (são álidos ‘ago a’), um da a wa ehouse man ém egis os que es ão associados a odos os momen os onde oco eu uma al e ação nos dados (dados his ó icos). Um DW bem con uído em um impac o mui o signi ica i o a á ios ní eis ao pe mi i descob i no as o mas de aumen a a ecei a e a e iciência da o ganização, bem como aumen a a qualidade do supo e à decisão. Exis em duas di e en es abo dagens mais deba idas, op down e bo om up, pa a o desenho de uma DW que o am in oduzidas po Inmon (2002) e Kimball (2002), espe i amen e. A “Co po a e In o ma ion Fac o y” de Inmon (2002), co esponde à abo dagem op down que de ende a exis ência de um eposi ó io cen al com um modelo de dados no malizados, pa a alimen a os Da a Ma s dependen es com is a a pe mi i a explo ação de dados numa lógica depa amen al. Já Kimball (2002) em ou a pe spe i a, bo om up, onde consis e na c iação de Da a Ma s que podem se combinamos en e si pa a o ma a DW da o ganização a a és de um in e ace de ligação (“bus”), empo Kimball chamado a es a a qui e u a “Da a Wa ehouse Bus A chi ec u e”. 19 No en endo exis em ou as abo dagens que podem se u ilizadas onde se ado am p incípios das duas abo dagens (Bu s ein 2008). A necessidade de ob e in o mação es a égica, a pa i de um g ande olume de dados dispe sos le ou que osse desen ol ido um no o géne o de Sis ema de In o mação (SI) designado de Da a Wa ehouse, es es SIs são con uídos com o in ui o de apoia o p ocesso de omada de decisão na o ganização (Boa , 1997). O concei o de DW emon a ao inal dos anos 80 onde e a ido com sendo “o único eposi ó io lógico de oda a in o mação de negócio u ilizada pa a e ei o de epo ing” (De lin & Mu phy, 1988). A de inição de Ralph Kimball (2002), ap esen ada na ob a The Da a Wa ehouse Toolki , de ine DW como: "… a copy o ansac ion da a speci ically s uc u ed o que y and analysis." Com o su gimen o dos DWs oi necessá io c ia no os mé odos de es u u ação de dados, an o no a mazenamen o como na consul a de in o mação. As emp esas p oduzem e a mazenado um olume ele ado de dados, sendo no mal que es es dados es ejam dispe sos po á ias se ido es, que podem, inclusi e, es a dispe sos po á ias localizações geog á icas e e sido desen ol idos em pla a o mas e linguagem di e en es (Gup a, 1997). Um dos p incipais desa ios da implemen ação de um DW é a in eg ação dos dados, eliminando edundâncias, iden i icando os duplicados que possam es a em sis emas dis in os, ep esen adas sob o ma os ou designações di e en es (Adelman e Moss, 2000). O p ocesso de passagem dos dados dos sis emas ansacionais pa a o DW é denominado Ex ac ion, T ans o ma ion and Loading. O sis ema de DW, no malmen e, é sepa ados das bases de dados ansacionais, pelo que as consul as dos u ilizado es não deg adam a pe o mance dos sis emas ansacionais, que icam simul aneamen e p o egidos de al e ações e pe das causadas pela manipulação inde ida da in o mação. Há á ios anos que o ganizações pe cebe am a iqueza dos dados exis en es nos seus sis emas sejam eles uma olha de Excel, bases de dados dispe sas, en e ou os, e começa am cada ez mais a in es i em sis emas analí icos. An es de se analisa odos es es conjun os de sis emas, nomeadamen e em Business In elligence, em de se e um conjun o de dados coe en e com oda a in o mação da emp esa, o Da a Wa ehouse. 20 A cons ução de um Da a Wa ehouse é cada ez mais uma ealidade e uma opção emp esa ial impo an e, uma ez que se a a de uma ação que en ol e oda a o ganização e po ou o lado eque um luxo de in es imen o g ande, que em meios ma e iais, que em meios humanos. Uma ez con uído o DW é possí el agmen a-lo em BD mais pequenas, o ien adas po assun os ou, nes e caso, depa amen os, que são econhecidos como Da a Ma s. Um Da a Ma (DM) é uma es u u a de dados mul idimensional o ien ada po assun o ou po depa amen o que no malmen e em en oque numa á ea de ma ke ing, come cial, inancei a, en e ou as (Kimball e al., 1998). O seu empo de conceção é mais eduzido. A opção de con ui um Da a Ma es a elacionada com as necessidades dos u ilizado es inais ou das necessidade especi icas do negócios. Nes e caso em pa icula os dados exis em, a in o mação exis e mas é necessá io jun a udo numa única base de dados. Es e p ocesso de aglome a a in o mação oda i á possibili a que odos os abalhado es da á ea em ques ão enham acesso à in o mação de uma o ma mais ágil e ápida ( Malinowski e Zimányi, 2009). 2.4. P ROCESSO ETL A sigla ETL em do Inglês, Ex ac T ans o m Load, ou seja, Ex ação T ans o mação e Ca ga. Uma solução ETL pe mi e ealiza ope ações que passam pela ex ação a pa i das on es, ans o mação e inse ção dos dados na DW e um mo o OLAP - Online Analy ical P ocessing – pa a a ealização de consul a , e amen as de análise e ou as aplicações que ge em o p ocesso de ecolha e en ega de dados de o ma ú il e ele an e aos u ilizados (Cy an, 2003). As e amen as OLAP pe mi em aos u ilizado es e e ua em consul a de dados a a és de aplicações. Ajuda a en ende as di e sas necessidades de negócio que os dados cap u am, le ando a um p ocesso de decisão baseado em ac os (Bu s ein 2008). Pe mi e cap u a os dados a a és de medidas de dimensões o mando o chamado cubo OLAP (Valacich e Scheneide 2011). 21 Figu a 3 – Exemplo do p ocesso ETL O ETL é o p ocesso mais c í ico e demo ado na cons ução de um DW que consis e em ês e apas: 1. Ex ação (Ex ac ): É a cole a de odos os dados dos sis emas de o igem que podem se as mais di e sas on es de dados como po exemplo o Excel, um la ile ou ou a base de dados. Depois de os ex ai o sis ema ai ans e i-los pa a a S aging A ea onde o sis ema ETL pode ope a independen emen e das on es de dados; 2. T ans o mação (T ans o ma ion): É nes e e apa que se ealizam os de idos ajus es pa a en a melho a a qualidade dos dados ex aídos. Vem a pa e do a amen o da in o mação e da limpeza de dados, que consis e em pad oniza os dados em amanho e ipo, subs i uição de ca ac e es es anhos, co eção de e os de digi ação, e i a duplicidade de in o mações, subs i uição de dados não p eenchidos, de e-se ambém a a as di e en es de inições de in o mação, po exemplo, e um sis ema de de inição de H pa a homem e M pa a mulhe e ou o sis ema em M de masculino e F de eminino não é co e o. Em casos como es es de e-se op a pela de inição mais usual e o na-la pad ão pa a e i a inconsis ências nos dados; 3. Ca ga (Load): A e cei a e úl ima e apa consis e em es u u a e ca ega os dados pa a a DW. Dependendo das necessidades da o ganização es e p ocesso pode a ia 22 amplamen e. Algumas o ganizações op am po subs i ui as in o mações exis en es pelos dados acumula i os e ou as op am po adiciona os dados em al a no in e alo de empo a de ini . O in e alo de empo de inido po cada emp esa depende das necessidades de negócio. Na igu a 3 pode-se obse a um exemplo de um p ocesso ETL onde são os dados são ex aídos de ês on es di e en es, um base de dados, um ichei o Excel e um CVS ambém conhecido po Fla File. Depois da ex ação os dados são en iados pa a a S aging A ea (SA) onde são limpos e abalhados. A S aging A ea consis e numa á ea de a mazenamen o in e mediá ia, en e as on es de dados e o p óp io DW (Kimball e Ross 2002). Pos e io men e é ei o o ca egamen o dos dados na DW inal. Se os dados em ques ão não o em abalhados de uma manei a co e a no p ocesso de ex ação as in o mações ge adas a a és dos mesmos a ão com que as decisões omadas es ejam e adas, o que pode a e a di e amen e a o ganização. Po an o, os dados de em ep esen a a e dade (Kimball, 1998). A maio pa e do es o ço exigido ao longo da c iação de uma base de dados é consumido no p ocesso ETL (Inmon 1997). 2.5. S ISTEMA DE A POIO À D ECISÃO Os Sis emas de apoio à Decisão (SAD) azem pa e de um conjun o de Sis emas de In o mações que egem emp esas em odo o mundo. Os SAD di e em dos SI po que es es edi ecionam o planeamen o es a égico den o de uma emp esa. Um Sis ema de Apoio à Decisão cob e uma g ande a iedade de sis emas e ecnologias. Es es sis emas o am c iados com o in ui o de se i de auxílio às pessoas que omam decisões den o de uma o ganização. Os SAD são usados em decisões, em que um julgamen o é necessá io, ou em decisões de que não são comple amen e supo adas po algo i mos, ou seja, é semp e p eciso um u ilizado pa a usa es e ipo de sis emas, onde es e ep esen a o papel mais impo an e. 23 É impo an e ealça ou as de inições de um SAD: "Os Sis emas de Apoio à Decisão êm qua o ca ac e ís icas p incipais: inco po am simul aneamen e dados e modelos; o am concebidos pa a assis i os ge en es no seu p ocesso de decisão sob e a e as semies u u adas; supo am julgamen os ao ní el da ge ência; o seu obje i o é melho a a e e i idade das decisões, e não a e iciência com que cada decisão es á a se ei a." (Tu ban 1990) "Os sis emas de apoio à decisão são sis emas de in o mação in e a i os que assis em o ges o a acede a p oblemas mal es u u ados o e ecendo modelos analí icos e acesso a bases de dados." (Zwass 1992) Um SAD ás bas an es an agens como: ul apassa limi es cogni i os (a a és do compu ado ), decisões mais e icazes e e icien es, sepa a as ope ações de p odução das ope ações de decisão e apidez ao longo de odo o p ocesso. 2.6. D ATA M ART U m Da a Ma é um subconjun o de um DW o ien ados pa a os equisi os especí icos de um depa amen o ou em unção de um negócio, azão pela qual é mui as ezes cons uído endo em conside ação as necessidades dos u ilizado es inais. Qualque depa amen o pode á e o seu DM, sendo que odos os dados que cons am no DM são p o enien e do DW, se bem que em meno escala e com uma quan idade signi ica i a ag egados (Inmon 2008). As ês p incipais ca ac e ís icas dos Da a Ma s são segundo Oppel (2004): • Foco num depa amen o; • No malmen e não con ém dados ope acionais; • Implemen ação ípica com ecu so ao S a Schema 30 3.2.2.1 SSIS SQL Se e In eg a ion Se ice (SSIS) pe mi e a in eg ação de dados com al a pe o mance e cons ução de ETL, cons i uindo á ias ope ações pa a a cons ução de um Da a Wa ehouse. O SSIS inclui algumas e amen as g á icas pa a a c iação de a e as p é-de inidas como po exemplo, execuções de ins ução SQL, ligação às on es de in o mação, en io au omá ico de emails, ans o mações e manipulação de dados, ag egações, en e ou as. Figu a 9 – Ambien e de desen ol imen o do SSIS Na igu a 9 podemos e , do lado esque do, algumas a e as exis en es do SSIS, es as a e as apesa de p é-de inidas necessi am de uma con igu ação exaus i a de aco do com o ipo de dados, espe i as on es de in o mação e obje i o inal do u ilizado . 31 3.2.2.2 SSAS SQL Se e Analysis Se e (SSAS) possibili a a cons ução de on-line Analy ical P ocessing Componen (OLAP) do SQL Se e . O SSAS pe mi e cons ui es u u as mul idimensionais, os chamados cubos, e a mazena ag egações complexas. O Analysis Se ices é uma isão mul idimensional da nossa base de dados. Figu a 10 – Exemplo de um cubo mul idimensional. 3.2.2.3 SSRS SQL Repo ing Se ice é um módulo do SQL esponsá el pela cons ução de ela ó ios que em po base os dados p o enien es do cubo já cons uído. Em odo es e módulo a linguagem usada é o MDX. O SSRS é bas an e u ilizado nos dias de hoje is o que compo a ações desde cons ução de abelas, a ela ó ios que são expansí eis e pe mi em exibi ca ego ias e subca ego ias de p odu os a é ap esen a dados de uma o ma g á ica. 32 4. ATIVIDADES DESENVOLVIDAS 4.1. C ONTEXTO O p oje o ap esen ado em seguida oi desen ol ido na sua o alidade, em odas as ases, po mim. No deco e des e es ágio o am ealizadas as a i idades abaixo desc i as. O p oje o consis iu em c ia de aiz um Da a Wa ehouse endo po base á ias on es de in o mação. A é ao momen o odos os dados u ilizados pela DPG e am consul ados acedendo a uma se ie de p og amas e, pos e io men e, compilados de o ma manual, num único Excel. Só depois des e p ocesso demo ado é que e a ei a uma análise a oda a in o mação, que mui as ezes se e ela a pouco p ecisa e mui o demo ada. Tendo em con a es e cená io o maio pedido ei o pela equipa da TAP p endia-se com o ac o de e a in o mação disponí el de o ma imedia a e com o maio igo possí el. O es ágio oi di idido em dois g andes p oje os. O p imei o p oje o passou pela c iação de um p ocesso ETL, com o in ui o de cons ui o DW. No segundo, desen ol e am-se alguns ela ó ios, endo po base o DM já exis en e, pa a que a in o mação possa es a semp e disponí el e a ualizada. Sem g ande conhecimen o da á ea de negócio, mas com uma g ande on ade de ap ende , i e inicialmen e algumas di iculdades pa a pe cebe que ipo de in o mação e a undamen al e de que o ma o depa amen o que ia que os dados ossem ap esen ados. Es á é uma das p incipais di iculdades encon adas po alguém que não em o know-how da á ea. 33 4.2. P ROJETO – M ONTAGEM DE UM PROCESSO ETL 4.2.1 D ESAFIO O p oje o inha um empo limi ado pa a a sua ealização o que cons i uiu um eno me desa io is o que o olume de dados ge ados po dia na TAP Po ugal é as onómico. As á ias bases de dados englobam mui a in o mação e os dados necessi am de se analisados an es de e e ua a sua ex ação. Pa a a implemen ação des a solução o am necessá ias, na ase inicial, bas an es euniões com oda a equipa pa a elabo a não só o desenho de odo o p ocesso como pe cebe de que o ma e a abalhada a in o mação a que inham acesso. Um dos g andes desa ios oi en a o imiza o mais possí el odos os p ocessos pa a que o empo de espe a dos u ilizado es osse o meno possí el. Pa a al o am semp e ealizados á ios es es e mon agem de á ios p ocessos em pa alelo com o obje i o de chega a uma solução ó ima. 4.2.2 T AREFAS E S KILLS A in o mação passa a mui o pelo ipo de a iões que azem de e minadas o as, as ho as de oo de cada memb o da ipulação e as ho as oadas po cada a ião, são exemplos de in o mação que e a eco en emen e pedida. Todas es as in o mações es a am em eposi ó ios de dados a iados, desde ichei os em Excel, bases de dados SQL e O acle e ichei os CSV. O p imei o passo oi pe cebe onde é que a in o mação se encon a a alocada e de que o ma se conseguiam liga os dados das á ias on es sem al e a o seu con ex o. De seguida cons uiu-se o p ocesso ETL que passou po ês ases: on es, s aging e analí ico. Na igu a 11 pode obse a -se um modelo ípico de um p ocesso de ETL. Figu a 11 – Modelo ipo de um p ocesso ETL. 34 A passagem da in o mação das on es ex e nas pa a as abelas designadas po on es são uma cópia di e a dos dados. Nes e passo apenas que emos ga an i que os dados já se encon am do nosso lado pa a que os possamos os abalha no p óximo passo. Semp e que exis e um ca egamen o dos dados pa a as abelas da DPG os dados são odos apagados e ol ados a ca ega . No p ocesso de on es não é gua dado nenhum ipo de his ó ico. É um p ocesso ápido com o obje i o apenas de ga an i apenas a cópia dos dados de um lado pa a o ou o. Na igu a 12 emos um exemplo conc e o do que oi desc i o. Como se pode obse a no inal do ca egamen o empo duas a e as, uma de sucesso e ou a de alha. Pa a exis i um con olo maio dos dados que são ca egados é inse ido numa abela de logging as ho as que o p ocesso e mina e o nome do package do SSIS em ques ão. Mais a de caso seja necessá io aze algum con olo ou se algum dos p ocessos de e o é mais ácil iden i ica em que passo oi, pa a que se possa co igi o e en ual e o de uma o ma mais simples e e icaz. Figu a 12 – P ocesso de ex ação da in o mação pa a uma abela on e. Assim, após e mos os dados p e endidos odos gua dados nas nossas abelas on es passou-se pa a as abelas de s aging. É nes e passo que se az o a amen o da in o mação consoan e as eg as de negócio que o am pedidas pela DPG. 35 Podemos obse a na abela 13 um exemplo da passagem da in o mação, onde é ei o um a amen o mais exaus i o dos dados. Nes a passagem é gua dado um his o io de oda a in o mação que ecebemos. Po mo i os de con idenciais não i á se explicado em de alhe o p ocesso ap esen ado mas de uma o ma ge al é ei a uma di isão en e os ipos de a iões e os espe i os des inos. Po im a in o mação é colocada numa abela com o nome “STG_TP_RATTING_AIRBUS” Figu a 13 - P ocesso ETL de ca egamen o de dados pa a uma abela de s aging. Após e mos a in o mação o almen e abalhada e gua dada nas abelas de s aging es amos em condições de passa mos pa a o úl imo passo. Na úl ima e apa azemos uma cópia da in o mação que cons a na s aging a ea pa a o DW inal. Todos os p ocessos que o am mon ados es ão inse idos em á ios jobs pa a que co am de o ma au omá ica e os u ilizado es enham a in o mação a ualizada dia iamen e. 36 4.1.3 R ESULTADOS A elabo ação e a implemen ação de uma solução de Business In elligence, endo po base a cons ução do e e ido p ocesso ETL e elou se uma mais- alia, an o pa a a o ganização como pa a os u ilizado es, na ó imização da diminuição dos e os ge ados ao longo de odo o p ocesso, como ambém no empo que e a pe dido pelos colabo ado es a mon a as eco en emen e analises. As e amen as de BI demos a am que são u eis e uma mais alida pa a qualque negócio e/ou emp esa que possua uma g ande es u u a de dados pa a a qual o empo de análise e es u u ação dos dados seja limi ada. 4.2 P ROJETO – C RIAÇÃO DE R ELATÓRIOS 4.2.1 D ESAFIO Após a ealização do p oje o an e io al a a ealiza a úl ima e apa; a c iação de ela ó ios. A e amen a u ilizada oi o Visual S udio SSRRS e as linguagens de p og amação o am o SQL e o MDX. O desa io passou pela c iação de ela ó ios com in o mação semp e a ualizada, endo po base alguns ela ó ios já c iados em Excel. A é ao momen o odos os ela ó ios e am c iados de o ma manual e a ualizados dia iamen e e alguns á ias ezes ao dia. Sem um conhecimen o p o undo na á ea mas já com algum know-how sob e o negócio i e de en ende quais as mé icas mais indicadas a u iliza . Pa a a elabo ação dos ela ó ios ha ia a necessidade de aplica alguns il os e o con eúdo dos mesmos e a ei o maio i a iamen e a a és de ma izes ou abelas. Foi-me dado um ela ó io modelos, onde já es a am de inidas as co es, o logo ipo e o ipo de le a a u iliza . 4.2.2 T AREFAS E S KILLS Na maio ia dos ela ó ios e e uados u ilizou-se a in o mação já o ganizada e hie a quizada dos cubos, linguagem MDX, mas em alguns ela ó ios oi necessá io eco e à linguagem de SQL po uma ques ão de pe o mance. 37 Pa a a cons ução de qualque ela ó io é necessá io a exis ência de Da a Sou ces de onde são ex aídos os dados com a in o mação eque ida. Todas as ligações o am e e uadas ao cubo e à DW. Na c iação dos Da a Se s o am execu adas que ys pa a ex ai os dados p e endidos, an o pa a as abelas a ap esen a nos ela ó ios, como pa a o auxílio de alguns pa âme os. Ao longo de execução des e p oje o pa icipei em di e sas euniões pa a en ende quais as necessidades de odos os u ilizado es de o ma a en a euni odos os equisi os pedidos. Depois de os ela ó ios es a em inalizados o am ealizados á ios es es pa a ga an i que udo es a em condições e sem e os de o ma a se em colocados em p odução e p on os a se em u ilizados. 4.2.3 R ESULTADOS A c iação de ela ó ios u ilizando as écnicas de Business In elligence e ela a-me uma ez mais supe io es à já ul apassada c iação de documen os Excel. Na ó ica de odos os u ilizado es es e no o mé odo de epo ing eio acele a o p ocesso de consul a de in o mação e diminui conside a elmen e a axa de e os is o que o a amen o da in o mação é ei o de o ma au omá ica. 38 5 CONCLUSÃO 5.1 A PRECIAÇÃO C RITICA DO T RABALHO D ESENVOLVIDO Du an e a elabo ação do p imei o p oje o, cons ução do p ocesso de ETL, oi-me possí el consolida oda a o mação académica e ap o unda os meus conhecimen os na e amen a des inada à in eg ação de dados. Fiquei subs ancialmen e mais amilia izado com odas as asks disponí eis no p og ama e ap endi quando e como é que as e ei de u iliza , o que acabou po me pe mi i uma maio e icácia na execução do p oje o. No segundo p oje o abalhei di e amen e sob in o mação já disponí el numa base de dados da emp esa. Ti e a opo unidade de e olui signi ica i amen e na cons ução de ela ó ios u ilizando a ecnologia SSRS. O meu conhecimen o de MDX e a mui o limi ado, o que exigiu de mim um es udo e um es o ço adicional. Es e p oje o exigiu mais da minha pa e, na medida, que só eu es a a enca egue pela execução dos ela ó ios, ganhei au onomia o al sob e o abalho que es a a a desen ol e . Es es desa ios ajuda am-me a enca a a ealidade dos p oje os com empos limi ados pa a a sua execução e a ge i odos os incon enien es de abalha sob p essão. Apesa de udo i e o p i ilégio de e uma equipa an ás ica ao meu lado que se mos ou semp e p esen e quando oi necessá io. No inal i e o p i ilégio de e o meu abalho elogiado po oda a equipa e u ilizado es, sen indo assim, que os meus obje i os o am cump idos. 5.2 A PRECIAÇÃO G LOBAL DO E STÁGIO E A PRENDIZAGEM Desde o p imei o dia que iniciei as minhas unções, quan o es agiá io, na TAP que ui acompanhado pelos melho es especialis as na á ea de BI. Ao longo de odo o p ocesso ui endo á ios desa ios, com necessidades de ap endizagens di e en es, o que colocou à p o a a minha capacidade de esolução de p oblemas e o ganização. É undamen al e e i que um dos maio es desa ios, e o mais complicado de ge i , oi o ac o de es a a es agia oi o ho as po dia e a equen a o mes ado ao mesmo empo. É algo mui o exigen e, no en an o, conside o uma expe iencia mui o en iquecedo a que me pe mi iu ob e ensinamen os 39 aliosos pa a o es o da ida, ob igando-me a aze uma ges ão do meu empo de uma o ma minuciosa e a é a descob i capacidades que a é en ão desconhecia. No é mino des a e apa, sin o que odo o meu es o ço ao longo des a jo nada oi ecompensado, po consegui alcança odos os obje i os p opos os, an o po mim, como aqueles que me o am exigidos ao longo do empo. Em suma, es ou mui o mo i ado e p epa ados pa a ul apassa os p óximos desa ios que su gi am na minha p o issional e pa a p og edi na á ea de Business In elligence. 5.3 P ERSPECTIVAS F UTURAS O começo des a e apa ep esen ou uma g ande mudança na minha ida, não só po e deixado a minha á ea de o mação, mas ambém po e ab açado algo comple amen e no o pa a mim, o que me ca i ou desde o p imei o dia que iniciei o mes ado. Apensa dos meus conhecimen os há um ano sob e a ma é ia de BI se em escassos, após a conclusão des e es ágio enquan o p o issional ac edi o e adqui ido o know-how su icien e pa a con inua a aze pa e de g andes p oje os como os que i e a possibilidade de pa icipa . Es a expe iência deu-me uma eno me on ade de con inua a ap ende , c esce e a expandi o meu conhecimen o pa a consegui aplica as melho es p a icas na ida p o issional e e uma expe iencia que me pe mi a au onomia o al, passando a exe ce a minha p o issão como um especialis a de Business In elligence. No meu pon o de is a a á ea de BI em um g ande po encial de c escimen o e exis e uma p ocu a cada ez maio no me cado, o que me le a a c e ac edi a que a impo ância da á ea i á cada ez se maio nas p óximas décadas.