i
CRIAÇÃO DE UM DATA WAREHOUSE
EMPRESARIAL
And é Henggele de Mou a
Na Di eção de Planeamen o e Ges ão da TAP Po ugal
Rela ó io de Es ágio ap esen ad
o como equisi o pa cial pa a
ob enção do g au de Mes e em Ges ão de In o mação
i
MEGI
2017
Tí ulo
: CRIAÇÃO DE UM DATA WAREHOUSE EMPRESARIAL
Sub í ulo: Na di eção de Planeamen o e Ges ão da TAP Po ugal
And é Henggele de Mou a
MGI
1
2
NOVA In o ma ion Managemen School
Ins i u o Supe io de Es a ís ica e Ges ão de In o mação
Uni e sidade No a de Lisboa
CRIAÇÃO DE UM DATA WAREHOUSE EMPRESARIAL
po
And é Henggele de Mou a
Rela ó io de Es ágio ap esen ado como equisi o pa cial pa a a ob enção do g au de Mes e em
Ges ão de In o mação, Especialização em Ges ão do Conhecimen o e Business In elligence.
O ien ado : P o esso Ví o Pe ei a Dua e dos San os
No emb o 2017
3
RESUMO
Nos dias de hoje as ecnologias de in o mação êm um papel undamen al no sucesso das
emp esas. Um dos pon os cha es pa a alcança es e sucesso é en a c ia uma an agem
compe i i a ao analisa os dados que as p óp ias o ganizações c iam.
A complexidade da in o mação ap esen ada às pessoas que ge am es as iden idades o na a
ges ão de in o mação um assun o cha e a e em conside ação. É po an o necessá io
cons ui mecanismos ou e amen as que ag egam, p ocessam e pa ilham a in o mação
ob ida pe mi indo uma omada de decisão mais ápida e mais e icien e.
O p incipal obje i o des e es ágio oi c ia um Da a Wa ehouse, pa a um depa amen o
especí ico da emp esa, com ecu so a di e sas on es de in o mação. Um dos pon os
impo an es é a necessidade que as emp esas êm em ajus a os p óp ios sis emas às bases
de dados. Es e ipo de aplicação pe mi e e uma di e en e isão dos dados e o e ece,
ambém, a possibilidade da emp esa e uma análise mais o e dos dados de modo a
supo a decisões.
PALAVRAS-CHAVE
Da a Wa ehouse; Dados; Base de Dados; Business In elligence

4
ABSTRACT
In o ma ion echnologies ha e a c ucial ole in he success o he companies in oday’s
wo ld.
Among he mos impo an weapons o each his kind o success, c ea ing one compe i i e
ad an age o analyzing he da a ha companies c ea e in hei business model is absolu ely
impo an and ep esen s one way o do i .
The complexi y o he in o ma ion ha is p esen ed o who manage his kind o ac i i ies,
makes he in o ma ion managemen one issue ha we all mus ha e on coun . I is
necessa y build ei he mechanisms o ools ha agg ega e, p ocess and sha e all he
in o ma ion ha was ob ained, allowing ha ing one decising-making mo e e icien and
as e .
The main a ge o his in e nship was o c ea e a Da a Wa ehouse om se e al Da a
Sou ces o a speci ic depa men o he i m.
One o he mos impo an hemes is he necessi y ha all he companies ha e o adjus
hei owns sys ems o Da a Bases. This so o applica ion allows ha ing a di e en ou look
o he da a and on he o he hand also gi es he possibili y o he Company o ha ing one
s onge analysis o he da a in o de o suppo i decisions.
KEYWORDS
Da a Wa ehouse; Da a; Da aBases; Business In elligence
5
ÍNDICE
1.
In odução .................................................................................................................... 9
1.1.
Con ex o académico ............................................................................................ 10
1.2.
Con ex o emp esa ial .......................................................................................... 10
1.3.
Obje i os do es ágio ............................................................................................ 11
2.
Re isão li e a u a ........................................................................................................ 13
2.1.
Concei o de Sis emas de In o mação .................................................................. 15
2.2.
Business In elligence ........................................................................................... 16
2.3.
Sis ema de Da a Wa ehouse ............................................................................... 17
2.4.
P ocesso ETL ........................................................................................................ 20
2.5.
Sis ema de Apoio à Decisão ................................................................................ 22
2.6.
Da a Ma ............................................................................................................ 23
3.
Tecnologias e e amen as ......................................................................................... 27
3.1.
Tecnologias .......................................................................................................... 27
3.1.1
SQL ................................................................................................................ 27
3.1.2
MDX ............................................................................................................... 27
3.1.3
DAX ................................................................................................................ 27
3.2.
FERRAMENTAS ..................................................................................................... 28
3.2.1
Mic oso SQL Se e .................................................................................... 28
3.2.2
Visual S udio .................................................................................................. 29
3.2.2.1
SSIS ............................................................................................................ 30
3.2.2.2
SSAS ........................................................................................................... 31
3.2.2.3
SSRS ........................................................................................................... 31
4.
A i idades desen ol idas ........................................................................................... 32
4.1.
Con ex o .............................................................................................................. 32
4.2.
P oje o – Mon agem de um p ocesso ETL .......................................................... 33
4.2.1
Desa io .......................................................................................................... 33
4.2.2
Ta e as e Skills ............................................................................................... 33
4.1.3
Resul ados ..................................................................................................... 36
4.2
P oje o – C iação de Rela ó ios ........................................................................... 36
4.2.1
Desa io .......................................................................................................... 36
4.2.2
Ta e as e Skills ............................................................................................... 36
4.2.3
Resul ados ..................................................................................................... 37
6
5
Conclusão.................................................................................................................... 38
5.1
Ap eciação C i ica do T abalho Desen ol ido ..................................................... 38
5.2
Ap eciação Global do Es ágio e Ap endizagem ................................................... 38
5.3
Pe spec i as Fu u as ............................................................................................ 39
Re e ências Bibliog á icas ............................................................................................... 40
7
ÍNDICE DE FIGURAS
Figu a 1 – O ganog ama da TAP Po ugal em Junho de 2016 ................................................. 11
Figu a 2 - Relações en e dados, cap a, in o mação e conhecimen o (Adap ado de Checkland
e Holwell 1998) ................................................................................................................. 15
Figu a 3 – Exemplo do p ocesso ETL ........................................................................................ 21
Figu a 4 – Exemplo de um S a Schema. .................................................................................. 24
Figu a 5 – Exemplo de um Snow lake Schema. ........................................................................ 25
Figu a 6 - Es u u a ípica e simpli icada de um sis ema ecnológico de BI. ........................... 26
Figu a 7 – Ambien e de desen ol imen o do SQL Se e . ....................................................... 28
Figu a 8 – Ambien e inicial do Visual S udio. ........................................................................... 29
Figu a 9 – Ambien e de desen ol imen o do SSIS ................................................................... 30
Figu a 10 – Exemplo de um cubo mul idimensional. ............................................................... 31
Figu a 11 – Modelo ipo de um p ocesso ETL. ......................................................................... 33
Figu a 12 – P ocesso de ex ação da in o mação pa a uma abela on e. .............................. 34
Figu a 13 - P ocesso ETL de ca egamen o de dados pa a uma abela de s aging. ................ 35
14
ans o ma uma quan idade eno me de dados em in o mação e pos e io men e em
conhecimen o.
O empo acabou po se o na um e dadei o aliado dos sis emas de in o mação ao mos a
que uma base de dados é a melho e mais e icaz manei a de gua da a in o mação,
independen emen e do seu olume (B obs , 1998).
Ci ando uma das ases mais conhecidas de Cha les Da win (1809-1882) ela i amen e à
impo ância da adap ação:
“Na e olução das espécies não são os mais o es que sob e i em mas sim o que mais
apidamen e se adap am às mudanças”.

15
2.1. C
ONCEITO DE
S
ISTEMAS DE
I
NFORMAÇÃO
Exis em á ios concei os que con ibuem pa a a de inição de Sis ema de In o mação (SI).
Checkland e Holwell (2014) dis inguem qua o concei os base: dados, cap a, in o mação e
conhecimen o. Es es concei os podem se de inidos da seguin e o ma:
• Dados: Fac os não es u u ados;
• Cap a: Dados ele an es a que escolhemos p es a a enção;
• In o mação: A ibuição de um signi icado aos dados já selecionados;
• Conhecimen o: Vai além das in o mações pois além de e um signi icado em uma
aplicação
Figu a 2 - Relações en e dados, cap a, in o mação e conhecimen o (Adap ado de Checkland e
Holwell 1998)
Com os concei os bases já p esen es é possí el ago a de ini o que se en ende po SI, “pode
se de inido como um conjun o de componen es in e elacionados que abalham em
conjun o pa a ag upa , ecupe a , p ocessa , a mazena e dis ibui in o mação pa a acili a
o planeamen o, con ole, coo denação, análise e p ocesso decisó io nas o ganizações.”
(Laudon e Laudon 2014).
16
Os compu ado es passa am a se undamen ais na melho ia das a i idades de
p ocessamen o de in o mação o ganizacional desde que começa am a se u ilizados pa a o
p ocessamen o de dados. Os SI baseados em compu ado es passa am de um me o supo e
pe i é ico pa a um a o cha e de uso comum ao longo da o alidade da o ganização (Boland
e Hi schheim, 1987).
2.2. B
USINESS
I
NTELLIGENCE
Os sis emas de Business In eligence são, hoje em dia, um ca alisado da mudança pe mi indo
uma boa ges ão, ajudam na omada de decisão, o nam a emp esa mais ágil num me cado
cada ez mais compe i i o, onde a ecolha e análise de dados é a cha e do sucesso. Um
sis ema de BI engloba um as o conjun o de aplicações de apoio a omada de decisão o que
possibili a um acesso ápido e pa ilhado das in o mações bem como a sua análise.
O e mo Business In elligence oi u ilizado pela p imei a ez po Luhn (1958) como a “a
habilidade de ap eende as in e - elações dos ac os ap esen ados, numa o ma que pe mi a
guia a ação umo a um obje i o desejado”
Em 1989 o e mo é popula izo po Howa d D esne como denominado ge al pa a desc e e
um conjun o de concei os e mé odos pa a melho a a omada de decisão do negócio a a és
da u ilização de sis emas de supo e à decisão (Powe , 2007).
Pa a Wu (2007) o e mo BI é u ilizado pa a desc e e um conjun o de aplicações e
ecnologias que são u ilizadas pa a ecolhe , acede e analisa dados de uma o ganização
com o obje i o de ajuda a oma decisões melho es. A inalidade de business in elligence é
o nece in o mação u ilizá el.
O âmbi o de BI cob e p ocesso elacionados com ecnologia bem como p ocessos
elacionados com o negócio (Schwenk, 2010) endo English (2005) p opos o as seguin es
de inições:
• BI: "Capacidade de uma emp esa pa a agi e icazmen e a a és da explo ação dos
seus ecu sos humanos e de in o mação.";
17
• Ambien e de BI: In o mação de qualidade con ida em bases de dados bem
desenhadas que o necem aos u ilizado es acesso a empado e de o ma in ui i a às
in o mações, pe mi indo oma decisões co e as.
Business In elligence pe mi e aos memb os de oda a o ganização não só analisa
in o mações de negócio com o obje i o de melho a a qualidade de in o mação mas
ambém a melho ia de p ocessos ope acionais. (Elbashi , 2008)
2.3. S
ISTEMA DE
D
ATA
W
AREHOUSE
Um Da a Wa ehouse não é nenhum ipo de aplicação que se possa comp a e ins ala nos
compu ado es da emp esa. Na ealidade, a sua implemen ação exige a in eg ação de á ios
p ocessos. Numa pe spe i a minimalis a, um DW não é mais que uma BD especializada,
in eg a que ge e a ecolhe de in o mação a pa i de sis emas ansacionais in e nos e on es
de dados ex e nas. Um DW é um eposi ó io de dados sepa ados das bases de dados
ope acionais da o ganização, de inido como “
uma coleção de dados o ien ados po assun o,
in eg ados, a iá eis no empo e não- olá eis, que supo a o p ocesso da omada de decisão”
(Inmon, 2002)
Um DW é con uído pa a pe mi i : uma is a in eg ada e comple a de oda a o ganização;
acessos a dados his ó icos da o ganização; e uma on e de dados e osímeis den o da
o ganização e acili a os p ocessos de omada de decisão, sem sob eca ega os sis emas
ope acionais (Po , Klaue e B obs , 1998). Toda ia, e á sido Bill Inmon – conhecido como “o
pai do da a wa ehousing” – que popula izou o concei o de Da a Wa ehouse, e que
p o idenciou os c i é ios de de inição hoje comumen e acei es (Inmom, 2005).
Segundo Bill Inmon (2002) o DW é de inido como:
“... a subjec -o ien ed, in eg a ed, non ola ile, and ime- a ian collec ion o da a in suppo
o managemen ’s decisions.”
18
Um Da a Wa ehouse é um eposi ó io de dados que comp eende as seguin es
ca ac e ís icas:
i. O ien ado po assun o - odas as en idades e ansações elacionadas com um
de e minado assun o - po exemplo, endas, ecu sos humanos ou hospi ais - es ão
ligadas en e si;
ii. In eg ado - Inmom e e e que es e é, de ac o, o aspe o mais impo an e de um da a
wa ehouse (Inmom, 2005); os dados que alimen a ão o DW são o iundos de á ios
sis emas on e, e po isso necessi am de se limpos, il ados e ans o mados, pa a
que possam ep esen a uma isão in eg ada do negócio;
iii. Não- olá il - os dados que são ca egados pa a o da a wa ehouse, po no ma, não
so em al e ações ou a ualizações. Ao con á io dos sis emas ope acionais, apenas
du an e as ope ações de ca egamen o (pe iódicas planeadas) é que os dados são
al o de algum ipo de edição;
i . Va iá el no empo - ao con á io de um sis ema ansacional, em que os egis os
apenas es ão associados ao momen o de acesso (são álidos ‘ago a’), um da a
wa ehouse man ém egis os que es ão associados a odos os momen os onde
oco eu uma al e ação nos dados (dados his ó icos).
Um DW bem con uído em um impac o mui o signi ica i o a á ios ní eis ao pe mi i
descob i no as o mas de aumen a a ecei a e a e iciência da o ganização, bem como
aumen a a qualidade do supo e à decisão.
Exis em duas di e en es abo dagens mais deba idas, op down e bo om up, pa a o desenho
de uma DW que o am in oduzidas po Inmon (2002) e Kimball (2002), espe i amen e. A
“Co po a e In o ma ion Fac o y” de Inmon (2002), co esponde à abo dagem op down que
de ende a exis ência de um eposi ó io cen al com um modelo de dados no malizados, pa a
alimen a os Da a Ma s dependen es com is a a pe mi i a explo ação de dados numa
lógica depa amen al. Já Kimball (2002) em ou a pe spe i a, bo om up, onde consis e na
c iação de Da a Ma s que podem se combinamos en e si pa a o ma a DW da
o ganização a a és de um in e ace de ligação (“bus”), empo Kimball chamado a es a
a qui e u a “Da a Wa ehouse Bus A chi ec u e”.
19
No en endo exis em ou as abo dagens que podem se u ilizadas onde se ado am p incípios
das duas abo dagens (Bu s ein 2008).
A necessidade de ob e in o mação es a égica, a pa i de um g ande olume de dados
dispe sos le ou que osse desen ol ido um no o géne o de Sis ema de In o mação (SI)
designado de Da a Wa ehouse, es es SIs são con uídos com o in ui o de apoia o p ocesso
de omada de decisão na o ganização (Boa , 1997). O concei o de DW emon a ao inal dos
anos 80 onde e a ido com sendo “o único eposi ó io lógico de oda a in o mação de
negócio u ilizada pa a e ei o de epo ing” (De lin & Mu phy, 1988).
A de inição de Ralph Kimball (2002), ap esen ada na ob a The Da a Wa ehouse Toolki ,
de ine DW como:
"… a copy o ansac ion da a speci ically s uc u ed o que y and analysis."
Com o su gimen o dos DWs oi necessá io c ia no os mé odos de es u u ação de dados,
an o no a mazenamen o como na consul a de in o mação. As emp esas p oduzem e
a mazenado um olume ele ado de dados, sendo no mal que es es dados es ejam dispe sos
po á ias se ido es, que podem, inclusi e, es a dispe sos po á ias localizações
geog á icas e e sido desen ol idos em pla a o mas e linguagem di e en es (Gup a, 1997).
Um dos p incipais desa ios da implemen ação de um DW é a in eg ação dos dados,
eliminando edundâncias, iden i icando os duplicados que possam es a em sis emas
dis in os, ep esen adas sob o ma os ou designações di e en es (Adelman e Moss, 2000).
O p ocesso de passagem dos dados dos sis emas ansacionais pa a o DW é denominado
Ex ac ion, T ans o ma ion and Loading. O sis ema de DW, no malmen e, é sepa ados das
bases de dados ansacionais, pelo que as consul as dos u ilizado es não deg adam a
pe o mance dos sis emas ansacionais, que icam simul aneamen e p o egidos de
al e ações e pe das causadas pela manipulação inde ida da in o mação.
Há á ios anos que o ganizações pe cebe am a iqueza dos dados exis en es nos seus
sis emas sejam eles uma olha de Excel, bases de dados dispe sas, en e ou os, e
começa am cada ez mais a in es i em sis emas analí icos. An es de se analisa odos es es
conjun os de sis emas, nomeadamen e em Business In elligence, em de se e um conjun o
de dados coe en e com oda a in o mação da emp esa, o Da a Wa ehouse.

20
A cons ução de um Da a Wa ehouse é cada ez mais uma ealidade e uma opção
emp esa ial impo an e, uma ez que se a a de uma ação que en ol e oda a o ganização
e po ou o lado eque um luxo de in es imen o g ande, que em meios ma e iais, que em
meios humanos.
Uma ez con uído o DW é possí el agmen a-lo em BD mais pequenas, o ien adas po
assun os ou, nes e caso, depa amen os, que são econhecidos como Da a Ma s.
Um Da a Ma (DM) é uma es u u a de dados mul idimensional o ien ada po assun o ou
po depa amen o que no malmen e em en oque numa á ea de ma ke ing, come cial,
inancei a, en e ou as
(Kimball e al., 1998). O seu empo de conceção é mais eduzido. A
opção de con ui um Da a Ma es a elacionada com as necessidades dos u ilizado es inais
ou das necessidade especi icas do negócios. Nes e caso em pa icula os dados exis em, a
in o mação exis e mas é necessá io jun a udo numa única base de dados. Es e p ocesso de
aglome a a in o mação oda i á possibili a que odos os abalhado es da á ea em ques ão
enham acesso à in o mação de uma o ma mais ágil e ápida
(
Malinowski e Zimányi, 2009).
2.4. P
ROCESSO
ETL
A sigla ETL em do Inglês, Ex ac T ans o m Load, ou seja, Ex ação T ans o mação e Ca ga.
Uma solução ETL pe mi e ealiza ope ações que passam pela ex ação a pa i das on es,
ans o mação e inse ção dos dados na DW e um mo o OLAP - Online Analy ical P ocessing
– pa a a ealização de consul a , e amen as de análise e ou as aplicações que ge em o
p ocesso de ecolha e en ega de dados de o ma ú il e ele an e aos u ilizados (Cy an,
2003). As e amen as OLAP pe mi em aos u ilizado es e e ua em consul a de dados a a és
de aplicações. Ajuda a en ende as di e sas necessidades de negócio que os dados
cap u am, le ando a um p ocesso de decisão baseado em ac os (Bu s ein 2008). Pe mi e
cap u a os dados a a és de medidas de dimensões o mando o chamado cubo OLAP
(Valacich e Scheneide 2011).
21
Figu a 3 – Exemplo do p ocesso ETL
O ETL é o p ocesso mais c í ico e demo ado na cons ução de um DW que consis e em ês
e apas:
1. Ex ação (Ex ac ): É a cole a de odos os dados dos sis emas de o igem que podem
se as mais di e sas on es de dados como po exemplo o Excel, um la ile ou ou a
base de dados. Depois de os ex ai o sis ema ai ans e i-los pa a a S aging A ea
onde o sis ema ETL pode ope a independen emen e das on es de dados;
2. T ans o mação (T ans o ma ion): É nes e e apa que se ealizam os de idos ajus es
pa a en a melho a a qualidade dos dados ex aídos. Vem a pa e do a amen o da
in o mação e da limpeza de dados, que consis e em pad oniza os dados em
amanho e ipo, subs i uição de ca ac e es es anhos, co eção de e os de digi ação,
e i a duplicidade de in o mações, subs i uição de dados não p eenchidos, de e-se
ambém a a as di e en es de inições de in o mação, po exemplo, e um sis ema
de de inição de H pa a homem e M pa a mulhe e ou o sis ema em M de masculino
e F de eminino não é co e o. Em casos como es es de e-se op a pela de inição
mais usual e o na-la pad ão pa a e i a inconsis ências nos dados;
3. Ca ga (Load): A e cei a e úl ima e apa consis e em es u u a e ca ega os dados
pa a a DW. Dependendo das necessidades da o ganização es e p ocesso pode a ia
22
amplamen e. Algumas o ganizações op am po subs i ui as in o mações exis en es
pelos dados acumula i os e ou as op am po adiciona os dados em al a no
in e alo de empo a de ini . O in e alo de empo de inido po cada emp esa
depende das necessidades de negócio.
Na igu a 3 pode-se obse a um exemplo de um p ocesso ETL onde são os dados são
ex aídos de ês on es di e en es, um base de dados, um ichei o Excel e um CVS ambém
conhecido po Fla File. Depois da ex ação os dados são en iados pa a a S aging A ea (SA)
onde são limpos e abalhados. A S aging A ea consis e numa á ea de a mazenamen o
in e mediá ia, en e as on es de dados e o p óp io DW (Kimball e Ross 2002).
Pos e io men e é ei o o ca egamen o dos dados na DW inal.
Se os dados em ques ão não o em abalhados de uma manei a co e a no p ocesso de
ex ação as in o mações ge adas a a és dos mesmos a ão com que as decisões omadas
es ejam e adas, o que pode a e a di e amen e a o ganização. Po an o, os dados de em
ep esen a a e dade (Kimball, 1998). A maio pa e do es o ço exigido ao longo da c iação
de uma base de dados é consumido no p ocesso ETL (Inmon 1997).
2.5. S
ISTEMA DE
A
POIO À
D
ECISÃO
Os Sis emas de apoio à Decisão (SAD) azem pa e de um conjun o de Sis emas de
In o mações que egem emp esas em odo o mundo. Os SAD di e em dos SI po que es es
edi ecionam o planeamen o es a égico den o de uma emp esa.
Um Sis ema de Apoio à Decisão cob e uma g ande a iedade de sis emas e ecnologias.
Es es sis emas o am c iados com o in ui o de se i de auxílio às pessoas que omam
decisões den o de uma o ganização. Os SAD são usados em decisões, em que um
julgamen o é necessá io, ou em decisões de que não são comple amen e supo adas po
algo i mos, ou seja, é semp e p eciso um u ilizado pa a usa es e ipo de sis emas, onde
es e ep esen a o papel mais impo an e.
23
É impo an e ealça ou as de inições de um SAD:
"Os Sis emas de Apoio à Decisão êm qua o ca ac e ís icas p incipais: inco po am
simul aneamen e dados e modelos; o am concebidos pa a assis i os ge en es no seu
p ocesso de decisão sob e a e as semies u u adas; supo am julgamen os ao ní el da
ge ência; o seu obje i o é melho a a e e i idade das decisões, e não a e iciência com que
cada decisão es á a se ei a." (Tu ban 1990)
"Os sis emas de apoio à decisão são sis emas de in o mação in e a i os que assis em o
ges o a acede a p oblemas mal es u u ados o e ecendo modelos analí icos e acesso a
bases de dados." (Zwass 1992)
Um SAD ás bas an es an agens como: ul apassa limi es cogni i os (a a és do
compu ado ), decisões mais e icazes e e icien es, sepa a as ope ações de p odução das
ope ações de decisão e apidez ao longo de odo o p ocesso.
2.6.
D
ATA
M
ART
U
m Da a Ma é um subconjun o de um DW o ien ados pa a os equisi os especí icos de um
depa amen o ou em unção de um negócio, azão pela qual é mui as ezes cons uído
endo em conside ação as necessidades dos u ilizado es inais. Qualque depa amen o
pode á e o seu DM, sendo que odos os dados que cons am no DM são p o enien e do
DW, se bem que em meno escala e com uma quan idade signi ica i a ag egados (Inmon
2008).
As ês p incipais ca ac e ís icas dos Da a Ma s são segundo Oppel (2004):
• Foco num depa amen o;
• No malmen e não con ém dados ope acionais;
• Implemen ação ípica com ecu so ao S a Schema
30
3.2.2.1 SSIS
SQL Se e In eg a ion Se ice (SSIS) pe mi e a in eg ação de dados com al a pe o mance e
cons ução de ETL, cons i uindo á ias ope ações pa a a cons ução de um Da a Wa ehouse.
O SSIS inclui algumas e amen as g á icas pa a a c iação de a e as p é-de inidas como po
exemplo, execuções de ins ução SQL, ligação às on es de in o mação, en io au omá ico de
emails, ans o mações e manipulação de dados, ag egações, en e ou as.
Figu a 9 – Ambien e de desen ol imen o do SSIS
Na igu a 9 podemos e , do lado esque do, algumas a e as exis en es do SSIS, es as a e as
apesa de p é-de inidas necessi am de uma con igu ação exaus i a de aco do com o ipo de
dados, espe i as on es de in o mação e obje i o inal do u ilizado .

31
3.2.2.2 SSAS
SQL Se e Analysis Se e (SSAS) possibili a a cons ução de on-line Analy ical P ocessing
Componen (OLAP) do SQL Se e . O SSAS pe mi e cons ui es u u as mul idimensionais,
os chamados cubos, e a mazena ag egações complexas. O Analysis Se ices é uma isão
mul idimensional da nossa base de dados.
Figu a 10 – Exemplo de um cubo mul idimensional.
3.2.2.3 SSRS
SQL Repo ing Se ice é um módulo do SQL esponsá el pela cons ução de ela ó ios que
em po base os dados p o enien es do cubo já cons uído. Em odo es e módulo a
linguagem usada é o MDX. O SSRS é bas an e u ilizado nos dias de hoje is o que compo a
ações desde cons ução de abelas, a ela ó ios que são expansí eis e pe mi em exibi
ca ego ias e subca ego ias de p odu os a é ap esen a dados de uma o ma g á ica.
32
4. ATIVIDADES DESENVOLVIDAS
4.1. C
ONTEXTO
O p oje o ap esen ado em seguida oi desen ol ido na sua o alidade, em odas as ases, po
mim. No deco e des e es ágio o am ealizadas as a i idades abaixo desc i as.
O p oje o consis iu em c ia de aiz um Da a Wa ehouse endo po base á ias on es de
in o mação. A é ao momen o odos os dados u ilizados pela DPG e am consul ados
acedendo a uma se ie de p og amas e, pos e io men e, compilados de o ma manual, num
único Excel. Só depois des e p ocesso demo ado é que e a ei a uma análise a oda a
in o mação, que mui as ezes se e ela a pouco p ecisa e mui o demo ada.
Tendo em con a es e cená io o maio pedido ei o pela equipa da TAP p endia-se com o
ac o de e a in o mação disponí el de o ma imedia a e com o maio igo possí el.
O es ágio oi di idido em dois g andes p oje os. O p imei o p oje o passou pela c iação de
um p ocesso ETL, com o in ui o de cons ui o DW. No segundo, desen ol e am-se alguns
ela ó ios, endo po base o DM já exis en e, pa a que a in o mação possa es a semp e
disponí el e a ualizada.
Sem g ande conhecimen o da á ea de negócio, mas com uma g ande on ade de ap ende ,
i e inicialmen e algumas di iculdades pa a pe cebe que ipo de in o mação e a
undamen al e de que o ma o depa amen o que ia que os dados ossem ap esen ados.
Es á é uma das p incipais di iculdades encon adas po alguém que não em o know-how da
á ea.
33
4.2. P
ROJETO
–
M
ONTAGEM DE UM PROCESSO
ETL
4.2.1 D
ESAFIO
O p oje o inha um empo limi ado pa a a sua ealização o que cons i uiu um eno me
desa io is o que o olume de dados ge ados po dia na TAP Po ugal é as onómico. As
á ias bases de dados englobam mui a in o mação e os dados necessi am de se analisados
an es de e e ua a sua ex ação. Pa a a implemen ação des a solução o am necessá ias, na
ase inicial, bas an es euniões com oda a equipa pa a elabo a não só o desenho de odo o
p ocesso como pe cebe de que o ma e a abalhada a in o mação a que inham acesso.
Um dos g andes desa ios oi en a o imiza o mais possí el odos os p ocessos pa a que o
empo de espe a dos u ilizado es osse o meno possí el. Pa a al o am semp e ealizados
á ios es es e mon agem de á ios p ocessos em pa alelo com o obje i o de chega a uma
solução ó ima.
4.2.2 T
AREFAS E
S
KILLS
A in o mação passa a mui o pelo ipo de a iões que azem de e minadas o as, as ho as de
oo de cada memb o da ipulação e as ho as oadas po cada a ião, são exemplos de
in o mação que e a eco en emen e pedida. Todas es as in o mações es a am em
eposi ó ios de dados a iados, desde ichei os em Excel, bases de dados SQL e O acle e
ichei os CSV. O p imei o passo oi pe cebe onde é que a in o mação se encon a a alocada
e de que o ma se conseguiam liga os dados das á ias on es sem al e a o seu con ex o.
De seguida cons uiu-se o p ocesso ETL que passou po ês ases: on es, s aging e analí ico.
Na igu a 11 pode obse a -se um modelo ípico de um p ocesso de ETL.
Figu a 11 – Modelo ipo de um p ocesso ETL.
34
A passagem da in o mação das on es ex e nas pa a as abelas designadas po on es são
uma cópia di e a dos dados. Nes e passo apenas que emos ga an i que os dados já se
encon am do nosso lado pa a que os possamos os abalha no p óximo passo. Semp e que
exis e um ca egamen o dos dados pa a as abelas da DPG os dados são odos apagados e
ol ados a ca ega . No p ocesso de on es não é gua dado nenhum ipo de his ó ico. É um
p ocesso ápido com o obje i o apenas de ga an i apenas a cópia dos dados de um lado
pa a o ou o. Na igu a 12 emos um exemplo conc e o do que oi desc i o. Como se pode
obse a no inal do ca egamen o empo duas a e as, uma de sucesso e ou a de alha.
Pa a exis i um con olo maio dos dados que são ca egados é inse ido numa abela de
logging as ho as que o p ocesso e mina e o nome do package do SSIS em ques ão. Mais
a de caso seja necessá io aze algum con olo ou se algum dos p ocessos de e o é mais
ácil iden i ica em que passo oi, pa a que se possa co igi o e en ual e o de uma o ma
mais simples e e icaz.
Figu a 12 – P ocesso de ex ação da in o mação pa a uma abela on e.
Assim, após e mos os dados p e endidos odos gua dados nas nossas abelas on es
passou-se pa a as abelas de s aging.
É nes e passo que se az o a amen o da in o mação consoan e as eg as de negócio que
o am pedidas pela DPG.
35
Podemos obse a na abela 13 um exemplo da passagem da in o mação, onde é ei o um
a amen o mais exaus i o dos dados. Nes a passagem é gua dado um his o io de oda a
in o mação que ecebemos. Po mo i os de con idenciais não i á se explicado em de alhe o
p ocesso ap esen ado mas de uma o ma ge al é ei a uma di isão en e os ipos de a iões e
os espe i os des inos. Po im a in o mação é colocada numa abela com o nome
“STG_TP_RATTING_AIRBUS”
Figu a 13 - P ocesso ETL de ca egamen o de dados pa a uma abela de s aging.
Após e mos a in o mação o almen e abalhada e gua dada nas abelas de s aging
es amos em condições de passa mos pa a o úl imo passo.
Na úl ima e apa azemos uma cópia da in o mação que cons a na s aging a ea pa a o DW
inal.
Todos os p ocessos que o am mon ados es ão inse idos em á ios jobs pa a que co am de
o ma au omá ica e os u ilizado es enham a in o mação a ualizada dia iamen e.

36
4.1.3 R
ESULTADOS
A elabo ação e a implemen ação de uma solução de Business In elligence, endo po base a
cons ução do e e ido p ocesso ETL e elou se uma mais- alia, an o pa a a o ganização
como pa a os u ilizado es, na ó imização da diminuição dos e os ge ados ao longo de odo
o p ocesso, como ambém no empo que e a pe dido pelos colabo ado es a mon a as
eco en emen e analises.
As e amen as de BI demos a am que são u eis e uma mais alida pa a qualque negócio
e/ou emp esa que possua uma g ande es u u a de dados pa a a qual o empo de análise e
es u u ação dos dados seja limi ada.
4.2 P
ROJETO
–
C
RIAÇÃO DE
R
ELATÓRIOS
4.2.1 D
ESAFIO
Após a ealização do p oje o an e io al a a ealiza a úl ima e apa; a c iação de ela ó ios.
A e amen a u ilizada oi o Visual S udio SSRRS e as linguagens de p og amação o am o SQL
e o MDX.
O desa io passou pela c iação de ela ó ios com in o mação semp e a ualizada, endo po
base alguns ela ó ios já c iados em Excel. A é ao momen o odos os ela ó ios e am c iados
de o ma manual e a ualizados dia iamen e e alguns á ias ezes ao dia. Sem um
conhecimen o p o undo na á ea mas já com algum know-how sob e o negócio i e de
en ende quais as mé icas mais indicadas a u iliza .
Pa a a elabo ação dos ela ó ios ha ia a necessidade de aplica alguns il os e o con eúdo
dos mesmos e a ei o maio i a iamen e a a és de ma izes ou abelas. Foi-me dado um
ela ó io modelos, onde já es a am de inidas as co es, o logo ipo e o ipo de le a a u iliza .
4.2.2 T
AREFAS E
S
KILLS
Na maio ia dos ela ó ios e e uados u ilizou-se a in o mação já o ganizada e hie a quizada
dos cubos, linguagem MDX, mas em alguns ela ó ios oi necessá io eco e à linguagem de
SQL po uma ques ão de pe o mance.
37
Pa a a cons ução de qualque ela ó io é necessá io a exis ência de Da a Sou ces de onde
são ex aídos os dados com a in o mação eque ida. Todas as ligações o am e e uadas ao
cubo e à DW. Na c iação dos Da a Se s o am execu adas que ys pa a ex ai os dados
p e endidos, an o pa a as abelas a ap esen a nos ela ó ios, como pa a o auxílio de alguns
pa âme os.
Ao longo de execução des e p oje o pa icipei em di e sas euniões pa a en ende quais as
necessidades de odos os u ilizado es de o ma a en a euni odos os equisi os pedidos.
Depois de os ela ó ios es a em inalizados o am ealizados á ios es es pa a ga an i que
udo es a em condições e sem e os de o ma a se em colocados em p odução e p on os a
se em u ilizados.
4.2.3 R
ESULTADOS
A c iação de ela ó ios u ilizando as écnicas de Business In elligence e ela a-me uma ez
mais supe io es à já ul apassada c iação de documen os Excel. Na ó ica de odos os
u ilizado es es e no o mé odo de epo ing eio acele a o p ocesso de consul a de
in o mação e diminui conside a elmen e a axa de e os is o que o a amen o da
in o mação é ei o de o ma au omá ica.
38
5 CONCLUSÃO
5.1 A
PRECIAÇÃO
C
RITICA DO
T
RABALHO
D
ESENVOLVIDO
Du an e a elabo ação do p imei o p oje o, cons ução do p ocesso de ETL, oi-me possí el
consolida oda a o mação académica e ap o unda os meus conhecimen os na e amen a
des inada à in eg ação de dados. Fiquei subs ancialmen e mais amilia izado com odas as
asks disponí eis no p og ama e ap endi quando e como é que as e ei de u iliza , o que
acabou po me pe mi i uma maio e icácia na execução do p oje o.
No segundo p oje o abalhei di e amen e sob in o mação já disponí el numa base de dados
da emp esa. Ti e a opo unidade de e olui signi ica i amen e na cons ução de ela ó ios
u ilizando a ecnologia SSRS. O meu conhecimen o de MDX e a mui o limi ado, o que exigiu
de mim um es udo e um es o ço adicional. Es e p oje o exigiu mais da minha pa e, na
medida, que só eu es a a enca egue pela execução dos ela ó ios, ganhei au onomia o al
sob e o abalho que es a a a desen ol e .
Es es desa ios ajuda am-me a enca a a ealidade dos p oje os com empos limi ados pa a a
sua execução e a ge i odos os incon enien es de abalha sob p essão. Apesa de udo i e
o p i ilégio de e uma equipa an ás ica ao meu lado que se mos ou semp e p esen e
quando oi necessá io. No inal i e o p i ilégio de e o meu abalho elogiado po oda a
equipa e u ilizado es, sen indo assim, que os meus obje i os o am cump idos.
5.2 A
PRECIAÇÃO
G
LOBAL DO
E
STÁGIO E
A
PRENDIZAGEM
Desde o p imei o dia que iniciei as minhas unções, quan o es agiá io, na TAP que ui
acompanhado pelos melho es especialis as na á ea de BI. Ao longo de odo o p ocesso ui
endo á ios desa ios, com necessidades de ap endizagens di e en es, o que colocou à p o a
a minha capacidade de esolução de p oblemas e o ganização. É undamen al e e i que um
dos maio es desa ios, e o mais complicado de ge i , oi o ac o de es a a es agia oi o ho as
po dia e a equen a o mes ado ao mesmo empo. É algo mui o exigen e, no en an o,
conside o uma expe iencia mui o en iquecedo a que me pe mi iu ob e ensinamen os
39
aliosos pa a o es o da ida, ob igando-me a aze uma ges ão do meu empo de uma
o ma minuciosa e a é a descob i capacidades que a é en ão desconhecia.
No é mino des a e apa, sin o que odo o meu es o ço ao longo des a jo nada oi
ecompensado, po consegui alcança odos os obje i os p opos os, an o po mim, como
aqueles que me o am exigidos ao longo do empo. Em suma, es ou mui o mo i ado e
p epa ados pa a ul apassa os p óximos desa ios que su gi am na minha p o issional e pa a
p og edi na á ea de Business In elligence.
5.3 P
ERSPECTIVAS
F
UTURAS
O começo des a e apa ep esen ou uma g ande mudança na minha ida, não só po e
deixado a minha á ea de o mação, mas ambém po e ab açado algo comple amen e
no o pa a mim, o que me ca i ou desde o p imei o dia que iniciei o mes ado.
Apensa dos meus conhecimen os há um ano sob e a ma é ia de BI se em escassos, após a
conclusão des e es ágio enquan o p o issional ac edi o e adqui ido o know-how su icien e
pa a con inua a aze pa e de g andes p oje os como os que i e a possibilidade de
pa icipa .
Es a expe iência deu-me uma eno me on ade de con inua a ap ende , c esce e a expandi
o meu conhecimen o pa a consegui aplica as melho es p a icas na ida p o issional e e
uma expe iencia que me pe mi a au onomia o al, passando a exe ce a minha p o issão
como um especialis a de Business In elligence.
No meu pon o de is a a á ea de BI em um g ande po encial de c escimen o e exis e uma
p ocu a cada ez maio no me cado, o que me le a a c e ac edi a que a impo ância da
á ea i á cada ez se maio nas p óximas décadas.