i
A u ilização de dados públicos abe os na
cons ução de um Da a Wa ehouse: A
cons ução de um eposi ó io es a ís icas
educacionais públicas b asilei as.
Luiz Ma celo Fe ei a Ca ano
T abalho de P oje o ap esen ada(o) como equisi o pa cial
pa a ob enção do g au de Mes e em Ges ão de In o mação
i
2018
A u ilização de dados públicos abe os na cons ução de um Da a
Wa ehouse: A cons ução de um eposi ó io es a ís icas educacionais
públicas b asilei as.
Luiz Ma celo Fe ei a Ca ano
MGI
i
ii
NOVA In o ma ion Managemen School
Ins i u o Supe io de Es a ís ica e Ges ão de In o mação
Uni e sidade No a de Lisboa
A u ilização de dados públicos abe os na cons ução de um
Da a Wa ehouse: A cons ução de um eposi ó io es a ís icas
educacionais públicas b asilei as.
po
Luiz Ma celo Fe ei a Ca ano
T abalho de P oje o ap esen ada(o) como equisi o pa cial pa a a ob enção do g au de Mes e em
Ges ão de In o mação.
O ien ado : Robe o And é Pe ei a Hen iques
Fe e ei o 2018
iii
DEDICATÓRIA
Dedico esse abalho aos meus pais (Jo ge e Del a) que semp e me apoia am em odas as minhas
decisões. Sem o amo e ca inho deles eu nunca consegui ia chega a é aqui.
Às minhas ias (Dil a e Ma ina) que semp e eza am pelo meu sucesso.
Aos meus i mãos (Lou enço e Má cio) que o am uma inspi ação cons an e ao longo da ida.
E po úl imo, mas não menos impo an e, pa a minha esposa Pa icia, que semp e es e e ao meu lado
du an e essa jo nada a aconselha e suge i os melho es caminhos.
Pa a odos o meu Amo …

i
AGRADECIMENTOS
Gos a ia de ag adece à Uni e sidade No a de Lisboa e ao cu so Ges ão de In o mação, em especial
aos seus docen es e uncioná ios, po e em possibili ado uma expe iência de ap endizado única e
inesquecí el.
Ao p o esso Robe o And é Pe ei a Hen iques po e ido a gen ileza, dedicação e paciência na
o ien ação desse abalho.
À equipe do Ins i u o B asilei o de Análises Sociais e Econômicas – IBASE, em especial à Ri a Co êa
B andão e a Cândido G yzbowski, que me de am a opo unidade pa a desen ol e o p esen e p oje o.
Ao p o esso Paulo de Ma ino Jannuzzi, pelos conselhos e o incen i o na inalização desse abalho.
Po úl imo, a um incon á el núme o de amigos e amigas que es i e am p esen es ao longo da minha
ida p o issional e acadêmica.
RESUMO
Na úl ima década, di e en es países êm desen ol ido inicia i as elacionadas à di ulgação de dados
go e namen ais de o ma abe a. Apesa da exis ência e disponibilização das bases de dados, a a e a
de u ilização e ex ação de conhecimen o dessas bases ainda ap esen a alguns desa ios, elacionados
a à in eg ação e à compa ibilização das in o mações. Isso oco e de ido à baixa es u u ação e a g ande
he e ogeneidade das on es, que az com que as abo dagens adicionais de ex ação ans o mação
e ca ga (ETL) o nem-se menos e icien es.
Esse abalho busca analisa uma abo dagem de cons ução de um eposi ó io de dados abe os
baseada na es u u a dos a qui os unidimensionais ( la iles), que possibili e a cons ução dos
modelos dimensionais de o ma mais e icien e.
PALAVRAS-CHAVE
Dados Públicos Abe os, Ciências Sociais, Da a Wa ehouse Design, ETL
i
ABSTRACT
In he las decade, di e en coun ies ha e de eloped ini ia i es ela ed o he dissemina ion o open
da a. Despi e he exis ence and a ailabili y o da abases, he ask o using his da a and knowledge
ex ac ion s ill p esen s some challenges ela ed o he in eg a ion and compa ibili y o in o ma ion.
This occu s due o bo h poo -s uc u e and a g ea he e ogenei y o sou ces, which make adi ional
ex ac ion, ans o ma ion, and loading (ETL) app oach less e icien .
This manusc ip analyzes an app oach o he cons uc ion o open da a eposi o y based on a la iles
s uc u e ha enables a mo e e icien dimensional model building.
KEYWORDS
Open Public Da a, Social Science, Da a Wa ehouse Design, ETL
ii
ÍNDICE
1. In odução .................................................................................................................... 1
1.1. Obje i os Ge ais .................................................................................................... 3
1.2. Obje i os Especí icos ............................................................................................. 3
2. Dados Públicos e Abe os ............................................................................................. 5
2.1. Dados Go e namen ais Abe os ........................................................................... 5
2.2. Dados Go e namen ais Abe os no B asil............................................................. 8
2.3. Dados Educacionais ............................................................................................. 11
2.4. P incipais Bases de Dados da Educação no B asil ............................................... 14
2.4.1. Censo Escola da Educação Básica ............................................................... 14
2.4.2. Censo da Educação Supe io ........................................................................ 15
2.4.3. Censo Demog á ico ...................................................................................... 16
3. Sis emas de in o mação na á ea de ciências sociais .................................................. 18
3.1. Da a Wa ehousing ............................................................................................... 18
3.2. Da a Wa ehousing nas Ciências Sociais .............................................................. 19
3.3. Indicado es Sociais como Mé icas de um DW ................................................... 22
3.4. A dimensão empo nas Ciências Sociais .............................................................. 23
3.5. Desa ios pa a a cons ução de um DW com os dados públicos b asilei os ........ 24
4. ImpleMen ação da Solução de Da a Wa ehousing .................................................... 26
4.1. Abo dagens pa a a cons ução de um Da a Wa ehouse .................................... 26
4.2. Le an amen o dos equisi os .............................................................................. 27
4.3. Análise das on es de Dados ................................................................................ 31
4.3.1. Censo Escola da Educação Básica ............................................................... 31
4.3.2. Censo da Educação Supe io . ....................................................................... 32
4.3.3. Censo Demog á ico. ..................................................................................... 33
4.4. Desen ol imen o da Solução. ............................................................................. 34
4.4.1. Mapeamen o das bases de Dados ............................................................... 35
4.4.2. Mapeamen o dos Indicado es ..................................................................... 41
4.4.3. P ocessamen o dos Indicado es. ................................................................. 46
4.4.4. T a amen o de E os e Logging. ................................................................... 52
4.5. Modelo Dimensional. .......................................................................................... 52
4.5.1. Snow lake Schema. ....................................................................................... 53
4.5.2. Fac Cons ella ion Schema. .......................................................................... 54
4.5.3. T ansposição das Mé icas pa a o ní el dimensional. ................................. 55
3
1.1. OBJETIVOS GERAIS
O obje i o p incipal do p esen e p oje o é cons ui uma solução de Da a Wa ehousing que
possibili e ao IBASE e au onomia no p ocesso de p odução de indicado es sociais a pa i
de dados públicos abe os.
Essa solução de e á se pensada pa a a ende às ca ac e ís icas de uma ins i uição do
e cei o se o , adequando-se ao pe il dos u ilizado es in e nos e ex e nos e as
ca ac e ís icas da in aes u u a ecnológica já exis en e.
Inicialmen e o p oje o se á um pilo o que ab ange apenas a á ea dos 92 municípios do
Es ado do Rio de Janei o, em especial os 21 que compõem a sua Região Me opoli ana
4
.
Além disso, nesse p imei o momen o, se ão u ilizadas in o mações do sis ema es a ís ico
nacional ela i as à emá ica educacional.
De e-se essal a que o p esen e p oje o não es á ocado, nesse momen o, no consumo
das in o mações, pois já exis e uma e amen a p oduzida pela ins i uição pa a al
p opósi o.
1.2. OBJETIVOS ESPECÍFICOS
Abaixo, as e apas pa a ealização e icaz desse p oje o são:
• Iden i ica jun o aos u ilizado es in e nos a Ins i uição as necessidades e
ca ac e ís icas desejá eis pa a a p esen e solução;
• Iden i ica o pe il dos u ilizado es, ex e nos a Ins i uição, em elação as limi ações
e necessidades;
• Iden i ica as in aes u u as ecnológicas (Ha dwa e e So wa es) a ualmen e
disponí eis na Ins i uição;
• Iden i ica as ca ac e ís icas dos indicado es u ilizados pela Ins i uição;
• Iden i ica as ca ac e ís icas das on es de dados públicas u ilizadas pela Ins i uição;
• Desen ol e uma solução de ETL que possibili e aos u ilizado es da Ins i uição a
c iação dos indicado es sociais.
• Cons ui os modelos de dados (Sis emas T ansacionais e Da a Wa ehouse),
dependendo da de inição do modelo que se á ado ado pa a a ende as
necessidades da Ins i uição;
4
O concei o de Região Me opoli ana su ge no início da década de 1970 como pa e de uma polí ica nacional de
desen ol imen o u bano e indus ial, que isa a a c iação de unidades de planejamen o egional com a inalidade
compa ilha soluções pa a p oblemas comuns às g andes concen ações populacionais (Mou a & Ba ion, 2006).

4
O p esen e abalho es á o ganizado da seguin e o ma: O p imei o capí ulo ap esen a a in odução
do p oblema e os obje i os espe ados. O segundo capí ulo ap esen a a discussão sob e o
mo imen o de dados públicos abe os e sua si uação no B asil. O e cei o capi ulo in oduz o
concei o de Da a Wa ehousing e as especi icidades desse no con ex o das ciências sociais. O qua o
capí ulo a a da cons ução do modelo de dados e das soluções de ETL u ilizadas. O quin o e úl imo
capí ulo ap esen a as conclusões alcançadas e as limi ações do p esen e abalho.
5
2. DADOS PÚBLICOS E ABERTOS
2.1. DADOS GOVERNAMENTAIS ABERTOS
Segundo di e en es au o es (Alexopoulos, Zuide wijk, Cha apabidis, Loukis, & Janssen, 2014;
Gonzalez-Zapa a & Heeks, 2014; Ubaldi, 2013) os go e nos êm a p imazia na p odução, u ilização
e di ulgação de dados sob e os cidadãos, as o ganizações e a p es ação de se iços públicos.
Essa o midá el on e de in o mações ep esen a um alioso insumo pa a a c iação de no os
negócios e opo unidades, pa a a p omoção da anspa ência e da accoun abili y, bem como pa a
o aumen o da pa icipação a i a dos cidadãos nos p ocessos omada de decisão (A a d, O landi,
Sce i, & Aue , 2015; Susha, Zuide wijk, Janssen, Ke, & Nlund, 2015).
Pa a que isso oco a, esses dados de em se disponibilizados de o ma abe a, is o é, publicados
num o ma o não p op ie á io e independen es de pla a o ma, legí el po máquina e
disponibilizados ao público, sem es ições a eu ilização das in o mações. Foi dessa o ma que, em
dezemb o de 2007, os in a pa icipan es do Open Go e nmen Wo king G oup eunidos em
Sebas opol (Cali ó nia-US), de ini am os p incípios necessá ios a di ulgação de dados
go e namen ais de o ma abe a
5
. Os Oi o P incípios dos Dados Go e namen ais Abe os, como
ica am conhecidos, se ap esen am como um conjun o de di e izes que em se ido, em alguma
medida, como base pa a a maio pa e das inicia i as de dados go e namen ais ealizadas (A a d
e al., 2015; Ubaldi, 2013). Desde en ão, dados assim di ulgados podem assumi di e en es
e minologias, ais como: “Open Go e nmen Da a”, “Public Go e nmen Da a”, “Public Open
Da a”, “S a is ical Open Da a” ou simplesmen e “Open Da a”.
Segundo Gonzalez e Heeks, (2014), com base no a igo de Howa d
6
, os Dados Go e namen ais
Abe os (OGD, da sigla em inglês) se iam o esul ado da in e cessão de ês concei os: “Dados
Go e namen ais”, “Dados Abe os” e “Go e no Abe o”.
O concei o de Dados Go e namen ais se baseia, como oi di o acima, na ele ada capacidade que
os go e nos êm na cole a e a mazenamen o de in o mações de di e en es á eas de in e esse, ais
como demog a ia, abalho e emp ego, educação e o mação, en e ou as.
A possibilidade da exis ência de Dados Abe os ad ém das ino ações no p ocessamen o e na
di usão elacionados com a á ea de ecnologia da in o mação e da comunicação (ICT), que
possibili a am uma maio u ilização dos dados, de o ma mui o mais ápida e e icien e que a é
en ão.
Po úl imo, o concei o de Go e no Abe o em como o igem a con icção de que a omada de
decisões e ações go e namen ais de em se mais anspa en es e pa icipa i as pa a os cidadãos
(Gonzalez-Zapa a & Heeks, 2014; Meije , Cu in, & Hilleb and , 2012) . Nesse sen ido, o memo ando
p esidencial do ecém-elei o Ba ack Obama, que a a a da ques ão da T anspa ência e do Go e no
5
Pa a maio es de alhes, e o sí io h ps://opengo da a.o g/
6
“Da a o he Public Good”. Sebas opol, CA: O’Reilly Media - h p:// ada .o eilly.com/2012/02/da a-public-good.h ml
6
Abe o
7
, ep esen a um ma co na di usão do concei o (Dawes, Vidiaso a, & Pa khimo ich, 2016;
Meije e al., 2012; Susha e al., 2015)
Conjun amen e a esses ês concei os, Gonzalez e Heeks, (2014) iden i icam, a pa i de uma análise
da li e a u a exis en e, qua o di e en es pe spe i as como elemen o de união do concei o de OGD:
a Bu oc á ica, a Tecnológica, a Polí ica e a Econômica.
Enquan o as ês p imei as pe spe i as, apon adas pelos au o es, es a iam ligadas espe i amen e
aos concei os de “Dados Go e namen ais”, “Dados Abe os” e “Go e no Abe o”, a qua a
eme gi ia como uma consequência do esul ado da in e cessão das ês pe spe i as sup aci adas
(“Dados Go e namen ais Abe os”), já que esse e ia o po encial pa a ag ega alo econômico, a
pa i das ino ações p oduzidas com base na u ilização dos dados (Be o, Megdiche, & Tes e, 2015).
Pe spec i a
Bu oc á ica
(Dados
Go e namen ais)
Pe spec i a
Tecnológica
(Dados Abe os)
Pe spec i a
Polí ica
(Go e no Abe o)
Pe spec i a
Econômica
(OGD)
Figu a 2 - Diag ama com o elacionamen o en e concei os e
pe spec i as. Baseada no Diag ama de Gonzalez-Zapa a & Heeks.
Ao analisa conjun amen e as qua o pe spe i as suge idas po Gonzalez e Heeks e as ês p incipais
azões pa a a exis ência das inicia i as de dados go e namen ais abe os – que consis em em
anspa ência, p omo e ino ação que ag egue alo econômico e a pa icipação a i a dos
cidadãos, apon adas po A a d e al. (2015) – é possí el iden i ica uma in e conec i idade en e
es es, já que as azões pa a a adoção de uma polí ica de dados abe o ao edo do mundo, ais
como o comba e à co upção, pe manece am cons an es ao longo da úl ima década (Alexopoulos
e al., 2014; A a d e al., 2015; Be o , Jaege , & G imes, 2010; Dos San os B i o, Cos a, Ga cia, &
7
h ps://www.whi ehouse.go / he_p ess_o ice/T anspa encyandOpenGo e nmen
7
De Lemos Mei a, 2014; dos San os B i o, da Sil a Cos a, Ga cia, & de Lemos Mei a, 2014; McHugh,
2013; Meije e al., 2012; Zuide wijk & Janssen, 2014).
Mesmo que não haja um consenso en e as de inições dos concei os e seu elacionamen o
(Weins ein & Golds ein, 2012), os au o es suge em que a “pa ce ia” en e os concei os pode
p opo ciona o o alecimen o deles enquan o mo imen o, já que a ia ganhos pa a odos.
É nesse cená io que podemos iden i ica , a pa i de 2009, que a emá ica OGD em ganhado espaço
nas agendas de di e sos países (Susha e al., 2015) de o ma g adual, mas cons an e.
Segundo os au o es (Shen, Riaz, Palle, Jin, & Peña-Mo a, 2015), a pa i da análise da edição de
2014 do Open Da a Ba ome e (ODB)
8
, oi possí el iden i ica 86 países analisados pa a a
cons ução do anking. Na e são da publicação de 2015, esse núme o ha ia subido pa a 92 países
9
.
Di e sos países êm se des acado na di usão de suas bases de dados em o ma o abe o. Podemos
apon a o caso do Es ados Unidos (da a.go ) e do Reino Unido (da a.go .uk), que êm desen ol ido
uma polí ica de disponibilização de suas bases em po ais especi icamen e c iados com esse
obje i o (Susha e al., 2015). Nesses po ais é possí el encon a uma g ande a iedade de bases
de dados (ap oximadamen e 193.976 no da a.go e 40.736 no da a.go .uk)
10
nas mais di e en es
emá icas, ais como saúde, meio ambien e, gas os go e namen ais e econômicos.
Independen emen e da quan idade de bases de dados disponibilizadas, a ualmen e é possí el
acede dados go e namen ais de uma g ande quan idade de países de o ma acili ada. Assim, é
possí el ob e in o mações sob e países como Canadá (open.canada.ca/da a), No a Zelândia
(da a.go .nz), Po ugal (dados.go .p ), B asil (dados.go .b ), G écia (da a.go .g ) ou a é mesmo
Nepal (da a.opennepal.ne )
11
, den e mui os ou os.
Não só o núme o de países analisados em aumen ado ao longo do empo, is o que o núme o de
benchma ks ol ados pa a a emá ica dos Dados Abe os, em especial os dados go e namen ais,
ambém em aumen ado ao longo desse pe íodo.
Segundo Shen e al (2015) e Susha e al.( 2015), oi possí el lis a á ias inicia i as, ais como: PSI
Sco eboa d (ePSI); Wo ld Bank’s Open Da a Readiness Assessmen (ODRA); Open Knowledge
Founda ion’s Open Da a Index (ODI) e Capgemini Consul ing’s Open Da a Economy (ODE), além do
Open Da a Ba ome e (ODB), o que e o ça o in e esse que o mo imen o do OGD em despe ado
12
.
Com di e en es me odologias e obje i os, esses benchma ks buscam a alia c i é ios que passam
pelo ní el de obse âncias dos Oi o P incípios, Impac o social, econômico e polí ico das inicia i as
a é o g au de implemen ação ou ma u idade das polí icas de dados abe os, po exemplo. A pesa
das di e enças, os benchma ks êm em comum a capacidade de a alia o p og esso da adoção de
dados abe os em á ios países, ao iden i ica os pon os acos e o es dessas inicia i as com a
inalidade de ajuda no desen ol imen o do p ocessos de ape eiçoamen o (Susha e al., 2015).
8
h p://openda aba ome e .o g/2ndEdi ion/
9
h p://openda aba ome e .o g/3 dEdi ion/ epo /#execu i e_summa y
10
Os po ais o am isi ados em 24 de janei o de 2017.
11
Idem 5.
12
Além dessas inicia i as ci adas acima, ainda é possí el des aca o benchma k da O ganisa ion o Economic Co-
ope a ion and De elopmen (OECD).
8
Apesa dos a anços ob idos no pe íodo ecen es, a di ulgação dos dados go e namen ais de o ma
abe a ainda en en a á ios desa ios. O a o de os dados es a em disponí eis pa a download não
ga an e o aumen o da anspa ência ou con ole social que esses de e iam p opo ciona (Heise &
Naumann, 2012; McHugh, 2013). P oblemas elacionados a ques ões ecnológicas, como a
u ilização de di e en es o ma os na di ulgação das bases (A a d e al., 2015; Dos San os B i o e
al., 2014), a qualidade dos me adados ou me ain o mações disponibilizados (A a d e al., 2015; B
e al., 2015; Dawes e al., 2016; McHugh, 2013) ou a é mudanças dos pa adigmas polí ico
adminis a i os e e en es à ques ão da anspa ência e dados abe os
13
ep esen am desa ios que
de em se conside ados quando se a a da u ilização dos OGD na p odução de sis emas de
in o mação.
2.2. DADOS GOVERNAMENTAIS ABERTOS NO BRASIL
O Es ado b asilei o em ilhado um longo caminho na di ulgação das in o mações públicas
p oduzidas pelos go e nos e suas agências.
Desde a p omulgação da Cons i uição Fede al de 1988, á ias medidas êm sido omadas pa a
ga an i ao cidadão o acesso a um a iado ol de in o mações públicas (G uman, 2012; OGP, 2011;
Polo, 2015). O a igo 5º, inciso XXXIII, da Cons i uição Fede al, que a i ma que “ odos êm di ei o a
ecebe dos ó gãos públicos in o mações de seu in e esse pa icula , ou de in e esse cole i o ou
ge al, que se ão p es adas no p azo da lei, sob pena de esponsabilidade, essal adas aquelas cujo
sigilo seja imp escindí el à segu ança da sociedade e do Es ado”, ab e caminho legal pa a as
inicia i as ealizadas nos anos seguin es.
Na década de 1990, ainda em elação à legislação, podemos apon a dois ma cos impo an es pa a
o acesso à in o mação pública (Polo, 2015). O p imei o é a adoção da Lei nº 8.159/1991, a chamada
“Lei dos A qui os”, que de ine as eg as básicas pa a a ges ão documen al, a o ganização dos
se iços a qui ís icos nacionais e o acesso aos documen os nes es gua dados. O segundo ma co
se ia a Lei nº 9.507/1997, conhecida como “Lei do Habeas Da a”, que egula iza o inciso LXXII do
a . 5º, da Cons i uição Fede al, ao assegu a o acesso às in o mações sob a o ma de “ egis os ou
bancos de dados de en idades go e namen ais ou de ca á e público”.
No campo ecnológico, o a anço da mic oin o má ica possibili ou que di e en es ó gãos e agências
da adminis ação pública, ligados ao chamado Sis ema Es a ís ico Nacional, passassem a
disponibiliza paula inamen e suas bases de dados em meios digi ais (CD-ROM e pos e io men e
na In e ne ) pa a um g upo maio de usuá ios especialis as (L. de S. G. G acioso, 2004; Sen a, 2009;
Sil a, 2003). Den e as inicia i as que me ecem des aque, podemos apon a as ealizadas pelo
Ins i u o B asilei o de Geog a ia e Es a ís ica (IBGE), pelo Minis é io do T abalho e Emp ego (MTE)
e Depa amen o Nacional de In o mação e In o má ica em Saúde (DATASUS)
14
. Essas inicia i as
13
Du an e a edação do p esen e abalho, a ecém-elei a adminis ação do P esiden e Donald T ump o denou à Agência
de P o eção Ambien al (En i onmen al P o ec ion Agency – EPA) que excluísse de sua webpage in o mações e dados
e e en es às mudanças climá icas. Fon e: h p://www. eu e s.com/a icle/us-usa- ump-epa-clima echange-
idUSKBN15906G.
14
A pa i de 2008 o DATASUS passou a se chama Depa amen o Nacional de In o má ica em Saúde.

9
possibili a am o acesso a dados sociodemog á icos, de me cado de abalho e de mo alidade,
es i os an e io men e aos ambien es de g ande po e (main ames).
A década de 2000 ep esen ou a consolidação de um conjun o de e amen as, desen ol idas no
inal da década an e io , elacionadas ao o alecimen o do go e no ele ônico (E-go ) den o da
adminis ação ede al (Ja dim, 2004). Tendo sido bene iciadas pelo sucesso no en en amen o do
“bug do milênio”, as á eas de ICT do go e no ede al ap o ei a am-se da es u u ação de seu
pa que ecnológico (Diniz, Ba bosa, Junquei a, & P ado, 2009) pa a ape eiçoa a u ilização dessas
e amen as den o da adminis ação pública. Den e as á ias inicia i as, podemos des aca o
Sis ema In eg ado de Adminis ação Financei a do Go e no Fede al (SIAFI) des inado ao egis o,
con ole e acompanhamen o da execução o çamen á ia, inancei a e pa imonial do Go e no
Fede al
15
.
Em 2003 é c iada a Con olado ia Ge al da União (CGU) com o obje i o de inc emen a as ações de
anspa ência e con ole ol adas pa a o comba e à co upção (G uman, 2012; Polo, 2015). Em
2004 a CGU lança o Po al da T anspa ência
16
(Polo, 2015) com o obje i o de cen aliza a
ap esen ação dos dados de uma sé ie de sis emas go e namen ais b asilei os. A pa i de 2009,
com a publicação da Lei Complemen a 131 que de e mina a a disponibilização das in o mações
o çamen á ias e inancei as em empo eal, há um aumen o na ab angência das in o mações
disponibilizadas no Po al (Pai a, Re o edo, & Baião, 2016), ampliando com isso a sua isibilidade.
Em se emb o de 2011, o B asil ade e ao Open Go e nmen Pa ne ship (OGP), como um dos países
co undado es (Dos San os B i o e al., 2014; OGP, 2011). O OGP é uma inicia i a de oi o nações
(B asil, Indonésia, México, No uega, Filipinas, Á ica do Sul, Reino Unido e Es ados Unidos)
17
que
em como obje i o p incipal assegu a o comba e a co upção, a p omoção da anspa ência e a
pa icipação cí ica po meio de uma ges ão pública abe a, e icaz e com esponsabilidade (F ei as
& Daco so, 2014). Nessa mesma época, é c iado o Comi ê In e minis e ial pa a Go e no Abe o
(CIGA), cujo obje i o se ia cen aliza os deba es elacionados à implemen ação e ao
moni o amen o do 1º Plano de Ação Nacional pa a Go e no Abe o (Guima ães, 2014; OGP, 2011).
Em no emb o de 2011, é p omulgada a Lei de Acesso à In o mação (LAI, Lei nº 12.527, de 18 de
no emb o de 2011) que de ine em seu a igo 3º “a publicidade como p ecei o ge al e o sigilo como
exceção e a di ulgação de in o mações de in e esse público, independen emen e de solici ação”
(A. K. Pe ei a, Pi es, & Pin o, 2014). Na p á ica, a LAI inalmen e egula o acesso à in o mação que
oi p e is o no inciso XXXIII do a igo 5º, no inciso II do § 3º do a igo 37 e no § 2º do a igo 216 da
Cons i uição Fede al de 1988 (Cin ão & Bizelli, 2013; G uman, 2012).
Em ab il de 2012, oco e em B asília a p imei a con e ência anual da Pa ce ia pa a Go e no Abe o,
en ão com 38 países pa icipan es (Guima ães, 2014). Nesse encon o, oco e a c iação de um
G upo de T abalho (GT) da Sociedade Ci il. Apesa da exis ência do GT, a sua pa icipação no CIGA
não em ca á e o icial, sendo po isso um mo i o de a i o en e a sociedade ci il e o go e no
(S eibel, 2014). Ainda em ab il de 2012, a Ins ução No ma i a SLTI/MP nº 4, ins i ui a
In aes u u a Nacional de Dados Abe os (INDA) que se cons i ui em “um conjun o de pad ões,
15
h p://www. esou o. azenda.go .b /sia i
16
h p://www.po alda anspa encia.go .b /
17
Em e . de 2017, 75 países pa icipa am da pa ce ia - h p://www.opengo pa ne ship.o g/abou .
10
ecnologias, p ocedimen os e mecanismos de con ole necessá ios pa a a ende às condições de
disseminação e compa ilhamen o de dados e in o mações públicas no modelo de Dados
Abe os”
18
, con o me os Pad ões de In e ope abilidade de Go e no Ele ônico (e-PING)
19
. Em maio
de 2012 a LAI en a e e i amen e em igo , con o me de inido em seu a igo 47º. No mês seguin e,
ai ao a a p imei a e são do po al o icial de dados abe os b asilei o - Dados.go .b (Ma heus &
Ribei o, 2014).
Em ab il de 2013, a CGU publica o “Guia de Implan ação de Po ais de T anspa ência” com um
conjun o de pa âme os ou suges ões pa a que os di e en es ní eis ede a i os desen ol am os
espe i os po ais de anspa ência (Resende & Nassi , 2015). No mês seguin e, maio de 2013, a
CGU di ulga ao im da igência do 1º Plano de Ação Nacional pa a Go e no Abe o uma a aliação
apon ando que, dos in a comp omissos i mados, in e e seis ha iam sido concluídos e dois não
ha iam sido iniciados con o me o planejado
20
. Den e esses dois, o comp omisso “Realização de
pesquisa pa a iden i icação das demandas da sociedade sob e acesso a in o mação, isando ao
ape eiçoamen o da polí ica de anspa ência a i a” oi subs i uído pela c iação do Sis ema
Ele ônico do Se iço de In o mação ao Cidadão (e-SIC). Esse sis ema possibili a aos cidadãos
solici a acesso às in o mações ainda não disponibilizadas em ou os po ais de o ma
simpli icada
21
. Ainda em maio, é lançado o 2º Plano de Ação Nacional pa a Go e no Abe o, com
inicialmen e 45 comp omissos assumidos po 17 ó gãos do go e no. Em julho de 2013, após uma
e isão p opos a pelo G upo Execu i o do CIGA, mais se e comp omissos são incluídos no 2º Plano
de Ação, sendo qua o desses o iundos de suges ões da sociedade ci il.
Den e as ações p e is a den o do 2º Plano, em 2014, podemos des aca a c iação do Po al
B asilei o de Pa icipação Social (www.pa icipa.b ) cujo obje i o é euni “in o mações sob e
opo unidades de pa icipação social no go e no ede al e es imula a o mação de comunidades
de usuá ios” 17. Ou a ação que me ece des aque em 2014 oi a ealização do P og ama B asil
T anspa en e, que em po obje i o dissemina e apoia a implan ação da LAI e das inicia i as de
go e no abe o pa a os demais en es ede a i os.
No campo legisla i o, em agos o de 2014, o P oje o de Lei (PL) 7804/2014
22
oi ap esen ado na
Câma a dos Depu ados, o que le a ia à ins i uição da Lei de Dados Abe os, com o obje i o de
no ma iza os p ocedimen os pa a a disponibilização de dados abe os e in e aces de aplicação
Web pelos en es ede a i os.
Em 2015, com a inalidade de a alia a adoção das inicia i as de go e no abe o pelos Es ados e
Municípios, a CGU lança um anking, denominado de Escala B asil T anspa en e (EBT), que consis e
em um conjun o de doze quesi os de a aliação que em o obje i o de medi o g au de anspa ência
e obse ância à Lei de Acesso à In o mação
23
.
18
h p://wiki.g inda.ibge.go .b /
19
h ps://www.go e noele onico.go .b /eixos-de-a uacao/go e no/ges ao/in e ope abilidade/eping-pad oes-de-
in e ope abilidade-de-go e no-ele onico
20
CGU - 2º Plano de Ação B asilei o - h p://www.go e noabe o.cgu.go .b /no-b asil/planos-de-acao-1/2o-plano-de-
acao-b asilei o.
21
De janei o de 2013 a é janei o de 2017 o am ei as 206.211 solici ações de acesso às in o mações ao e-SIC. De e-se
essal a que dessas, 35.562 solici ações o am negadas e ou as 19.335 i e am acesso pa cialmen e concedidos -
h ps://esic.cgu.go .b /sis ema/si e/index.h ml
22
h p://www.cama a.go .b /p oposicoesWeb/ ichade ami acao?idP oposicao=620193 (25 de se emb o de 2017)
23
h p://www.cgu.go .b /assun os/ anspa encia-publica/escala-b asil- anspa en e/me odologia)
11
Em dezemb o de 2015, ao inal do p azo de igência do 2º Plano de Ação Nacional pa a Go e no
Abe o, 69% das ações p e is as ha iam sido implemen adas e o es an e se encon a a em
execução pelos ó gãos esponsá eis.
Em 2016, o Go e no B asilei o inicia a cons ução do 3º Plano de Ação Nacional pa a Go e no
Abe o, pa a o biênio 2016 – 2018. O plano igen e é compos o po dezasseis comp omissos
elabo ados com a pa icipação de ep esen an es da sociedade ci il e do go e no, que nessa edição
incluiu ep esen an es dos pode es Execu i o, Legisla i o e Judiciá io.
Não azendo pa e do 3º plano de ação, mas sendo ine i a elmen e elacionado a es e, é assinado
o dec e o nº 8.777 de maio de 2016
24
que ins i ui inalmen e a polí ica de dados abe os do pode
Execu i o Fede al.
Apesa dos a anços obse ados no pe íodo, as polí icas de dados abe os no B asil ainda en en am
á ios desa ios. P oblemas elacionados com ques ões ecnológicas e bu oc á icas azem com que
o país ique aquém de suas possibilidades no campo dos dados go e namen ais abe os.
Em elação às ques ões ecnológicas, mesmo com a c iação da INDA, a inexis ência de um pad ão
pa a a di ulgação dos a qui os de dados di icul a sua plena u ilização. Con o me apon ado po Shen
e al (2015), essa al a de ade ência, dos dados disponibilizados, aos p incípios dos Dados Abe os
ambém aca e a em uma pe da de posição do país nos ankings in e nacionais.
Além dessa di e sidade de o ma os de di ulgação, ques ões como a ausência de uma
documen ação de alhada, di e enças na g anula idade dos dados e equência de a ualização
(Pai a e al., 2016) o nam a a e a de u ilização mais di ícil.
2.3. DADOS EDUCACIONAIS
Pa a ins de exempli icação das soluções de DW do p esen e abalho, se ão u ilizadas algumas
bases de dados públicas ela i as à emá ica da educação no B asil.
O moni o amen o e a análise dos dados educacionais ep esen am, independen e da ma iz
ideológica ou mo i ação, uma aliosa on e de in o mação pa a o desen ol imen o das polí icas
públicas. Nesse sen ido, podemos da a a u ilização desses dados de o ma mais in ensi a após a
segunda me ade do século XX (Capis ano, Ci o o, Nascimen o, & Sil a, 2016).
Segundo P onko (2015), na década de 1960 a O ganização das Nações Unidas pa a a Educação, a
Ciência e a Cul u a (UNESCO) assume a educação como sendo o seu comp omisso p incipal. Não
obs an e a educação já ep esen a na época um di ei o básico uni e sal
25
, essa mudança de
pa adigma é jus i icada pelo o alecimen o da eo ia do c escimen o econômico o iunda do inal
da década de 1950, especialmen e no que ange à ques ão do capi al humano e nos in es imen os
pa a a o mação dos indi íduos – nesse caso especí ico, a massa de abalhado es (Pos , 2015;
24
h p://www.planal o.go .b /cci il_03/_A o2015-2018/2016/Dec e o/D8777.h m
25
h p://unesdoc.unesco.o g/images/0013/001394/139423po .pd
12
P onko, 2015; Viana & Lima, 2010). Essa isão economicis a do p ocesso educacional demandou
das nações e dos o ganismos in e nacionais a p odução de dados que pe mi isse o moni o amen o
e a a aliação dos in es imen os ealizados.
Nesse cená io des aca-se, além da p óp ia UNESCO, a a uação de ou os o ganismos in e nacionais
na di usão do binômio “educação & desen ol imen o”, ais como a O ganização pa a a Coope ação
e o Desen ol imen o Econômico (OECD), o Comi ê de Assis ência ao Desen ol imen o (DAC) e o
Banco Mundial (WB). Esse iés econômico dos p ocessos educacionais pe du ou a é meados da
década de 1970. P onko (2015) ilus a que nesse pe íodo o se o educacional do Banco Mundial e a
exclusi amen e o mado po p o issionais da á ea de economia.
É na década de 1970 que oco e a consolidação da OECD como um o o cen al na p odução de
es a ís icas na á ea educacional ao edo do mundo. O P og ama In e nacional de A aliação de
Es udan es (PISA) é uma inicia i a desen ol ida pela o ganização que em po obje i o a cole a de
in o mações e a p odução de indicado es que possibili em a compa ação en e países.
No inal da década de 1990, é c iado o Ins i u o de Es a ís ica da Unesco (UIS) com um de seus
obje i os p incipais apoia o desen ol imen o de sis emas es a ís icos nacionais ol ados pa a as
á eas de educação, ciência e cul u a (Capis ano e al., 2016).
Além do P og ama In e nacional de A aliação de Es udan es, á ias ou as inicia i as êm sido
desen ol idas a pa i das bases de dados educacionais. Desde o início da década de 2000, o
Rela ó io Global de Moni o amen o da Educação (GEM) é p oduzido pela UNESCO com o obje i o
de moni o a os p og essos das me as educacionais – inicialmen e do p og ama “Educação pa a
Todos” (EFA) e pos e io men e do “Obje i os de Desen ol imen o Sus en á el” (SDG) – em
di e en es países do mundo, subsidiando a sociedade ci il em suas demandas po mudanças e
o çando os go e nos pa a o deba e (Pos , 2015).
Não só os go e nos e a sociedade ci il êm mos ado in e esse nos dados educacionais. Os se o es
p i ados eem cada ez mais no segmen o educacional um campo pa a a ealização de
in es imen os e de luc os (Ve ge , Lubienski, & S eine -Khamsi, 2016) e êm u ilizado os dados
educacionais pa a esse im.
Sejam cole ados po meio de pesquisas ou po meio de egis os adminis a i os, os dados
p oduzidos no p ocesso de educa as u u as ge ações p o êm in o mações e e en es a uma
a iada gama de mé icas sob e alunos (absen eísmos, p o iciência, desempenho, e c.), ins i uições
(es u u a ísica e adminis a i a, co po docen e, e c) ou docen e (ní el de o mação, á ea de
a uação, e c.), que possibili am a c iação de indicado es e análises pelos mais a iados c i é ios.
No âmbi o dos países, a esponsabilidade da p odução e consolidação das in o mações
educacionais públicas pode se a ibuída a di e en es a o es. No malmen e es as a i idades es ão
inculados ao minis é io ou depa amen o de educação do país ou a algum ó gão ou ins i u o de
alguma o ma elacionado a esse (Capis ano e al., 2016). Nesses casos, as in o mações p oduzidas
p opõem-se a in es iga a in aes u u a e o ganização ( u mas, escolas ou uni e sidades), as
pessoas en ol idas no p ocesso (discen es, docen es ou uncioná ios écnicos e adminis a i os) e
os esul ados ob idos ( axas de p o iciência ou desempenho). Es es êm como p incipal obje i o
moni o a e o ien a a execução das polí icas públicas na á ea educacional.
19
que buscam a ex ai au oma icamen e (semp e que possí el) a es u u a dos dados de en ada e
p opo soluções pa a os p ocessos de ex ação e a mazenamen o (Be o, Megdiche, & Tes e, 2015)
Análise dos Sis emas de In o mação exis en es na
emp esa (Inpu - dados)
Especi icação dos eque imen os de in o mação
demandadas ( Ou pu - in o mações)
Design concei ual da solução (de inição do modelo
dimensional, hie a quias, dimensões e mé icas)
Design lógico da solução (de inição das abelas e
elacionamen os)
Design ísico da solução (de inição de o imizações
de pe o mance e índices )
Figu a 3 - Fluxo de desen ol imen o de um Da a Wa ehouse. Baseado em Gol a elli & Rizzi, 1999.
3.2. DATA WAREHOUSING NAS CIÊNCIAS SOCIAIS
Mesmo exis indo uma as a li e a u a que a a do desen ol imen o de sis emas de Da a
Wa ehouse, a cons ução de uma solução de DW baseada em es a ís icas públicas e com oco nas
Ciências Sociais ap esen a ca ac e ís icas e desa ios p óp ios.
Di e en es au o es ela am que a cons ução de sis emas de in o mação baseados em es a ís icas
públicas cos uma ap esen a peculia idades elacionadas a in eg ação e compa ibilização dos
dados (Pa e son, 2003), à o ma de ealização do le an amen o de equisi os e necessidades dos
usuá ios (Schae e , Tan ikulu, & B ei e , 2011) ou à quan idade de mé icas ou dimensões u ilizadas
(Be nd , He ne , & S udnicki, 2003; Pa e son, 2003).
Pa e son (2003) de alha essas di e enças e as ag upa em cinco g andes ca ego ias: con ex o
ins i ucional, g upo de possí eis usuá ios, on es de dados, p ocessos de in eg ação dos dados e as
es a égias de análise possí eis.
O con ex o ins i ucional de ine a isibilidade, os obje i os e as di e izes que ão no ea a
cons ução da solução de DW. No caso das soluções emp esa iais, esses ês componen es
no malmen e são bem de inidos e, mesmo podendo a ia en e emp esas, são ocados pa a o

20
in e io da p óp ia ins i uição com o obje i o de a e i an agens compe i i as (luc o) e guiados
pelas es a égias de negócio elabo adas in e namen e.
Na cons ução de uma solução ol ada pa a o público das Ciências Sociais esses componen es não
são necessa iamen e bem cla os nem exclusi os. Nesses casos, as soluções no malmen e
ap esen am um escopo abe o, pois, mesmo quando são desen ol idos den o de uma única
ins i uição, são elabo ados pa a e em isibilidade o a des as. Também são di e en es seus
obje i os e di e izes, is o que são ocados em a ende demandas sociais e a o ece a elabo ação
de polí icas públicas (que podem a ia dependendo do local e da época) bem como são guiados
po no mas cons i ucionais ou a ados in e nacionais – que indicam mui o mais quais são os
pa âme os desejados ou ideais, do que os caminhos pa a se em seguidos.
A análise do g upo de u ilizado es dos dois sis emas (os co po a i os e os ol ados pa a a á ea
social) e ela g andes di e enças en e eles. Enquan o os u ilizado es dos sis emas co po a i os são
compos os pelos ní eis ge enciais ou écnicos des as ins i uições, as soluções ol adas pa a a á ea
social possuem um co po de u ilizado es he e ogêneos, que pode a ia de um minis o de es ado
ao cidadão comum.
Essa he e ogeneidade dos u ilizado es ica la en e em di e en es ases do p ocesso de cons ução
dos DW na á ea social. Con o me apon ou Schae e e al (2011), o le an amen o de equisi os do
sis ema nesses casos cos uma se di e enciado, uma ez que as in o mações p ecisam se ob idas,
po exemplo, en e di e en es pesquisado es indi iduais que podem es a espalhados em dis in as
ins i uições a abalha p opósi os pa icula es. Além disso, como há uma g ande di e sidade de
me odologias, concei os e obje i os emp egados po es es, o na-se di ícil algumas ezes a ingi
alguns consensos sob e o melho design a se u ilizado. Isso ica isí el quando compa amos o
núme o de mé icas necessá ias pa a a ende as demandas de in o mação de cada g upo de
usuá ios. Enquan o os usuá ios co po a i os abalham com, no máximo, duas dezenas de mé icas
de ido à mul iplicidade de obje i os e público da solução, a quan idade de mé icas pode passa
acilmen e desse núme o. Com e ei o, Be nd e al. (2003), a am de um sis ema de DW com mais
de 250 “indicado es” ol ados pa a ins de planejamen o de saúde de comunidade locais da Fló ida
(EUA).
Tal ez sejam no âmbi o das on es e in eg ação de dados que as di e enças en e as duas es u u as
sejam mais e iden es. Quando a amos ca ac e ís icas ela i as à aquisição dos dados, os sis emas
co po a i os se ca ac e izam po ap esen a uma equência al a e egula , no malmen e diá ia ou
semanal. Os dados são o emen e pad onizados e obedecem às especi icações de inidas pelas
es a égias de negócio da emp esa.
Ao passo que nos sis emas ol ados pa a ciências sociais, a pe iodicidade de aquisição dos dados é
baixa, sendo mui o comum ap esen a pe iodicidade anual (dados demog á icos) ou imes al
(dados econômicos). A pad onização dos dados exis e, mas ap esen a maio g au de a iabilidade
ao longo do empo, já que os enômenos po es es in es igados cos umam a ia con o me os ciclos
de mudanças sociais.
Ou a g ande di e ença eside na o ma como os dados são p oduzidos. No caso dos dados
co po a i os, esses são o iundos dos sis emas ansacionais a elados aos p ocessos p odu i os e
aos negócios das emp esas. Enquan o os dados que alimen am os DW sociais, p o êm
21
no malmen e de pesquisas censi á ias ou inqué i os socioeconômicos. Mesmo quando são
o iundos de egis os adminis a i os (in o mações sob e a endimen os hospi ala es, po exemplo)
cos uma ha e uma la ência en e a sua p odução/aquisição e a di ulgação inal.
No ocan e à in eg ação dos dados, uma das di e enças en e as soluções eside na o ma pela qual
as on es de dadossão acedidas. Como já oi di o an e io men e, os dados nas soluções co po a i as
são no malmen e ex aídos dos bancos de dados elacionais que dão supo e aos sis emas
ansacionais des as. No caso dos dados do DW social, pelo a o de os dados se em p oduzidos –
na sua maio ia – po o ganizações públicas ligadas às di e en es es e as de go e no, é quase ce o
que o acesso aos “sis emas ansacionais” dessas ins i uições não seja possí el, limi ando o acesso
aos a qui os de es u u a unidimensionais ( la iles) disponibilizados
36
. Dependendo dos equisi os
de in o mações le an ados com os usuá ios ou pesquisado es, a quan idade de on es de dados
pode c esce ao pon o de o na o p ocesso de ca ga dos dados bas an e complexo, já que cada
uma das on es u ilizadas pode ap esen a layou , pad onização e codi icação di e en es, não só
en e ins i uições, mas en e on es/pesquisas de uma mesma ins i uição. No malmen e, a ligação
en e as di e en es on es oco e somen e po médio das dimensões geog á ica ( e i ó io) e
empo al.
Po úl imo, o consumo e análise das in o mações p oduzidas ambém ap esen a di e enças en e
ambos os ipos de soluções. Enquan o nas soluções co po a i as a u ilização de e amen as de
OLAP (Online Analy ical P ocessing) ou de dashboa ds com a ep esen ação isual dos indicado es
cha e de desempenho (KPIs) são co iquei as, no ambien e das Ciências Sociais essas soluções nem
semp e são possí eis ou desejá eis. Como já oi di o acima, a he e ogeneidade dos u ilizado es,
assim como a mul iplicidade de obje i os desses sis emas, az com que a u ilização de e amen as
ou écnicas mais complexas de isualização de dados in imide ou a é a as e possí eis u ilizado es
não especialis as. Nesses casos, pode se comum o desen ol imen o de mais de uma e amen a a
im de a ende esses di e en es públicos. Abaixo, a Tabela 1 ap esen a um esumo dessas
di e enças.
DATA WAREHOUSE
EMPRESARIAL
DATA WAREHOUSE NAS CIÊNCIAS
SOCIAIS
CONTEXTO
Escopo Ins i ucional
In e no a emp esa
Uma ou mais ins i uições, com
isibilidade abe a mui as ezes pa a a
sociedade
Obje i o
Ob e an agens compe i i as
A ende demandas sociais e a elabo ação
de polí icas públicas
Di e izes
Es a égia co po a i a
Guiados po no mas cons i ucionais ou
a ados in e nacionais
UTILIZADORES
Base de u ilizado es
Homogêneo - Ní eis écnicos e
ge enciais das emp esas
He e ogêneo - Ges o es go e namen ais,
pesquisado es e o público em ge al
36
Mais ecen emen e, algumas ins i uições b asilei as p odu o as de dados passa am a disponibiliza seus dados em
o ma os XML e JSON.
22
DADOS
F equência de aquisição
Al a e egula - aquisição diá ia
ou semanal
Baixa e em alguns casos i egula -
Aquisição Decenal, anual, imes al ou
mensal
Pad onização
Al o ní el de pad onização
Pad onização exis e, mas pode a ia ao
longo do empo e en e as di e en es
on es e ins i uições
Fo ma de aquisição
Especi icada pelos ní eis
ge enciais e os obje i os das
emp esas
Especi icado po di e en es g upos de
pesquisado es ou écnicos
go e namen ais
INTEGRAÇÃO DOS DADOS
Fon e(s)
Limi ada - no malmen e aos
sis emas ansacionais in e nos
Múl ipla - p oduzidas po di e en es
ó gãos go e namen ais
G au de ligação
Al o, já que os dados são
cons uídos com essa
inalidade
Baixo, no malmen e limi ados aos ní eis
geog á ico e empo al
O ganização
O ganizados em bases de
dados elacionais
O ganizado segundo emá icas e
disponibilizados em a qui os de es u u a
unidimensionais
ANÁLISES
Fe amen as de análise
Fe amen as OLAP e
Dashboa d
Di e en es o mas de isualização,
dependendo do público u ilizado .
Tabela 1 - Resumo das di e enças en e as es u u as. Baseado em Pa e son (2003)
3.3. INDICADORES SOCIAIS COMO MÉTRICAS DE UM DW
Não só pela g ande quan idade é que se des aca a cons ução das mé icas em um DW ol ado pa a
a á ea de humanidades.
Conhecidos como Indicado es Sociais, ais mé icas possuem aje ó ia ão longa em empo quan o
o su gimen o dos p imei os g andes compu ado es come ciais. Da ando de meados da década de
1960, o chamado “Mo imen o de Indicado es Sociais” su ge como uma en a i a de ape eiçoa os
sis emas es a ís icos pa a acompanhamen o das ans o mações sociais em um cená io di idido
en e o c escimen o econômico e a pe sis ência de ele ados ní eis de pob eza, obse ados ao edo
do mundo (Jannuzzi, 2001).
Ainda segundo Jannuzzi, um indicado social é uma adução “em ci as angí eis e ope acionais”
de di e en es dimensões que po oam a ealidade de uma de e minada sociedade. Essas ci as
angí eis nada são mais que medidas, na sua maio ia quan i a i as, que en am c is aliza
enômenos sociais de modo a o ná-los ope acionalizá eis, seja pa a ins acadêmicos, seja pa a a
o mulação de polí icas públicas.
A na u eza quan i a i a dos indicado es sociais é uma ca ac e ís ica desejá el – na medida em que
possibili a a compa ação – ao longo do empo ou en e di e en es egiões geog á icas de di e en es
dimensões (gêne o, aça, idade, classe social, e c.) da ida social de uma de e minada população.
Com isso, medidas como axa de anal abe ismo, axa de p o iciência ou cus o médio po aluno no
23
ensino público podem se calculadas e se i de pa âme os pa a a co eção ou ape eiçoamen os
das polí icas educacionais de um país ou egião.
Po consis i em p edominan emen e em pe cen agens e ácios ( azões), os indicado es sociais
ap esen am uma ca ac e ís ica que in luencia o p ocesso de planejamen o e desen ol imen o de
soluções de DW pa a ciências humanas. Tais medidas cons i uem os chamados a os não-adi i os
que são aqueles que, em uma es u u a dimensional, não podem se somados em nenhuma de suas
dimensões ( ais como empo ou e i ó io, po exemplo), já que o esul ado de al soma não possui
qualque signi icado álido. Esses casos, a li e a u a (G oup Kimball, 2013) ecomenda que sejam
a mazenados sepa adamen e os componen es o almen e adi i os do indicado (no caso de uma
pe cen agem, os alo es do nume ado e do denominado ) pa a que, no momen o da exibição dos
esul ados, sejam ealizados os cálculos necessá ios pa a a c iação do indicado . Apesa de
ela i amen e simples, al solução esconde algumas a madilhas. Como e emos no capí ulo 4.4, é
necessá io que haja um cuidadoso mapeamen o dos indicado es pa a e i a o a mazenamen o
duplicado de in o mações, ais como o ais populacionais. Além disso, de e se le ado em
conside ação que, dependendo da e amen a u ilizada, a execução dos cálculos em empo
execução da demanda, pode a e a o desempenho des a.
3.4. A DIMENSÃO TEMPO NAS CIÊNCIAS SOCIAIS
A dimensão empo al ou somen e empo é undamen al na cons ução de qualque sis ema de DW,
pois pe mi e aos u ilizado es acompanha a e olução ou mudanças nos enômenos e e en os
in es igados. Nos sis emas de DW emp esa iais a dimensão empo ap esen a um al o ní el de
de alhamen o, no malmen e ao ní el das da as do calendá io, com g anula idade de um único dia
(Kimball & Case a, 2015), mas podendo chega ao de alhamen o de ho as e minu os - em sis emas
que analisem as endas ao longo de um dia, po exemplo.
No caso dos sis emas desen ol idos pa a as Ciências Sociais, quase nenhuma in o mação é
p oduzida com um g au de de alhamen o no que conce ne à ho a e minu o da oco ência do
e en o
37
. Mesmo quando possuem uma pe iodicidade de p odução diá ia, na maio ia das ezes as
in o mações são di ulgadas de o ma a se em ag egadas em unidades de análise mensais ou
imes ais (como no caso dos dados sob e me cado de abalho) ou anuais (nos casos de dados
demog á icos ou educacionais). Na maio ia dos casos, pa a as análises no malmen e ealizadas com
essas in o mações, a pe iodicidade de di ulgação é mais que su icien e pa a sa is aze as
necessidades in es iga i as (ins i u os de pesquisas ou acadêmicas) ou p á icas ( écnicos
go e namen ais e o mulado es de polí icas públicas).
Isso não signi ica que os sis emas de DW pa a as ciências sociais não possam abalha com ní eis
de de alhamen o empo al mais p óximos aos encon ados em seus pa es co po a i os. É possí el
pensa na u ilização de écnicas de DW e de mine ação de dados pa a medi enômenos, ais como
a e asão escola de alunos, po meio da combinação de di e en es on es de dados, em que uma
37
Os dados de mo alidade são uma exceção a essa eg a, já que possuem a indicação do dia e ho a em que o óbi o
oco eu.
24
das g anula idades pode ia se o absen eísmo diá io dos alunos, ex aído a pa i dos sis emas
ansacionais das ins i uições de ensino (Rigo, Camb uzzi, Ba bosa, & Cazella, 2014).
3.5. DESAFIOS PARA A CONSTRUÇÃO DE UM DW COM OS DADOS PÚBLICOS BRASILEIROS
No caso dos dados públicos b asilei os, é possí el iden i ica á ios pon os indicados pelos au o es.
No que conce ne à ques ão das on es de in o mação, encon amos na his ó ia ecen e do país uma
g ande di e sidade de ins i uições p odu o as de in o mações públicas, sendo ex ensa a elação de
bases de dados p oduzidas e disponibilizadas po es as ins i uições.
Em ou ub o de 2017, es a am disponibilizados no ca álogo do Po al B asilei o de Dados Abe os
38
ap oximadamen e 3.290 conjun os de dados, p oduzidos po 92 di e en es o ganizações, den e
minis é ios e agências go e namen ais. Além dessas on es, ainda exis em os dados p oduzidos e
di ulgados pelo Ins i u o B asilei o de Geog a ia e Es a ís ica (IBGE), o Ins i u o Nacional de Es udos
e Pesquisas Educacionais Anísio Teixei a (INEP) e pelo Depa amen o de In o má ica do Sis ema
Único de Saúde (DATASUS), que apesa de não es a em lis ados no po al, são egula men e
disponibilizados na o ma de mic odados.
Essa g ande a iedade de on es e ins i uições exige que o desen ol imen o de qualque solução
enha que conside a di e en es pad ões de di ulgação dos dados e me adados na sua elabo ação.
Além da a iedade de bases exis en es, o desen ol imen o dessas soluções de Da a Wa ehousing,
de e lida com al e ações na es u u a dos a qui os, que oco em ao longo do empo den o de um
mesmo conjun o de dados. Essas al e ações de em-se, em pa e, à complexidade dos enômenos
sociais es udados (Sil a, 2003) que aca e a, con o me a á ea emá ica, uma cons an e a ualização
das in o mações in es igadas.
Ao analisa somen e duas das bases de dados (Censo Escola da Educação Básica e o Censo da
Educação Supe io ) p oduzidas pelo Ins i u o Nacional de Es udos e Pesquisas Educacionais (INEP),
é possí el iden i ica um aumen o no núme o de a iá eis in es igadas de ap oximadamen e 49,8%
(Censo Escola ) e de 31,2% (Censo da Educação Supe io ), en e os anos de 2010 e 2015
39
.
Ou as bases de dados públicas ap esen am as mesmas ca ac e ís icas. A Pesquisa Nacional po
Amos a de Domicílios (PNAD), di ulgada anualmen e pelo IBGE desde a década de 1970 e
descon inuada em 2015, comumen e ap esen a a al e ações em seu layou de ido a inclusões, ao
seu co po básico adicional, de suplemen os emá icos especiais.
Essas cons an es a ualizações, além da di e sidade de o mas de es u u ação das bases de dados,
ob igam que os p ocessos de ex ação, ans o mação e ca ga (ETL, do inglês Ex ac T ans o m
Load), no mais no desen ol imen o de um DW, enham que se cons an emen e e is os e
a ualizados, de modo a aumen a o cus o dessa e apa já adicionalmen e dispendiosa (Kimball &
Case a, 2015).
38
h p://dados.go .b / (consul ado em 10 de ou ub o de 2017).
39
Le an amen o ealizado pelo au o a pa i dos me adados disponibilizados pelo Ins i u o Nacional de Es udos e
Pesquisas Educacionais (INEP).

25
O en endimen o dessas pa icula idades pode ep esen a um dos a o es de sucesso ou acasso
no desen ol imen o de uma solução baseada em es a ís icas públicas e po esse mo i o de em se
melho comp eendidas e documen adas.
26
4. IMPLEMENTAÇÃO DA SOLUÇÃO DE DATA WAREHOUSING
4.1. ABORDAGENS PARA A CONSTRUÇÃO DE UM DATA WAREHOUSE
Segundo á ios au o es (Lis e al., 2002; Sá e al., 2012), exis em ês abo dagens comumen e
u ilizadas no p ocesso de desen ol imen o de um sis ema de Da a Wa ehouse: “Goal-d i en”,
“Da a-d i en” ou “Use -d i en”.
Baseada nesses au o es, a abela abaixo (Tabela 2) desc e e as p incipais ca ac e ís icas dessas ês
abo dagens.
Abo dagem
Foco
A o
Van agens
Des an agens
Goal-d i en
Key
Pe o mance
Indica o
(KPI)
Ní eis ge enciais
médios e al os
É ocado di e amen e
nas mé icas de
desempenho da
emp esa.
Depende do en ol imen o
dos ní eis ge enciais.
Use -
d i en
Necessidades
do negócio
Usuá ios da
camada de
negócio
É baseado na
pa icipação di e a
dos usuá ios no
p ocesso de
cons ução do
modelo
Pode con undi os
obje i os dos usuá ios
com os obje i os do
negócio. Além disso, po
não le a em conside ação
ou os aspec os a p io i
(análise dos dados
disponí eis).
Da a-
d i en
Base de
dados
Sis ema
ansacional
(Modelo
En idade
Relacionamen o)
Possibili a que o
modelo dimensional
seja c iado de o ma
ápida.
Pode c ia es u u as de
dados dis uncionais, já que
pode ha e uma
desconexão en e os
dados a mazenados e as
necessidades dos usuá ios.
Tabela 2 - P incipais ca ac e ís icas das abo dagens u ilizadas pa a o desen ol imen o de um DW.
Podendo se u ilizadas sepa adamen e ou de o ma combinada (Guo e al., 2006; Sá e al., 2012),
essas abo dagens le am em conside ação que os elemen os necessá ios pa a a elabo ação de um
DW (obje i os, usuá ios e dados) esidem sob uma mesma ins i uição.
No caso dos eposi ó ios de dados abe os di icilmen e é possí el encon a as condições
necessá ias pa a a u ilização dessas abo dagens de o ma pu a, seja po que há di e en es obje i os
pa a a cons ução do eposi ó io, con o me o g upo de usuá ios en ol ido (Schae e e al., 2011),
seja po que os dados encon am-se dispe sos en e di e en es ins i uições, com di e en es g aus
de es u u ação (B e al., 2015; Be o e al., 2015; Cole a e al., 2012; Heise & Naumann, 2012).
Essas ca ac e ís icas (pode assumi di e en es inalidades e e as on es de dados com baixa
es u u ação) azem com que as soluções de DW baseadas em dados abe os enham que se ale
de no as abo dagens pa a a c iação dos eposi ó ios, em especial no que se e e e às a e as de
in eg ação dos dados (ETL).
27
No p esen e abalho, p e endemos desen ol e pa e da abo dagem p opos a po Be o e al.
(2015), em que o p ocesso de desen ol imen o do eposi ó io é guiado de o ma au omá ica,
“semp e que possí el” pela es u u a encon ada nas on es dos dados.
Essa abo dagem, desc i a pelos au o es como “Con en -d i en”, apa en a aze an agens pa a o
desen ol imen o de soluções de eposi ó io de dados abe os, já que se baseia nas es u u as
exis en es nos a qui os unidimensionais (CSV, TXT, XLS, e c.) e não nos sis emas ansacionais –
indisponí eis pa a a maio ia dos usuá ios, no caso dos dados abe os.
A pa i da análise das es u u as exis en es nos a qui os unidimensionais, espe a-se iden i ica
pad ões que auxiliem no p ocesso de desen ol imen o do modelo mul idimensional.
4.2. LEVANTAMENTO DOS REQUISITOS
A ualmen e, o Ins i u o B asilei o de Análise Sociais e Econômicas - IBASE possui uma solução pa a
a cole a e isualização de in o mações den o de um sis ema denominado Indicado es da Cidadania
(Incid). O Incid
40
oi desen ol ido em 2011 com a inalidade de analisa a e e i idade da cidadania
obse ada no e i ó io pa a moni o amen o do es ado da cidadania em 14 municípios da chamada
Á ea de In luência do Complexo Pe oquímico do Es ado do Rio de Janei o (Compe j).
As e amen as a ualmen e em uncionamen o são:
O Sis ema de Indicado es de Cidadania - É compos o po indicado es de ca á e quan i a i o que
buscam in e p e a as in o mações sob a pe spe i a de Cidadania E e i a, is o é, “o di ei o de odos
e odas a e em di ei os iguais, undada no econhecimen o em nós e nos ou os da i ula idade de
di ei os e de esponsabilidades comuns po eles”.
Figu a 4 - Si e do Incid. De alhamen o das “dimensões da cidadania”.
40
h p://incid.o g.b /
28
Mapas da Cidadania – Enquan o o Sis ema de Indicado es de Cidadania ep esen a a pa e
concei ual do p oje o, os Mapas da Cidadania ep esen am a o ma de isualização e consumo das
in o mações a mazenadas no sis ema. A ideia po az dos Mapas da Cidadania é possibili a um
acesso ácil às in o mações sob a o ma de mapas emá icos (ca og amas) de lei u a ápida e
in ui i a.
Figu a 5 - Exemplo de ca og ama dos Mapas da Cidadania.
Além de ap esen a as in o mações na o ma de mapas, a e amen a ambém possibili a a ge ação
de g á icos e abelas expo á eis.
Figu a 6 - Exemplo de abela ge ada pela e amen a Mapas da Cidadania.
Na medida em que p ecisa se uma e amen a de ácil u ilização pa a a ingi a um público não
especialis a, compos o po lide anças sociais, a i is as de di ei os humanos ou causas ambien as e
a é mesmo o cidadão comum sem nenhum ínculo ins i ucional, a e amen a desen ol ida não
inco po ou uncionalidades ípicas das aplicações de BI/OLAP, ais como D ill Up, D ill Down ou D ill
& Dice, po exemplo, limi ando-se a uma simples espacialização das in o mações.
35
ápido e acili ado às di e en es es u u as de mapeamen o, de o ma a o imiza ao máximo essas
e apas.
Em elação ao p ocessamen o, não oi possí el u iliza uma e amen a de BI/ETL come cial, al
como o paco e SQL Se e In eg a ion Se ices (SSIS) – da Mic oso . No luga desse, op ou-se po
desen ol e uma solução de ETL baseada na linguagem de p og amação Py hon. Po se uma
linguagem e sá il de ácil ap endizado e u ilização, Py hon, supo a múl iplos pa adigmas de
p og amação, o que o na ideal pa a di e en es pe is de desen ol edo es. Além disso, a linguagem
supo a es u u as de dados complexas o que a o na adequada pa a esse ipo de desen ol imen o.
Fo am ambém u ilizadas biblio ecas ex e nas à biblio eca pad ão da linguagem, ais como:
Pandas: É uma biblio eca licenciada com código abe o que o e ece es u u as de dados de
al o desempenho e ácil u ilização
45
.
Pymysql: É uma biblio eca que es abelece a conexão en e o Py hon e os banco MySQL.
Ela oi u ilizada pa a aze a lei u a dos eposi ó ios de me adados e indicado es
46
Sqlalchemy: Também é uma biblio eca que es abelece a conexão en e o Py hon e
di e en es bancos de dados. Ela oi u ilizada pa a aze a ca ga dos dados nas abelas s ages
e a os po ap esen a um melho desempenho quando combinada a biblio eca Pandas
47
Pa a e ei os de compa ação de desempenho da solução baseada em Py hon e Pandas com a
disponí el no paco e SSIS, oi ealizado um es e simples de ca ga, ocasião em que a mesma
ins ução de ca ga oi execu ada em ambas as soluções. A massa de dados oi de 4.734.613
egis os, e e en es a um único a qui o do Censo Escola de 2016. Enquan o o sc ip
Py hon/Pandas execu ou a ca ga em 11 minu os e 20 segundos, o SSIS ealizou a ca ga em mais de
15 minu os. Mesmo pa ecendo mui o pa a uma quan idade ão pequena de dados, de e-se
essal a que, pa a os u ilizado es, mais impo a a anspa ência do p ocessamen o que a sua
apidez, na medida em que os u ilizado es não são especializados em TI.
Po úl imo, de e-se essal a que a pa e de consumo das in o mações inco po adas ao modelo
dimensional se á ealizada po meio da e amen a Mapas da Cidadania, já exis en e na ins i uição
e po esse mo i o não se á a ado nesse p oje o.
4.4.1. Mapeamen o das bases de Dados
Como oi di o na seção 4.3, há uma g ande a iabilidade das es u u as dos dados que o na o
p ocesso de mapeamen o das bases de dados undamen al pa a o desen ol imen o da aplicação.
Sem es e, as e apas seguin es da solução não êm como se ealizadas.
O p oblema que se coloca nessa e apa de mapeamen o é como a a de o ma e icien e uma
a iedade ão g ande de o mas de o ganização dos me adados. A ausência de um pad ão, al como
45
h ps://pandas.pyda a.o g
46
h ps://pypi.py hon.o g/pypi/PyMySQL
47
h ps://www.sqlalchemy.o g

36
p opos o pelo Da a Documen a ion Ini ia i e (DDI)
48
, az com que o u ilizado enha que ealiza
essa cadas agem, pelo menos em pa e, de o ma manual.
Inspi ado nos campos exis en es no ca álogo p oduzido pelo In e -uni e si y Conso ium o
Poli ical and Social Resea ch (ICPSR)
49
, u ilizado na me odologia do DDI, oi desen ol ida uma
in e ace g á ica que possibili a aos u ilizado es a cadas agem inicial das pesquisas/bases de
dados.
Figu a 7 – Fo mulá io de iden i icação da Base/Pesquisa
A unção desse o mulá io inicial é iden i ica as in o mações básicas de uma pesquisa/base de
dados, ais como o esponsá el pela sua p odução ou di ulgação, o seu nome, si io onde pode se
encon ado, emá ica p incipal, ipo de ecolha u ilizada e, mais impo an e, a g anula idade
mínima dos ní eis geog á ico e empo al.
Após essa cadas agem inicial, os u ilizado es passam a cadas agem das en idades in es igadas.
Esse em po obje i o egis a in o mações que se ão u ilizadas no momen o da c iação e
p ocessamen o dos indicado es p op iamen e di os.
Além de egis a o nome da base de dados, são egis ados o ipo de a qui o, a exis ência ou não
de cabeçalho e o ipo de sepa ado (se hou e ). A p óxima seção do cadas amen o egis a o nome
48
h p://www.ddialliance.o g/
49
h ps://www.icps .umich.edu/icps web/
37
e o caminho ísico onde o a qui o (s) se encon a. Todas essas in o mações se ão u ilizadas pa a a
lei u a dos dados no momen o da ca ga das abelas s age.
Figu a 8 – Fo mulá ios pa a o cadas amen o das ca ac e ís icas dos a qui os.
Assim que os a qui os enham sido cadas ados, o u ilizado de e aze p ocede a cadas agem
das a iá eis exis en es neles. Nessa e apa, endo em is a o g ande núme o de a iá eis que cada
pesquisa pode e (mais de 400 a iá eis no caso do Censo Escola , po exemplo), op ou-se po
desen ol e um sc ip em Py hon pa a ende auxilia o p ocesso de ca ga dessas in o mações no
banco de me adados.
38
Na Figu a 9 emos uma desc ição do luxo de p ocessamen o do algo i mo. Desen ol ido em o ma
de unção, o algo i mo de e se ecebe os seguin es pa âme os: nome da pesquisa e ano da
pesquisa e caminho do a qui o de me adados. Em elação ao a qui o de me adados, pa a acili a
a impo ação das in o mações, oi pensado um modelo no qual as in o mações de em se
ap esen adas. Esse modelo ap esen a o seguin e pad ão:
Pa a bases em o ma o CSV:
Nome da Va iá el – iden i ica o nome da a iá el na base (Não acei a espaços).
Flag – iden i ica a unção especial desempenhada pela a iá el no banco. Os códigos
possí eis são:
Código
Função
Desc ição
PK
Cha e de Con agem
É a cha e que iden i ica de o ma uní oca um egis o
FK
Cha e Es angei a
É a cha e Es angei a, que pe mi e a ligação en e abelas
GK
Cha e Geog á ica
É o iden i icado geog á ico de meno g ão
TK
Cha e Tempo al
É o iden i icado empo al de meno g ão
DI
Dimensão Idade
É a a iá el que se á u ilizada pa a a compa ibilização da
dimensão idade
DC
Dimensão Raça-Co
É a a iá el que se á u ilizada pa a a compa ibilização da
dimensão é nico-Racial
DS
Dimensão Gêne o
É a a iá el que se á u ilizada pa a a compa ibilização da
dimensão Gêne o/Sexo
W
Peso
É a a iá el que de ine a ponde ação do egis o (somen e
em casos de amos as)
M
Valo Mone á io
É um alo mone á io
Quad o 6 – Va iá eis especiais
Desc ição – é a desc ição da a iá el
Tipo – iden i ica se a a iá el de ipo “s ing” ou “numé ica”
Tamanho – é o núme o de ca ac e es que a a iá el ocupa no a qui o
Ca ego ias – é o de alhamen o do con eúdo da a iá el (li o de códigos)
Pa a as bases em o ma o TXT, os campos são os mesmos, ac escidos da in o mação da posição
inicial e o amanho da a iá el no a qui o. Essa in o mação é undamen al pa a aze a lei u a dos
dados no caso dos a qui os posicionais.
Nos casos onde os me adados são disponibilizados em o ma os abula es (CSV ou XLS), essa
ans o mação oco e de manei a ela i amen e ácil, bas ando aos u ilizado es a pad onização dos
nomes e a exclusão de qualque ou a coluna que não necessi e se p ocessada.
39
Pa a as bases de dados, em que os me adados são o necidos em ou os o ma os, se á necessá ia
uma maio in e enção dos u ilizado es pa a adequa as in o mações ao modelo p ees abelecido.
Não es á desca ada a hipó ese de se desen ol e , no u u o, ex a o es pa a o imiza essa e apa
do abalho.
Na Figu a 9 abaixo, há um de alhamen o do luxo u ilizado pa a a impo ação das a iá eis e do
li o de códigos.
Recebe Pa âme os
Lê a qui o
CSV
Lê a qui o TXT
Ca ga no Banco de
Me adados
P ocessa
Va iá eis
P ocessa Li o
de Códigos
Tes a ipo de
a qui o
Finaliza
P ocessamen o
Figu a 9 – Fluxo de P ocessamen o do Li o de Códigos
O esul ado da impo ação pode se e i icado na ela abaixo
40
Figu a 10 – Lis a de Va iá eis
Po úl imo, o u ilizado de e aze o cadas o das ligações exis en es en e di e en es a qui os
(Cha es P imá ios e Cha es Es angei as), necessá ia pa a a ealização de junções (joins) en e as
bases.
Figu a 11 – Cadas amen o das ligações
Abaixo, um esquema de como icou o modelo de dados do mapeamen o dos me adados.

41
TBL_BASE_PESQUISA
• ID_BASE (PK)
• ID_PESQUISA (FK)
• DS_BASE
• ID_TP_UNIDADE_ANALISE(FK)
TBL_BASE_VARIAVEIS
• FK_BASE (PK) (FK)
• ID_VAR (PK)
• FLG_VAR
• NM_VAR
• TP_VAR
• DS_VAR
• POS_INICIAL
• POS_FINAL
• TAM
TBL_BASE_VAR_VALUES
• ID_VAR (FK)
• COD_VALUES
• DS_VALUE
TBL_PRODUTOR_BASE
• ID_PRODUTOR (FK)
• NM_PRODUTOR
TBL_PESQUISA
• ID_PESQUISA (PK)
• ID_PRODUTOR (FK)
• NM_PESQUISA
• SIGLA_PESQUISA
• DS_PESQUISA
• TP_PESQUISA
• GRAO_TEMPO (FK)
• GRAO_GEO (FK)
TBL_BASE_ARQUIVOS
• ID_ARQUIVO(PK)
• ID_BASE (FK)
• NM_ARQUIVO
• TAM_ARQUIVO
• CAMINHO_ARQUIVO
TBL_BASES_LINK
• ID_LINK (PK)
• ID_BASE_PAI (FK)
• ID_VAR_PAI (FK)
• ID_BASE_FILHO (FK)
• ID_VAR_FILHO (FK)
TBL_BASE_ANO_LAYOUT
• FK_BASE (PK) (FK)
• ID_ANO (PK)
• ID_TP_FILE (FK)
• FLG_HEADER
• SEPARADOR (FK)
Figu a 7 - Modelo de dados esumido, Banco de Me adados.
Apesa de se um p ocedimen o ela i amen e demo ado e po encialmen e ediosos, o
mapeamen o dos me adados só necessi a se ealizado uma ez po edição da base de dados e é
undamen al pa a o p ocessamen o dos indicado es. Após a ealização do mencionado, os
u ilizado es es a ão ap os pa a ealiza a cons ução dos indicado es.
4.4.2. Mapeamen o dos Indicado es
Ainda inspi ado no ca álogo p oduzido pelo ICPSR, oi desen ol ida uma in e ace g á ica pa a
possibili a aos u ilizado es a documen ação e cons ução dos indicado es que de e ão cons i ui
o banco dimensional.
42
A p imei a pa e do mapeamen o é a de inição do indicado que se deseja cons ui . Nessa pa e
de e ão se egis adas as seguin es in o mações:
Nome do Indicado – Iden i ica o indicado
Desc ição – T az a desc ição de alhada do indicado . Além disso, esse campo pode se
u ilizado pa a inclui in o mações sob e a u ilização dos indicado es e sua o ma de lei u a.
Tipo – In o ma o ipo de medida a pa i de que o indicado de e á se cons uído. Nessa
ase do p oje o, são cinco os ipos possí eis: Pe cen ual, Média, Valo Absolu o, Taxa e
Razão (Rácio). No caso das Taxas, o usuá io de e á ainda in o ma qual o a o de lei u a do
indicado (100.000, 10.000, 1000).
Unidade de Análise – Indica qual unidade de análise o indicado se e e e. Pode se “Pessoal
“ (Alunos, p o esso es, pessoas, e c) ou “Não pessoal” (Escolas, municípios, e c).
Figu a 8 - Cadas o inicial dos Indicado es.
Além do ca á e documen al, essas in o mações de e ão se u ilizadas pa a alimen a o modelo
dimensional e de ini pa e do luxo do p ocessamen o.
Fei a a cadas agem a inicial, o u ilizado de e passa a decla ação das ins âncias do indicado . Uma
ins ância é comp eendida como sendo um eco e empo al do indicado . Isso é necessá io endo
em is a as al e ações que os me adados podem ap esen a ao longo do empo. Po meio das
ins âncias é possí el cons ui sé ies empo ais com os indicado es, de o ma a possibili a análise
longi udinais ao longo do empo. É impo an e no a que a ins ância es á elacionada a uma
de e minada edição da base de dados.
Após a decla ação da ins ância que de e á se abalhada, o u ilizado de e passa pa a o
decla ação das ca ac e ís icas do indicado p op iamen e di o.
43
As p imei as in o mações a se em cadas adas são as pa celas que compõem o indicado . Como oi
di o na seção 4.2, po se a a na sua maio ia de mé icas não-adi i as, é indicado que sejam
a mazenadas as pa celas que compõem o indicado e que os cálculos sejam ealizados no momen o
da exibição. Podem se ês os ipos de pa celas: Nume ado e Denominado , pa a os indicado es
de ipo Pe cen ual, Média, Taxa ou Razão (Rácio) ou Pa cela Única pa a os indicado es do ipo
alo es absolu os. Além dessas in o mações, de e á se cadas ado o nome da pesquisa que de e á
se u ilizada pa a o p ocessamen o do indicado em ques ão e o ipo de o alização emp egada.
Figu a 9 - Cadas amen o das pa celas
Após a de inição das pa celas é necessá io que o u ilizado ealize a de inição de seus a ibu os
dessas. Os a ibu os das pa celas são, em úl ima análise, os il os que se desejam a ibui aos dados
dessas pa celas.
Pa a isso, em p imei o luga , é necessá io que sejam de inidas que bases de dados se ão u ilizadas
em cada uma das pa celas. Como a pesquisa/ on e que de e se u ilizada pa a a cons ução do
indicado oi de inida na c iação das pa celas, o sis ema só ap esen a á a bases ela i as a essa
on e. Tendo escolhido a pa cela e a base de dados desejada, o u ilizado de e á começa a
cons ui os il os desejados.
Nessa e apa, se á demandado dos u ilizado es algum conhecimen o de lógica de p og amação,
p incipalmen e no que diz espei o aos ope ado es de compa ação (igual, di e en e, maio que,
maio ou igual que, meno que, meno ou igual que, con ém, não con ém) e lógicos (AND e OR).
44
Figu a 10 - Cadas amen o dos a ibu os das pa celas
Dessa o ma, é possí el c ia exp essões lógicas en ol endo as a iá eis selecionadas pa a cada
pa cela e os espe i os il os, necessá ios pa a a cons ução dos indicado es. Apesa de
ela i amen e complexa, essa e apa possibili a aos u ilizado es a ob enção de pode osa
e amen a, já que pe mi e a ealização de il os a ançados nos dados e a cons ução de di e en es
indicado es ou isões com os mesmos dados.
Nessa e apa são cadas adas as seguin es in o mações:
Pa cela – iden i ica a pa cela que se deseja u iliza ,
Base – iden i ica a base de dados,
Va iá eis – a pa i da base de dados selecionada, são ap esen adas as a iá eis
disponí eis,
Ope ado – são os ope ado es de compa ação,
Valo es – são os alo es da a iá el que se deseja il a . No caso dos ope ado es “Con ém”
(IN) e “Não Con ém” (NOT IN), que supo am alo es múl iplos, esses de em se sepa ados
po í gulas,
Lógica – são os ope ado es lógicos. Esses de em se u ilizados quando se deseja inclui mais
de uma a iá el em uma mesma consul a/ il o.
Tendo cadas ado os a ibu os das pa celas, a e apa seguin e eque a cadas agem das ag egações
desejadas pa a a cons ução dos indicado es. As ag egações são en endidas como dimensões pelas
quais se deseja pode isualiza os indicado es p oduzidos.
51
Limpa S aging
A ea
Ve i ica
Indicado es na lis a de
p ocessamen o
Lê
ca ac e ís icas
do indicado
( lg_p oc = 0)
Finaliza P ocessamen o
( lg_p oc = 1)
Ca ga abela S aging
Lê a qui o de
dados b u os
C ia abelas na
S aging A ea
C ia Indexes na
abela S aging
T a a dimensão
Tempo
T a a dimensão
Geog á ica
T a a demais
dimensões
Ag egação das
abelas S aging
Mo e Indicado es
pa a o modelo
Dimensional
Al e a s a us do
indicado
( lg_p oc = 1)
Finaliza
P ocessamen o
Figu a 18 – Fluxo de p ocessamen o do ETL

52
4.4.4. T a amen o de E os e Logging.
O a amen o e egis os dos e os são e apas undamen ais de qualque p ocessamen o de dados.
Pa a an o a linguagem Pyh on disponibiliza pa a isso uma biblio eca in e na chamada “Logging”,
que possibili a os egis os das a i idades de p ocessamen o de manei a ápida e ácil.
Figu a 19 – Pa e de um a qui o de logging
Além disso, a linguagem ambém disponibiliza uma es u u a que pe mi e o a amen o das
exceções.
y:
d = pd. ead_cs (caminho + ' ' + ile , sep=sepa ado ,
heade =heade _ , encoding='cp1252' , d ype=objec , usecols= a )
d = d .que y( il o.s ip(' '))
logge .in o('Lei u a do a qui o de dados (PANDAS)')
excep :
logge .e o ('E o na lei u a do a qui o de dados (PANDAS)')
Dessa o ma, o u ilizado pode acompanha o p ocessamen o dos dados e e mais acilidade de
in e i , caso algum p oblema oco a du an e o p ocessamen o.
Em uma e apa u u a do p oje o, essas in o mações se ão a mazenadas em banco pa a um melho
con ole do p ocesso de c iação dos indicado es.
4.5. MODELO DIMENSIONAL.
53
A cons ução do modelo dimensional do DW oi baseada no p ocesso de le an amen o de
equisi os (secção 4.2) ealizado com os usuá ios, na a aliação dos sis emas exis en es na
ins i uição e na análise das bases de dados que se deseja u iliza pa a a cons ução dos indicado es.
A pa i desses le an amen os, o am de inidas ês di e i as:
• De ido às múl iplas g anula idades (geog á ica e empo al) obse adas nas bases de dados,
o modelo mais adequado de e ia se uma a ian e do “Snow lake Schema”.
• Ainda ela i o à múl ipla g anula idade, os ac os se iam di ididos em mais de uma abela
(Fac Cons ella ion Schema).
• A desc ição das mé icas (indicado es/pa celas) se ia anspo ada pa a uma dimensão.
Dessa o ma, o DW pode ia se u ilizado pelos sis emas legados exis en es.
Abaixo, desc e e emos mais de alhadamen e cada uma delas.
4.5.1. Snow lake Schema.
Segundo Kimball (Kimball & Case a, 2015), enquan o o esquema em “Es ela” (S a
Schema) é ca ac e izado po e as dimensões não no malizadas, no que ele chamou de
“ la ables”, o esquema em “Floco de Ne e” (Snow lake Schema) se ca ac e iza po man e
algum g au de no malização den o da es u u a das dimensões. Essa écnica é
especialmen e ú il quando se p e ende des aca as es u u as hie á quicas exis en e nessas
dimensões.
Apesa da sua u ilização não se ecomendada po di icul a a comp eensão e manu enção
do modelo, o esquema em loco de ne e possibili a que ac os com di e en es
g anula idades sejam a mazenados em um mesmo modelo dimensional. No p esen e caso
a u ilização do modelo em loco de ne e pe mi e que indicado es p o enien es de
di e en es bases de dados man enham sua g anula idade empo al ou geog á ica mínima,
sem a necessidade de se ag ega udo a uma unidade espaço- empo comum.
Como oi is o na Tabela 3, apesa das bases de dados u ilizadas na p imei a ase do p oje o
ap esen a em g anula idade empo al no âmbi o do ano, é desejá el que o modelo já
es eja p epa ado pa a supo a ou as g anula idades empo ais ( imes es e mês). Da
mesma o ma, a meno g anula idade espacial u ilizada nessa ase se á es i a aos ní eis
municipal e dis i al, mas o modelo já de e á es a p epa ado pa a acei a o ní el es adual
(pela ag egação dos ní eis municipal ou dis i al) ou o ní el de se o censi á io (meno ní el
possí el de desag egação).
Na Figu a 20 ap esen amos o de alhamen o das dimensões empo e geog á ica.
54
DIM_TMP_ANO
• ID_TMP_ANO (PK)
• NM_ANO
• ANO_BISSEXTO
DIM_TMP_MES
• ID_TMP_MES (PK)
• ID_ANO (FK)
• NM_MES
• SIGLA_MES
• ID_TMP_BIMESTRE
• NM_BIMESTRE
• ESTACAO_ANO
DIM_GEO_ESTADO
• ID_GEO_ESTADO (PK)
• NM_ESTADO
• SIGLA_ESTADO
• NM_REGIAO
• SIGLA_REGIAO
DIM_TMP_TRIMESTRE
• ID_TMP_TRIMESTRE (PK)
• ID_TMP_MES (FK)
• NM_TRIMESTRE
• ID_TMP_SEMESTRE
• NM_SEMESTRE
DIM_GEO_MUNICIPIO
• ID_GEO_MUNIC (PK)
• NM_MUNICIPIO
• ID_GEO_ESTADO (FK)
• ID_MESORREGIAO
• NM_MESORREGIAO
• ID_MICRORREGIAO
• NM_MICRORREGIAO
• ID_RM_RIDE
• NM_RM_RIDE
DIM_GEO_SETOR
• ID_GEO_SETOR (PK)
• ID_GEO_DISTRITO (FK)
• ID_SUBDISTRITO
• NM_SUBDISTRITO
• ID_BAIRRO
• NM_BAIRRO
- De alhe +
- De alhe +
G ão
Meno
G ão
Maio
G ão
Maio
G ão
Meno
DIM_GEO_DISTRITO
• ID__GEO_DISTRITO (PK)
• NM_DISTRITO
• ID_GEO_MUNIC (FK)
Figu a 20 – G anula idade das dimensões empo e geog á ica
4.5.2. Fac Cons ella ion Schema.
Como oi di o acima, as bases de dados u ilizadas ap esen am di e en es g anula idades empo ais
e/ou espaciais e é de in e esse da ins i uição man e essas in o mações desag egadas, semp e que
possí el. Se o esquema em loco de ne e esol e essa ques ão em elação às dimensões, em pouco
colabo a pa a e i a que di e en es g anula idades sejam a mazenadas em uma mesma abela
ac os, con o me é ecomendado pela li e a u a (G oup Kimball, 2013).
Pa a e i a que isso oco a, emos que dispo de múl iplas abelas de ac os em um mesmo modelo
dimensional. Denominado como Cons elação de Fac os (Fac Cons ella ion), es a a qui e u a
pe mi e que di e en es abelas de ac o sejam explici amen e a ibuídas às dimensões que lhe são
ele an es. Dessa o ma, alguns ac os es a ão associados a um de e minado ní el de dimensão
enquan o ou os ac os são a ibuídos com um ní el de dimensão mais de alhado. Apesa de se
uma solução lexí el, ela ap esen a o incon enien e de se mais di ícil de ge encia e man e .
55
DIM_TMP_ANO
• ID_TMP_ANO (PK)
DIM_TMP_MES
• ID_TMP_MES (PK)
• ID_TMP_TRIMESTRE (FK)
DIM_TMP_TRIMESTRE
• ID_TMP_TRIMESTRE (PK)
• ID_TMP_ANO (FK)
DIM_GEO_ESTADO
• ID_GEO_ESTADO (PK)
DIM_GEO_MUNICIPIO
• ID_GEO_MUNIC (PK)
• ID_GEO_ESTADO (FK)
DIM_GEO_SETOR
• ID_GEO_SETOR (PK)
• ID_GEO_DISTRITO (FK)
DIM_GEO_DISTRITO
• ID__GEO_DISTRITO (PK)
• ID_GEO_MUNIC (FK)
DIM_PARCELA
• ID_PARCELA
• NM_PARCELA
FATO_PESSOA_ANO
• FK_TMP_ANO
• FK_GEO_MUNIC
• FK_PARCELA
• FK_FAIXA_IDADE
• FK_GENERO
• FK_RACA_COR
• FATO_VALOR
DIM_FAIXA_IDADE
• SK_IDADE
• NM_IDADE
• ID_FAIXA3
• NM_FAIXA3
• ID_FAIXA5
• NM_FAIXA5
• ID_FAIXA_PEA
• NM_FAIXA_PEA
DIM_GENERO
• SK_GENERO
• NM_GENERO
DIM_RACA_COR
• SK_RACA
• NM_RACA
• ID_RACA_AGGRE1
• NM_RACA_AGGRE1
• ID_RACA_AGGRE2
• NM_RACA_AGGRE2
FATO_PESSOA_MES
• FK_TMP_MES
• FK_GEO_MUNIC
• FK_PARCELA
• K_FAIXA_IDADE
• FK_GENERO
• FK_RACA_COR
• FATO_VALOR
Figu a 21 – Cons elação de ac os.
Como se pode e na Figu a 21, é possí el cons ui um esquema de cons elação de ac os di idindo
o esquema o iginal em esquemas com mais abelas, em que cada uma delas desc e e ac os em
ou o ní el de hie a quias de dimensão empo e geog á ica.
4.5.3. T ansposição das Mé icas pa a o ní el dimensional.
Con o me oi cons a ado du an e o le an amen o de equisi os, o IBASE já dispõe de um sis ema
de ecupe ação de in o mações es a ís icas denominado “Mapas da Cidadania”. Pa a que a
p esen e solução osse compa í el com es e, oi necessá io que a desc ição dos indicado es osse
associada a uma dimensão de modo explíci o. Assim, ao in és de um no o indicado ep esen a
uma no a coluna na abela ac os, essa passa a se um conjun o de egis os, e e enciados po
uma dimensão especí ica.
Dessa o ma, é possí el a ibui aos indicado es a axonomia u ilizada den o da ins i uição de
manei a ácil e ápida.
56
id_acao nm_acao id_classe nm_classe
1 Cidadania A i a 11 Cidadania Vi ida
1 Cidadania A i a 12 Cidadania Ga an ida
1 Cidadania A i a 13 Cidadania Pe cebida
1 Cidadania A i a 14 Cidadania e Ação
2 Conjun o de Di ei os 21 Di ei os Cole i os
2 Conjun o de Di ei os 22 Di e os Sociais e Econômicos e Cul u ais
2 Conjun o de Di ei os 23 Di ei os Ci is e Polí icos
DIM_ACAO
id_classe id_a ea nm_a ea
21 2011 Di ei o à Cidade
21 2012 Di ei os Ambien ais
22 2021 Di ei o à Saúde
22 2024 Di ei o à Renda
22 2022 Di ei o à Educação
22 2023 Di ei o ao T abalho
23 2032 Di ei o à Igualdade e Di e sidade
23 2031 Di ei os à Pa icipação
DIM_AREA
id_classe id_indicado nm_indicado
22 20 Ga an ia de quali icação dos docen es
DIM_INDICADOR
Tabela 7 - Taxonomia dos Indicado es.
DIM_INDICADOR
• ID_INDICADOR
• NM_INDICADOR
• ID_AREA
• DS_FORMULA
• DS_FATOR
• ...
FATO_PESSOA_ANO
• FK_PARCELA
• FK_TMP_ANO
• FK_GEO_MUNIC
• FK_FAIXA_IDADE
• FK_GENERO
• FK_RACA_COR
• FATO_VALOR
DIM_AREA
• ID_CLASSE
• ID_AREA
• NM_AREA
DIM_ACAO
• ID_ACAO
• NM_ACAO
• ID_CLASSE
• NM_CLASSE
DIM_PARCELA
• ID_PARCELA
• FK_INDICADOR
• DS_PARCELA
• TP_PARCELA
• TP_UNIDADE
Figu a 22 – Taxinomia aplicada ao modelo de dados.

57
4.5.4. De alhamen o das dimensões do p oje o.
Nessa p imei a ase do p oje o, abalha emos com um conjun o es i o de dimensões. Apesa do
seu pequeno núme o, as dimensões escolhidas ap esen am al o pode explica i o das
desigualdades p esen es na sociedade b asilei a.
4.5.4.1. Dimensão Gêne o
A dimensão gêne o con ém as desc ições das classi icações de gêne o (sexo) das
pessoas.
Campos:
ID_SEXO – cha e candida a da abela,
NM_SEXO – desc ição do gêne o/sexo,
SLG_SEXO – ab e ia u a do gêne o/sexo.
id_sexo
nm_sexo
slg_sexo
1
Masculino
M
2
Feminino
F
99
Igno ado
I
999
Não se aplica
S
Tabela 8 – Dimensão Gêne o.
O código 99 ep esen a a si uação em que o gêne o/sexo não é conhecido. Já o
código 999 ep esen a a ausência dessa in o mação pa a o indicado . Esses códigos
são álidos pa a odas as dimensões.
4.5.4.2. Dimensão Idade
A dimensão idade con ém as desc ições das classi icações e á ias, em suas di e en es
ag egações, pe mi indo analisa di e en es eco es e á ios ao longo da ida do
indi íduo.
Campos:
ID_IDADE – cha e candida a da abela,
FAIXA_01 – aixa e á ia de maio desag egação. Pe mi e de alha as di e en es
e apas da ida, segundo coo es e á ias.
58
FAIXA_02 – aixa e á ia de desag egação média (4 em 4 anos).
FAIXA_03 – aixa e á ia de desag egação baixa (9 em 9 anos).
FAIXA_CICLO – Faixa ag egada segundo ciclos e á ios (C ianças, adolescen es,
jo ens, adul os e idosos).
FAIXA_PIA – Faixa ag egada segundo população em idade a i a
id_idade
aixa_01
aixa_02
aixa_03
aixa_ciclo
aixa_pia
0
Ze o anos
0 a 3 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
1
1 a 3 anos
0 a 3 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
2
4 a 5 anos
4 a 5 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
3
6 anos
6 a 9 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
4
7 anos
6 a 9 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
5
8 a 9 anos
6 a 9 anos
0 a 9 anos
C ianças
Não Economicamen e A i a
6
10 anos
10 a 14 anos
10 a 19 anos
Fase inicial da adolescência
Não Economicamen e A i a
7
11 a 13 anos
10 a 14 anos
10 a 19 anos
Fase inicial da adolescência
Não Economicamen e A i a
8
14 anos
10 a 14 anos
10 a 19 anos
Fase inicial da adolescência
Não Economicamen e A i a
9
15 a 17 anos
15 a 17 anos
10 a 19 anos
Fase inal da adolescência
Economicamen e A i a
10
18 anos
18 a 24 anos
10 a 19 anos
Fase inal da adolescência
Economicamen e A i a
11
...
...
...
...
...
Tabela 9 – Dimensão Idade
4.5.4.3. Dimensão É nico- acial
A dimensão gêne o con ém as desc ições das classi icações de é nico- aciais e suas
ag egações.
Campos:
ID_COR – cha e candida a da abela,
RACA_COR_01 – classi icação é nico- acial de maio desag egação. É condizen e
com a classi icação de cinco ca ego ias u ilizada pelo ins i u o de es a ís ica
b asilei o (IBGE),
RACA_COR_02 – classi icação é nico- acial de média desag egação (4 ca ego ias),
RACA_COR_03 – classi icação é nico- acial de baixa desag egação (3 ca ego ias),
RACA_COR_04 – classi icação é nico- acial dico ômica (2 ca ego ias).
59
id_co
aca_co _01
aca_co _02
aca_co _03
aca_co _04
1
B anca
B anca
B anca
B anca
2
P e a
Neg a
Neg a
Não-B anca
3
Pa da
Neg a
Neg a
Não-B anca
4
Ama ela
Ama ela
Ou as
Não-B anca
5
Indígena
Indígena
Ou as
Não-B anca
99
Igno ado
Igno ado
Igno ado
Igno ado
999
Não se aplica
Não se aplica
Não se aplica
Não se aplica
Tabela 10 – Dimensão é nico- acial
4.5.4.4. Dimensão Indicado
A dimensão indicado con ém as desc ições dos indicado es e suas ca ac e ís icas
(Figu a 22). Di e en emen e das demais dimensões, ela é uma dimensão no malizada
e não em a unção de ag egação, se indo somen e pa a iden i icação e desc ição dos
indicado es.
DIM_PARCELA
Campos:
ID_PARCELA – cha e candida a da abela
DS_PARCELA – desc ição da pa cela
TP_PARCELA – desc ição do ipo de pa cela (nume ado , denominado ou única)
TP_UNIDADE – de ine o ipo de unidade de análise
DIM_INDICADOR
Campos:
ID_INDICADOR – cha e candida a da abela,
NM_INDICADOR – nome do indicado ,
DS_INDICADOR – desc ição do indicado ,
TP_INDICADOR – ipo de indicado ,
ID_AREA – cha e da axonomia,
DS_FORMULA – desc e e a ó mula de cons ução do indicado ,
60
DS_FATOR – desc e e o a o de mul iplicação u ilizado na ó mula de c iação do
indicado ,
FLG_ATIVO – a iá el indica i a pa a a exibição do indicado .
Como oi di o na secção 4.5.1, a es u u a dos indicado es é compos a po mais duas
abelas den o do “ loco de ne e”. “Dimensão Á ea” e a “Dimensão Ação”
ep esen am a axonomia u ilizada na ins i uição e possibili am a ecupe ação da
in o mação segundo essa classi icação (Tabela 7).
4.5.4.5. Dimensões Geog á icas
A dimensão geog á ica con ém as desc ições da di isão e i o ial b asilei a de o ma
eduzida pa a a ende as necessidades do p esen e p oje o. Como já di o na secção
4.5.1, ela é uma dimensão no malizada em suas hie a quias (Figu a 20).
Ela é compos a pelas seguin es abelas:
DIM_GEO_ESTADO
Colunas:
ID_GEO_ESTADO – cha e candida a da abela,
COD_ESTADO – código IBGE pa a os es ados,
NM_ESTADO – nome do es ado,
SLG_ESTADO – sigla do es ado,
COD_REGIAO – código IBGE pa a a mac o egião,
NM_REGIAO – nome da mac o egião,
SLG_REGIAO – sigla da mac o egião.
DIM_GEO_MUNICIPIO
Colunas:
ID_GEO_MUNIC – cha e candida a da abela,
FK_GEO_ESTADO – cha e es angei a da abela es ado,
COD_MUNIC – código IBGE pa a os municípios,
NM_MUNIC – nome dos municípios
COD_MESO – código IBGE pa a as meso egiões geog á icas,
67
6.1. OBJETIVOS REALIZADOS
O obje i o inicialmen e p opos o pa a o p esen e abalho oi a cons ução de um eposi ó io
de dados públicos. A necessidade de u iliza e amen as não come ciais, que eduzissem os
cus os de implemen ação da solução, mos ou-se um desa io du an e o p ocesso de
desen ol imen o. Felizmen e, a escolha da linguagem Py hon oi co e a e possibili ou alcança
os obje i os desejados.
Du an e o p ocesso de desen ol imen o, o am cump idas as seguin es e apas:
• Iden i icação dos equisi os dos u ilizado es,
• Iden i icação das soluções exis en es,
• Planejamen o e execução da p esen e solução,
Mesmo se a ando da con inuação de um p oje o já exis en e, de emos pensa a solução
ap esen ada como um passo dado na di eção de da au onomia ao IBASE no p ocesso de
p odução e di ulgação dos indicado es.
6.2. LIMITAÇÕES
Como já oi di o no deco e do p esen e abalho, a solução ap esen ada não desca a a
necessidade de u ilizado es capaci ados e especialis as du an e o p ocesso de p odução dos
indicado es. Es es são e se ão semp e necessá ios no p ocesso de cons ução e na análise
dessas mé icas.
Ademais, de ido à complexidade dos modelos de dados desen ol idos, o p ocesso de
manu enção da solução de e se planejado com a enção pa a se e i a a in e upção do
uncionamen o.
Além disso, não oi possí el no p esen e p oje o aze a in eg ação dos sc ip s Py hon com as
soluções PHP em um mesmo ambien e de p odução.
6.3. FUTUROS TRABALHOS
Espe a-se, em b e e, se possí el aze a in eg ação dos sc ip s Py hon com as soluções PHP em
um mesmo ambien e de p odução. Além de possibili a uma melho manu enção, al
in eg ação possibili a ia o desen ol imen o de no as uncionalidades que o na iam a
expe iencia de u ilização mais anspa en e.
Além disso, p e endemos cons ui uma no a solução de isualização e consumo das
in o mações a mazenadas que possibili e a u ilização de écnicas de BI e OLAP.
Po úl imo, já es amos a desen ol e a desen ol e de um eposi ó io de dados municipais,
c iado po meio da p esen e solução, que possibili e a ealização de análises mais a ançadas e
mine ação de dados.

68
7. REFERÊNCIAS BIBLIOGRÁFICAS
Alexopoulos, C., Zuide wijk, A., Cha apabidis, Y., Loukis, E., & Janssen, M. (2014). Designing a
Second Gene a ion o Open Da a Pla o ms: In eg a ing Open Da a and Social Media. In M.
Janssen, H. J. Scholl, M. A. Wimme , & F. Bannis e (Eds.), Elec onic Go e nmen : 13 h IFIP
WG 8.5 In e na ional Con e ence, EGOV 2014, Dublin, I eland, Sep embe 1-3, 2014.
P oceedings (pp. 230–241). Be lin, Heidelbe g: Sp inge Be lin Heidelbe g.
h ps://doi.o g/10.1007/978-3-662-44426-9_19
A a d, J., O landi, F., Sce i, S., & Aue , S. (2015). A sys ema ic e iew o open go e nmen da a
ini ia i es. Go e nmen In o ma ion Qua e ly, 32(4), 399–418.
h ps://doi.o g/10.1016/j.giq.2015.07.006
B, R. B., Hanbu y, A., Pi oi, F., Haas, M., Be ge , H., Lupu, M., & Di enbach, M. (2015). Da a
Managemen Technologies and Applica ions, 178(No embe ), 45–61.
h ps://doi.o g/10.1007/978-3-319-25936-9
Be nd , D. J., He ne , A. R., & S udnicki, J. (2003). The Ca ch da a wa ehouse: Suppo o
communi y heal h ca e decision-making. Decision Suppo Sys ems, 35(3), 367–384.
h ps://doi.o g/10.1016/S0167-9236(02)0114-8
Be o, A., Megdiche, I., & Tes e, O. (2015). A Con en -D i en ETL P ocesses o Open Da a.
Ad ances in In elligen Sys ems and Compu ing, 312(Ap il), 29–40.
h ps://doi.o g/10.1007/978-3-319-10518-5_3
Be o , J. C., Jaege , P. T., & G imes, J. M. (2010). Using ICTs o c ea e a cul u e o anspa ency: E-
go e nmen and social media as openness and an i-co up ion ools o socie ies.
Go e nmen In o ma ion Qua e ly, 27(3), 264–271.
h ps://doi.o g/10.1016/j.giq.2010.03.001
Bonamino, A., & F anco, C. (2013). A aliação e polí ica educacional: o p ocesso de
ins i ucionalização do SAEB. Cade nos de Pesquisa, (108), 101–132.
BRASIL. (2004). SINAES - BASE PARA UMA NOVA PROPOSTA DE AVALIAÇÃO DA EDUCAÇÃO
SUPERIOR. SINAES. B asília.
Capis ano, D., Ci o o, A. C., Nascimen o, C. D., & Sil a, J. (2016). P odução de Es a ís icas
Educacionais em Pe spec i a Compa ada. Es a ís ica E Sociedade, (4).
Cas o, M. H. G. de. (2000). Sis emas nacionais de a aliação e de in o mações educacionais. São
Paulo Em Pe spec i a, 14(1), 121–128. h ps://doi.o g/10.1590/S0102-88392000000100014
Cin ão, L. P., & Bizelli, J. L. (2013). Sis ema de Moni o amen o e A aliação de P og amas Sociais:
e isi ando mi os e ecolocando p emissas pa a sua maio e e i idade na ges ão. Re is a
B asilei a de Moni o amen o E A aliação, 5, 48–59. Re ie ed om
h p://aplicacoes.mds.go .b /sagi mps/ e amen as/docs/RBMAs/RBMA_5.pd
Cole a, R., Cas anie , E., Valdu iez, P., F isch, C., Ngo, D., & Bellahsene, Z. (2012). Public da a
in eg a ion wi h WebSma ch. P oceedings o he Fi s In e na ional Wo kshop on Open Da a
- WOD ’12, (c), 5. h ps://doi.o g/10.1145/2422604.2422606
Dawes, S., Vidiaso a, L., & Pa khimo ich, O. (2016). Planning and designing open go e nmen da a
p og ams: An ecosys em app oach. Go e nmen In o ma ion …, 33, 15–27. Re ie ed om
h p://www.sciencedi ec .com/science/a icle/pii/S0740624X1630003X
69
Diniz, E. H., Ba bosa, A. F., Junquei a, A. R. B., & P ado, O. (2009). O go e no ele ônico no B asil:
pe spec i a his ó ica a pa i de um modelo es u u ado de análise. Re is a de
Adminis ação Pública, 43(1), 23–48. h ps://doi.o g/10.1590/S0034-76122009000100003
Dos San os B i o, K., Cos a, M. A. S., Ga cia, V. C., & De Lemos Mei a, S. R. (2014). Expe iences
in eg a ing he e ogeneous Go e nmen open da a sou ces o deli e se ices and p omo e
anspa ency in B azil. P oceedings - In e na ional Compu e So wa e and Applica ions
Con e ence, (475743), 606–607. h ps://doi.o g/10.1109/COMPSAC.2014.87
dos San os B i o, K., da Sil a Cos a, M. A., Ga cia, V. C., & de Lemos Mei a, S. R. (2014). B azilian
go e nmen open da a. In P oceedings o he 15 h Annual In e na ional Con e ence on
Digi al Go e nmen Resea ch - dg.o ’14 (pp. 11–16). New Yo k, New Yo k, USA: ACM P ess.
h ps://doi.o g/10.1145/2612733.2612770
F ei as, R. K. V. de, & Daco so, A. L. R. (2014). Ino ação abe a na ges ão pública: análise do plano
de ação b asilei o pa a a Open Go e nmen Pa ne ship. Re is a de Adminis ação Pública,
48(4), 869–888. h ps://doi.o g/10.1590/0034-76121545
Gil, N. de L. (2009). A p odução dos núme os escola es (1871-1931): con ibuições pa a uma
abo dagem c í ica das on es es a ís icas em His ó ia da Educação. Re is a B asilei a de
His ó ia, 29(58), 341–358.
Gol a elli, M., & Rizzi, S. (1999). Designing he Da a Wa ehouse: Key S eps and C ucial Issues.
Jou nal o Compu e Science and In o ma ion Managemen , 2(3), 1–14.
h ps://doi.o g/10111241900
Gonzalez-Zapa a, F., & Heeks, R. (2014). The mul iple meanings o open go e nmen da a:
Unde s anding di e en s akeholde s and hei pe spec i es. Go e nmen In o ma ion
Qua e ly, 32(4), 441–452. h ps://doi.o g/10.1016/j.giq.2015.09.001
G acioso, L. D. S. (2003). Disseminação de in o mações es a ís icas no B asil: p á icas e polí icas
das agências es aduais de es a ís ica. Ciência Da In o mação, 32(2), 69–76.
h ps://doi.o g/10.1590/S0100-19652003000200008
G acioso, L. de S. G. (2004). P odução e disseminação da in o mação es a ís ica b asilei a: uma
análise quali a i a. Pe spec i as Em Ciência Da In o mação, 9(1), 34–47.
G oup Kimball. (2013). Kimball Dimensional Modeling Techniques, 1–24.
G uman, M. (2012). Lei de Acesso à In o mação: no as e um b e e exemplo. Re is a Deba es, 6(3),
97. h ps://doi.o g/1982-5269
Guima ães, C. B. dos S. (2014). Pa ce ia pa a Go e no Abe o e Relações In e nacionais:
opo unidades e desa ios. Re ie ed om h p://hdl.handle.ne /11449/121891
Guo, Y., Guo, Y., Tang, S., Tang, S., Tong, Y., Tong, Y., … Yang, D. (2006). T iple-D i en Da a
Modeling Me hodology in Da a Wa ehousing: A Case S udy. P oc. o he 9 h ACM
In e na ional Wo kshop on Da a Wa ehousing and OLAP, 59–66.
h ps://doi.o g/10.1145/1183512.1183524
Heise, A., & Naumann, F. (2012). In eg a ing open go e nmen da a wi h s a osphe e o mo e
anspa ency. Jou nal o Web Seman ics, 14, 45–56.
h ps://doi.o g/10.1016/j.websem.2012.02.002
Inmon, W. H. (2005). Building he da a wa ehouse. (R. Ellio , Ed.) (3a Edi ion). New Yo k: John
70
Wiley & Sons, Inc.
Jannuzzi, P. D. M. (2001). Indicado es sociais no B asil: concei os, on e de dados e aplicações.
Campinas: Alínea.
Ja dim, J. M. (2004). A cons ução do e-go no B asil : con igu ações polí ico-in o macionais.
Cin o m, 1–25. Re ie ed om
h p://www.cin o m.u ba.b / _anais/a igos/josema iaja dim.h ml
Kimball, R. (1998). The Da a Wa ehouse Li ecycle Toolki : Expe Me hods o Designing,
De eloping, and Deploying Da a Wa ehouses, 771. Re ie ed om
h p://books.google.com/books?hl= &l =&id=abEwJJLewDAC&pgis=1
Kimball, R., & Case a, J. (2015). The Da a Wa ehouse ETL Toolki . The e ec s o b ie mind ulness
in e en ion on acu e pain expe ience: An examina ion o indi idual di e ence (Vol. 1).
h ps://doi.o g/10.1017/CBO9781107415324.004
Kimball, R., & Ross, M. (2013). The Da a Wa ehouse Toolki The De ini i e Guide o Dimensional
Modeling (3 h Edi io). New Yo k: John Wiley & Sons, Inc.
Lace da, L. L. V. de, Fe i, C., & Dua e, B. K. da C. (2016). SINAES: a aliação, accoun abili y e
desempenho. A aliação: Re is a Da A aliação Da Educação Supe io (Campinas), 21(3), 975–
992. h ps://doi.o g/10.1590/S1414-40772016000300015
Lis , B., B uckne , R. M., Machaczek, K., & Schie e , J. (2002). A compa ison o da a wa ehouse
de elopmen me hodologies case s udy o he p ocess wa ehouse. Da abase and Expe
Sys ems Applica ions, 203–215. h ps://doi.o g/10.1007/3-540-46146-9_21
Ma heus, R., & Ribei o, M. M. (2014). Open Da a in he Legisla u e: The Case o São Paulo Ci y
Council. Re ie ed om h p://www.openda a esea ch.o g/con en /2014/665/open-da a-
legisla u e-case-são-paulo-ci y-council
McHugh, B. (2013). Beyond T anspa ency: Open Da a and he Fu u e o Ci ic Innoca ion. Beyond
T anspa ency - Open Da a and Fu u e o Ci ic Inno a ion.
h ps://doi.o g/10.1017/CBO9781107415324.004
Meije , a J., Cu in, D., & Hilleb and , M. (2012). Open go e nmen : connec ing ision and oice.
In e na ional Re iew o Adminis a i e Sciences, 78(1), 10–29.
h ps://doi.o g/10.1177/0020852311429533
Mou a, R., & Ba ion, M. I. (2006). INSTITUCIONALIZAÇÃO DE REGIÕES METROPOLITANAS : qual o
sen ido ?, (i), 129–143.
OGP. (2011). Plano de ação b asilei o – e são em po uguês b azilian ac ion plan – english
e sion. Re ie ed om www.opengo pa ne ship.o g/coun ies/b azil
Oli ei a, L. A. P. de, & Simões, C. C. da S. (2005). O IBGE e as pesquisas populacionais. Re is a
B asilei a de Es udos Populacionais, 22(2), 291–302. h ps://doi.o g/10.1590/S0102-
30982005000200007
Pai a, E. De, Re o edo, K., & Baião, F. (2016). DW-CGU: In eg ação dos Dados do Po al da
T anspa ência do Go e no Fede al B asilei o. Re is a B asilei a de Sis emas de In o mação,
9(1), 6–32.
Pa e son, A. (2003). The Design and De elopmen o a social Science Da a Wa ehouse: A Case
71
S udy o he Human Resou ces De elopmen Da a Wa ehouse P ojec o he Human
Sciences Resea ch Council, Sou h A ica. Da a Science Jou nal, 2(12–24), 12–24.
h ps://doi.o g/h p://doi.o g/10.2481/dsj.2.12
Pe ei a, A. K., Pi es, P. S., & Pin o, A. (2014). Pesquisas de A aliação e Con idencialidade da
In o mação: Limi es e Con li os. Re is a B asilei a de Moni o amen o E A aliação, 7, 82–99.
Pe uccelli, J. L., & Saboia, A. L. (2013). Ca ac e ís icas É nico- aciais da População. Classi icação e
iden idades. Re ie ed om
h p://se icodados.ibge.go .b /Download/Download.ashx?h p=1&u=biblio eca.ibge.go .b
/ isualizacao/li os/li 49891.pd
Polido i, M. M., Ma inho-A aujo, C. M., & Ba ey o, G. B. (2006). Pe spec i as e desa ios na
a aliação da educação supe io b asilei a. Ensaio: A al. Pol. Públ. Educ, 1453, 425–436.
h ps://doi.o g/10.1590/S0104-40362006000400002
Polo, M. G. de O. (2015). Go e no , sociedade ci il e os desa ios na publicação de dados abe os :
o caso da base de dados do P og ama Nacional de Apoio à Cul u a no B asil .
Ponniah, P. (2001). Da a Wa ehousing Fundamen als: A Comp ehensi e Guide o IT P o essionals
(Vol. 6). John Wiley & Sons, Inc.
Pos , D. (2015). Does Wa ching Help ? In Sea ch o he Theo y o Change o Educa ion
Moni o ing. Cu en Issues in Compa a i e Educa ion, 17(1), 72–86. Re ie ed om
h ps://e ic.ed.go /?id=EJ1061022
P onko, M. (2015). O Banco Mundial no campo in e nacional da educação. In J. M. M. Pe ei a &
M. P onko (Eds.), A demolição de di ei os: um exame das polí icas do Banco Mundial pa a a
educação e a saúde (1980-2013) (pp. 89–112). Rio de Janei o: EPSJV. Re ie ed om
h p://www.epsj . ioc uz.b /si es/de aul / iles/l240.pd
Resende, W. D. C., & Nassi , M. E. (2015). Aplicação da lei de acesso à in o mação em po ais de
anspa ência go e namen ais b asilei os. Re is a Ele ônica de Biblio economia E Ciência Da
In o mação, 20(42), 1. h ps://doi.o g/10.5007/1518-2924.2015 20n42p1
Rigo, S. J., Camb uzzi, W., Ba bosa, J. L. V., & Cazella, S. C. (2014). Mine ando Dados Educacionais
com oco na e asão escola : opo unidades, desa ios e necessidades. Re is a B asilei a de
In o má ica Na Educação, 22(1), 132. h ps://doi.o g/10.5753/RBIE.2014.22.01.132
Rigo i, J. I. R. (2004). Va iá eis de educação dos censos demog á icos b asilei os de 1960 a 2000.
In E. L. G. Rios-Ne o & J. L. de R. Riani (Eds.), In odução à demog a ia da educação (pp. 129–
142). Campinas: Associação B asilei a de Es udos Populacionais - ABEP.
RIPSA, R. I. de I. pa a a S. (2008). Indicado es básicos de Saúde no B asil: concei os e aplicações. (R.
As o ino, Ed.) (1a edição). B asília: O ganização Pan-Ame icana da Saúde. Re ie ed om
h p://www. ipsa.o g.b
Sá, J. V. de O., Ca alho, J. Á., & Kaldeich, C. (2012). A mul i-d i en app oach o equi emen s
analysis o da a wa ehouse schema: a case s udy. IADIS 2013, 8. Re ie ed om
h p://hdl.handle.ne /1822/22145
Sa iani, D. (2012). O Inep, o diagnós ico da educação b asilei a e a Rbep. Re is a B asilei a de
Es udos Pedagógicos, 93(234).
Schae e , B. C., Tan ikulu, E., & B ei e , A. (2011). Elici ing use equi emen s when he e is no
72
o ganiza ion: A mixed me hod o an educa ional da a wa ehouse p ojec . P ocedia - Social
and Beha io al Sciences, 28, 743–748. h ps://doi.o g/10.1016/j.sbsp o.2011.11.137
Sen a, N. de C. (2009). Uma B e e his ó ia das es a ís icas b asilei as (1822-2002). Rio de Janei o:
Cen o de Documen ação e In o mações e Disseminação de In o mações - CDDI. Re ie ed
om www.ibge.go .b
Shen, C., Riaz, Z., Palle, M. S., Jin, Q., & Peña-Mo a, F. (2015). Open Da a Landscape: A Global
Pe spec i e and a Focus on China. In M. Janssen, M. Män ymäki, J. Hidde s, B. Klie ink, W.
Lame sdo , B. an Loenen, & A. Zuide wijk (Eds.), Open and Big Da a Managemen and
Inno a ion : 14 h IFIP WG 6.11 Con e ence on e-Business, e-Se ices, and e-Socie y, I3E 2015,
Del , The Ne he lands, Oc obe 13-15, 2015, P oceedings (pp. 247–260). Cham: Sp inge
In e na ional Publishing. h ps://doi.o g/10.1007/978-3-319-25013-7_20
Sil a, A. B. de O. (2003). O sis ema de in o mações es a ís icas no B asil e as elações en e seus
p odu o es e usuá ios. Ciência Da In o mação, 34(2), 62–69. h ps://doi.o g/10.1590/S0100-
19652005000200007
Souza, R. M. de O., & Oli ei a, E. A. M. (2012). O censo escola no con ex o da democ a ização da
educação básica e do pac o ede a i o b asilei o, 1464–1473.
S eibel, F. (2014). Independen Repo ing mechanism - B asil : ela ó io do p og esso B asil 2013-
2014. Washing on, DC. Re ie ed om
h p://www.opengo pa ne ship.o g/si es/de aul / iles/B asil_Rela ó io2013-
14_Final_0.pd
S and, M. (2005). Ex e nal Da a Inco po a ion in o Da a Wa ehouses. Knowledge C ea ion
Di usion U iliza ion. Re ie ed om ile:///C:/Use s/TUL/Documen s/Li e a u /S and -
2005 - Ex e nal Da a Inco po a ion in o Da a Wa ehouses.pd
Susha, I., Zuide wijk, A., Janssen, M., Ke, Å., & Nlund, G. (2015). Benchma ks o e alua ing he
Pp og ess o open Da a adop ion: usage, limi a ions, and lessons lea ned. Social Science
Compu e Re iew, 33(5), 613–630. h ps://doi.o g/10.1177/0894439314560852
Ubaldi, B. (2013). Towa ds Empi ical Analysis o Open Go e nmen Da a Ini ia i es. OECD Wo king
Pape s on Public Go e nance. Pa is. h ps://doi.o g/h p://dx.doi.o g/10.1787/5k46bj4 03s7-
en
Ve ge , A., Lubienski, C., & S eine -Khamsi, G. (2016). The Eme gence and S uc u ing o he
Global Educa ion Indus y: Towa ds an Analy ical F amewo k. In Wo ld Yea book o
Educa ion 2016: The Global Educa ion Indus y (pp. 1–26). h ps://doi.o g/10.1063/1.857816
Viana, G., & Lima, J. F. de. (2010). Capi al humano e c escimen o econômico. In e ações (Campo
G ande), 11(2), 137–148. h ps://doi.o g/10.1590/S1518-70122010000200003
Weins ein, J., & Golds ein, J. (2012). The bene i s o a big en : Opening up go e nmen in
de eloping coun ies a esponse o Yu & Robinson’s he new ambigui y o “Open
Go e nmen .” UCLA Law Re iew Discou se, 60(2012), 38–48. Re ie ed om
h p://www.uclalaw e iew.o g/pd /discou se/60-3.pd
Zuide wijk, A., & Janssen, M. (2014). Open da a policies, hei implemen a ion and impac : A
amewo k o compa ison. Go e nmen In o ma ion Qua e ly, 31(1), 17–29.
h ps://doi.o g/10.1016/j.giq.2013.04.003

73
8. ANEXOS
Documen ação do banco “db_dados_me adados”:
Tabela: “ bl_base_ano_layou ”
Desc ição: a mazena a in o mação sob e o ano que um de e minado layou de base oi u ilizado
em uma de e minada pesquisa. Di e en es edições (anos) de uma pesquisa podem compa ilha
um mesmo layou .
Obje i o: e i a a duplicação de in o mações nas abelas " bl_base_ a ia eis" e
bl_base_ a ia el_ alues".
DDL:
CREATE TABLE ` bl_base_ano_layou ` (
` k_base` INT(11) NOT NULL,
`id_ano` INT(11) NOT NULL,
` k_ p_ ile` INT(11) NULL DEFAULT NULL,
` lg_heade ` SET('Y','N') NULL DEFAULT NULL,
` k_ p_sepa ado ` INT(11) NULL DEFAULT NULL,
PRIMARY KEY (` k_base`, `id_ano`),
INDEX `FK_ bl_base_pesquisa_ bl_ p_ ile` (` k_ p_ ile`),
INDEX `FK_ bl_base_pesquisa_ bl_ p_sepa ado ` (` k_ p_sepa ado `),
CONSTRAINT `FK_ bl_base_ano_layou _ bl_base_pesquisa` FOREIGN KEY
(` k_base`) REFERENCES ` bl_base_pesquisa` (`id_base`) ON UPDATE NO
ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_pesquisa_ bl_ p_ ile` FOREIGN KEY (` k_ p_ ile`)
REFERENCES ` bl_ p_ ile` (`id_ p_ ile`) ON UPDATE NO ACTION ON DELETE NO
ACTION,
CONSTRAINT `FK_ bl_base_pesquisa_ bl_ p_sepa ado ` FOREIGN KEY
(` k_ p_sepa ado `) REFERENCES ` bl_ p_sepa ado ` (`id_ p_sepa ado `) ON
UPDATE NO ACTION ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Tabela: “ bl_base_a qui o”
Desc ição: a mazena os nomes dos a qui os que es ão elacionados a uma de e minada pesquisa.
Uma pesquisa de e con e no mínimo um a qui o cadas ado pa a pode se u ilizada no
p ocessamen o. Ela ambém in o ma o caminho onde o a qui o de e se achado e qual o amanho
desse.
Obje i o: in o ma à aplicação o local e nome dos a qui os que de em se p ocessados.
DDL:
CREATE TABLE ` bl_base_a qui o` (
`id_a qui o` INT(11) NOT NULL AUTO_INCREMENT,
` k_base_pesquisa` INT(11) NOT NULL DEFAULT '0',
`nm_a qui o` VARCHAR(150) NOT NULL DEFAULT '0',
74
`caminho_a qui o` VARCHAR(500) NOT NULL DEFAULT '0',
` amanho_a qui o` VARCHAR(50) NOT NULL DEFAULT '0',
PRIMARY KEY (`id_a qui o`),
INDEX `FK_ bl_base_a qui o_ bl_base_pesquisa` (` k_base_pesquisa`),
CONSTRAINT `FK_ bl_base_a qui o_ bl_base_pesquisa` FOREIGN KEY
(` k_base_pesquisa`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON
UPDATE NO ACTION ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=17
;
Tabela: “ bl_base_pesquisa”
Desc ição: a mazena as bases que compõem uma de e minada pesquisa. Uma pesquisa de e
con e no mínimo uma base. Além disso são a mazenadas in o mações sob e ipo de layou que
(exis ência de heade ou o ipo de sepa ado ) que os a qui os da pesquisa possuem. Po úl imo,
são a mazenadas as unidades de análise da base, já que uma pesquisa pode e di e en es unidades
de analise/in es igação.
Obje i o: aze a conexão en e a qui os, pesquisas e indicado es.
DDL:
CREATE TABLE ` bl_base_pesquisa` (
`id_base` INT(11) NOT NULL AUTO_INCREMENT,
`nm_base` VARCHAR(50) NOT NULL,
` k_pesquisa` INT(11) NOT NULL,
`ds_base` TEXT NULL,
` k_ p_unidade_analise` INT(11) NULL DEFAULT NULL,
PRIMARY KEY (`id_base`),
INDEX `FK_ bl_base_pesquisa_ bl_pesquisa` (` k_pesquisa`),
INDEX `FK_ bl_base_pesquisa_ bp_ p_unidade_analise`
(` k_ p_unidade_analise`),
CONSTRAINT `FK_ bl_base_pesquisa_ bl_pesquisa` FOREIGN KEY
(` k_pesquisa`) REFERENCES ` bl_pesquisa` (`id_pesquisa`) ON UPDATE NO
ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_pesquisa_ bp_ p_unidade_analise` FOREIGN KEY
(` k_ p_unidade_analise`) REFERENCES ` bl_ p_unidade_analise`
(`id_ p_unidade_analise`) ON UPDATE NO ACTION ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=6
;
Tabela: “ bl_base_ a ia eis”
Desc ição: a mazena as in o mações básicas das a iá eis (campos) que uma base possui.
Obje i o: in o ma à aplicação as a iá eis e suas in o mações pa a a execução do p ocessamen o.
Também pode se u ilizada pa a a c iação au omá ica de abelas em um banco de dados (ex. c iação
de abelas s aging).
75
DDL:
CREATE TABLE ` bl_base_ a ia eis` (
`id_ a ` INT(11) NOT NULL AUTO_INCREMENT,
` k_base` INT(11) NOT NULL,
`nm_ a ` VARCHAR(50) NOT NULL,
` k_ a lag` INT(11) NULL DEFAULT NULL,
` k_ p_ a ` INT(11) NULL DEFAULT NULL,
`ds_ a ` TEXT NULL,
`pos_inicial` INT(11) NULL DEFAULT NULL,
`pos_ inal` INT(11) NULL DEFAULT NULL,
` amanho` VARCHAR(8) NULL DEFAULT NULL,
` a _missing` VARCHAR(50) NULL DEFAULT NULL COMMENT 'a mazena os alo es
que de em se excluidos do p ocessamen o',
PRIMARY KEY (`id_ a `),
INDEX `FK_ bl_base_ a ia eis_ bl_ a lag` (` k_ a lag`),
INDEX `FK_ bl_base_ a ia eis_ bl_ p_ a ia el` (` k_ p_ a `),
INDEX `FK_ bl_base_ a ia eis_ bl_base_pesquisa` (` k_base`),
CONSTRAINT `FK_ bl_base_ a ia eis_ bl_base_pesquisa` FOREIGN KEY
(` k_base`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO
ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_ a ia eis_ bl_ p_ a ia el` FOREIGN KEY
(` k_ p_ a `) REFERENCES ` bl_ p_ a ia el` (`id_ p_ a ia el`) ON UPDATE
NO ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_ a ia eis_ bl_ a lag` FOREIGN KEY (` k_ a lag`)
REFERENCES ` bl_ p_ a lag` (`id_ a _ lag`) ON UPDATE NO ACTION ON DELETE
NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
Tabela: “ bl_base_ a ia el_ alues”
Desc ição: a mazena as in o mações das codi icações das a iá eis ca egó icas.
Obje i o: acili a a in e ação dos u ilizado es com a in e ace de c iação dos indicado es no
momen o do il o, já que aduz os códigos em concei os in eligí eis ao u ilizado .
DDL:
CREATE TABLE ` bl_base_ a ia el_ alues` (
` k_ a ` INT(11) NULL DEFAULT NULL,
`cod_ alue` VARCHAR(50) NULL DEFAULT NULL,
`ds_ alue` VARCHAR(400) NULL DEFAULT NULL,
INDEX `FK_ bl_base_ a ia el_ alue_ bl_base_ a ia el` (` k_ a `),
CONSTRAINT `FK_ bl_base_ a ia el_ alue_ bl_base_ a ia el` FOREIGN KEY
(` k_ a `) REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION
ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
Tabela: “ bl_bases_link”
Desc ição: a mazena as in o mações que pe mi em a in e ligação das bases.
Obje i o: pe mi i que a aplicação ealize "joins" en e as bases.
76
DDL:
CREATE TABLE ` bl_bases_link` (
`id_link` INT(11) NOT NULL AUTO_INCREMENT,
` k_base_pai` INT(11) NULL DEFAULT NULL,
` k_cha e_pai` INT(11) NULL DEFAULT NULL,
` k_base_ ilho` INT(11) NULL DEFAULT NULL,
` k_cha e_ ilho` INT(11) NULL DEFAULT NULL,
PRIMARY KEY (`id_link`),
INDEX ` k_base_pai_ k_base_ ilho` (` k_base_pai`, ` k_base_ ilho`),
INDEX `FK_ bl_base_link_ bl_ a _1` (` k_cha e_pai`),
INDEX `FK_ bl_base_link_ bl_ a _2` (` k_cha e_ ilho`),
INDEX `FK_ bl_base_link_ bl_base_pesquisa_2` (` k_base_ ilho`),
CONSTRAINT `FK_ bl_base_link_ bl_base_pesquisa_1` FOREIGN KEY
(` k_base_pai`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO
ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_link_ bl_base_pesquisa_2` FOREIGN KEY
(` k_base_ ilho`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE
NO ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_base_link_ bl_ a _1` FOREIGN KEY (` k_cha e_pai`)
REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION ON DELETE
NO ACTION,
CONSTRAINT `FK_ bl_base_link_ bl_ a _2` FOREIGN KEY (` k_cha e_ ilho`)
REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION ON DELETE
NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=6
;
Tabela: “ bl_g ao_geo”
Desc ição: a mazenas os ipos de g anula idade espacial
Obje i o: Tabela Auxilia - in o ma à aplicação qual a meno dimensão geog á ica que é possí el
em de e minada base.
DDL:
CREATE TABLE ` bl_g ao_geo` (
`id_g ao_geo` INT(11) NOT NULL AUTO_INCREMENT,
`nm_g ao_geo` VARCHAR(50) NOT NULL,
PRIMARY KEY (`id_g ao_geo`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
ROW_FORMAT=DYNAMIC
AUTO_INCREMENT=7
;
Tabela: “ bl_g ao_ empo”
Desc ição: a mazenas os ipos de g anula idade empo al
83
Desc ição: ep esen a a ins ancia empo al do indicado , e e enciado pela edição da base de dados.
Obje i o: além de possibili a a cons ução de di e en es e sões de um mesmo indicado , a abela
unciona como con ole de p ocessamen o do ETL.
DDL:
CREATE TABLE ` bl_indicado _ano` (
`id_ins ancia` INT(11) NOT NULL AUTO_INCREMENT,
`id_indicado ` INT(11) NOT NULL DEFAULT '0',
`id_ano` INT(11) NOT NULL DEFAULT '0',
` lg_p oc` INT(11) NOT NULL DEFAULT '0',
PRIMARY KEY (`id_ins ancia`),
UNIQUE INDEX `id_indicado _id_ano` (`id_indicado `, `id_ano`),
CONSTRAINT `FK_ bl_indicado _ bl_indicado _ano` FOREIGN KEY
(`id_indicado `) REFERENCES ` bl_indicado es` (`id_indicado `) ON UPDATE
CASCADE ON DELETE CASCADE
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=6
;
Tabela: ` bl_indicado _ o alizacao`
Desc ição: a mazena a a iá el pela qual o indicado se á o alização ou con abilizado.
Obje i o: possibili a a ealização das con agens e soma ó io du an e a execução do ETL/SQL
DDL:
CREATE TABLE ` bl_indicado _ o alizacao` (
`id_ o alizacao` INT(11) NOT NULL AUTO_INCREMENT,
` k_in ancia` INT(11) NULL DEFAULT NULL,
` k_pa cela` INT(11) NULL DEFAULT NULL,
`ds_ o alizacao` INT(11) NULL DEFAULT NULL,
PRIMARY KEY (`id_ o alizacao`),
UNIQUE INDEX ` k_pa cela_ds_ o alizacao` (` k_pa cela`, `ds_ o alizacao`),
CONSTRAINT `FK_02` FOREIGN KEY (` k_pa cela`) REFERENCES
` bl_pa celas_indicado ` (`id_pa cela`) ON UPDATE NO ACTION ON DELETE NO
ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
ROW_FORMAT=DYNAMIC
AUTO_INCREMENT=4
;
Tabela: ` bl_ope ado _compa acao`
Desc ição: a mazena os p incipais ope ado es de compa ação u ilizados no p ocessamen o.

84
Obje i o: Tabela Auxilia - possibili a à aplicação PHP exibi aos u ilizado es os ope ado es de
compa ação. Além disso, o nece as e sões desses ope ado es em Pyh on e SQL, pa a a u ilização das
o inas de ETL.
DDL:
CREATE TABLE ` bl_ope ado _compa acao` (
`id_compa acao` INT(11) NOT NULL AUTO_INCREMENT,
`ds_compa acao` VARCHAR(50) NULL DEFAULT NULL,
`ope ado _py hon` VARCHAR(50) NULL DEFAULT NULL,
`ope ado _sql` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_compa acao`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=9
;
Tabela: ` bl_ope ado _logico`
Desc ição: a mazena os p incipais ope ado es lógicos u ilizados no p ocessamen o.
Obje i o: Tabela Auxilia - possibili a à aplicação PHP exibi aos u ilizado es os ope ado es lógicos.
Além disso, o nece as e sões desses ope ado es em Pyh on e SQL, pa a a u ilização das o inas de
ETL.
DDL:
CREATE TABLE ` bl_ope ado _logico` (
`id_logico` INT(11) NOT NULL AUTO_INCREMENT,
`ds_logico` VARCHAR(50) NULL DEFAULT NULL,
`ope ado _py hon` VARCHAR(50) NULL DEFAULT NULL,
`ope ado _pe l` VARCHAR(50) NULL DEFAULT NULL,
`ope ado _sql` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_logico`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=4
;
Tabela: ` bl_pa celas_indicado `
Desc ição: a mazena as pa celas que compõem um de e minado indicado . Além disso iden i ica o
ipo de o alização que de e á se ealizado em cada uma delas.
Obje i o: possibili a a cons ução de indicado es de ac os não adi i os.
DDL:
CREATE TABLE ` bl_pa celas_indicado ` (
`id_pa cela` INT(11) NOT NULL AUTO_INCREMENT,
` k_ins ancia` INT(11) NULL DEFAULT '0',
` k_pesquisa` INT(11) NULL DEFAULT '0',
85
` k_ p_pa cela` SET('Nume ado ','Denominado ','Pa cela Única') NULL DEFAULT
NULL,
`ds_pa cela` VARCHAR(300) NULL DEFAULT '0',
`ds_unidade_ o alizacao` SET('Ponde ação','Con agem','Cálculo') NULL
DEFAULT NULL,
PRIMARY KEY (`id_pa cela`),
INDEX `FK_ bl_pa cela_indicado _ bl_indicado _ano` (` k_ins ancia`),
CONSTRAINT `FK_ bl_pa cela_indicado _ bl_indicado _ano` FOREIGN KEY
(` k_ins ancia`) REFERENCES ` bl_indicado _ano` (`id_ins ancia`) ON UPDATE
NO ACTION ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=5
;
Tabela: ` bl_pa cela_a ibu o`
Desc ição: a mazena as ca ac e ís icas de cada uma das pa celas do indicado , den e elas, a on e de
dados u ilizada, as a iá eis u ilizadas, os ope ado es (lógico e de compa ação) e os alo es de il o
que de e m se a ibuídos em cada pa cela.
Obje i o: possibili a a cons ução dos indicado es pelo p ocessamen o ETL.
DDL:
CREATE TABLE ` bl_pa cela_a ibu o` (
`id_a ibu o` INT(11) NOT NULL AUTO_INCREMENT,
` k_pa cela` INT(11) NOT NULL,
` k_base_pesquisa` INT(11) NOT NULL,
` k_ a ia el` INT(11) NOT NULL,
` k_compa acao` INT(11) NOT NULL,
`ds_ alo es` VARCHAR(250) NOT NULL,
` k_logica` INT(11) NOT NULL,
PRIMARY KEY (`id_a ibu o`),
INDEX `FK_ bl_pa cela_indicado _ bl_pa cela_a ibu o` (` k_pa cela`),
INDEX `FK_ bl_pa cela_indicado _ bl_ope ado _compa acao` (` k_compa acao`),
INDEX `FK_ bl_pa cela_indicado _ bl_ope ado _logico` (` k_logica`),
CONSTRAINT `FK_ bl_pa cela_indicado _ bl_ope ado _compa acao` FOREIGN KEY
(` k_compa acao`) REFERENCES ` bl_ope ado _compa acao` (`id_compa acao`) ON
UPDATE NO ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_pa cela_indicado _ bl_ope ado _logico` FOREIGN KEY
(` k_logica`) REFERENCES ` bl_ope ado _logico` (`id_logico`) ON UPDATE NO
ACTION ON DELETE NO ACTION,
CONSTRAINT `FK_ bl_pa cela_indicado _ bl_pa cela_a ibu o` FOREIGN KEY
(` k_pa cela`) REFERENCES ` bl_pa celas_indicado ` (`id_pa cela`) ON UPDATE
NO ACTION ON DELETE NO ACTION
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=11
Tabela: ` bl_ p_indicado `
86
Desc ição: indicada a unidade de medida na qual o indicado es á ep esen ado (“Valo absolu o”,
“Média”, “Taxa”, “Pe cen ual”, “Razão”).
Obje i o: Tabela Auxilia – indicada no sis ama PHP as opções de medida.
DDL:
CREATE TABLE ` bl_ p_indicado ` (
`id_ p_indicado ` INT(11) NOT NULL AUTO_INCREMENT,
`nm_ p_indicado ` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_ p_indicado `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=6
;
Figu a 27 – DER – Banco de Indicado es
87
Documen ação do banco “db_dimensional”:
Dimensão Gêne o:
CREATE TABLE `dim_gene o` (
`id_sexo` INT(11) NOT NULL AUTO_INCREMENT,
`nm_sexo` VARCHAR(25) NULL DEFAULT '0',
`slg_sexo` VARCHAR(1) NULL DEFAULT '0',
PRIMARY KEY (`id_sexo`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1000
;
Dimensão É inco- acial:
CREATE TABLE `dim_co ` (
`id_co ` INT(11) NOT NULL,
` aca_co _01` VARCHAR(50) NULL DEFAULT NULL,
` aca_co _02` VARCHAR(50) NULL DEFAULT NULL,
` aca_co _03` VARCHAR(50) NULL DEFAULT NULL,
` aca_co _04` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_co `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Dimensão Faixa E á ia:
CREATE TABLE `dim_ aixa_e a ia` (
`id_idade` INT(11) NOT NULL,
` aixa_01` VARCHAR(50) NULL DEFAULT NULL,
` aixa_02` VARCHAR(50) NULL DEFAULT NULL,
` aixa_03` VARCHAR(50) NULL DEFAULT NULL,
` aixa_ciclo` VARCHAR(50) NULL DEFAULT NULL,
` aixa_pia` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_idade`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Dimensão Indicado :
CREATE TABLE `dim_pa cela` (
`id_pa cela` INT(11) NOT NULL,
`id_indicado ` INT(11) NULL DEFAULT NULL,
`ds_pa cela` VARCHAR(50) NULL DEFAULT NULL,
` p_pa cela` VARCHAR(50) NULL DEFAULT NULL,
` p_unidade` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_pa cela`),
INDEX `FK3_2` (`id_indicado `),
CONSTRAINT `FK3_2` FOREIGN KEY (`id_indicado `) REFERENCES `dim_indicado `
(`id_indicado `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
88
CREATE TABLE `dim_indicado ` (
`id_indicado ` INT(11) NOT NULL,
`nm_indicado ` VARCHAR(250) NULL DEFAULT NULL,
`ds_indicado ` VARCHAR(250) NULL DEFAULT NULL,
`id_a ea` INT(11) NULL DEFAULT NULL,
`ds_ o mula` VARCHAR(50) NULL DEFAULT NULL,
`d _ a o ` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_indicado `),
INDEX `FK3_1` (`id_a ea`),
CONSTRAINT `FK3_1` FOREIGN KEY (`id_a ea`) REFERENCES `dim_a ea` (`id_a ea`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_a ea` (
`id_a ea` INT(11) NOT NULL,
`id_classe` INT(11) NOT NULL,
`nm_a ea` INT(11) NOT NULL,
PRIMARY KEY (`id_a ea`),
INDEX `FK1_1a` (`id_classe`),
CONSTRAINT `FK1_1a` FOREIGN KEY (`id_classe`) REFERENCES `dim_acao` (`id_classe`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_acao` (
`id_classe` INT(11) NOT NULL,
`nm_classe` VARCHAR(250) NOT NULL,
`id_acao` INT(11) NOT NULL,
`nm_acao` VARCHAR(250) NOT NULL,
PRIMARY KEY (`id_classe`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Dimensão Geog á ica:
CREATE TABLE `dim_geo_dis i o` (
`id_geo_dis i o` INT(11) NOT NULL,
`id_geo_munic` INT(11) NULL DEFAULT NULL,
`cod_dis i o` BIGINT(20) NULL DEFAULT NULL,
`nm_dis i o` VARCHAR(250) NULL DEFAULT NULL,
PRIMARY KEY (`id_geo_dis i o`),
INDEX `FK2_3a` (`id_geo_munic`),
CONSTRAINT `FK2_3a` FOREIGN KEY (`id_geo_munic`) REFERENCES `dim_geo_municipio`
(`id_geo_munic`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_geo_es ado` (
`id_geo_es ado` INT(11) NOT NULL,
`cod_es ado` INT(11) NULL DEFAULT NULL,
`nm_es ado` VARCHAR(50) NULL DEFAULT NULL,
`slg_es ado` VARCHAR(2) NULL DEFAULT NULL,
`cod_ egiao` INT(11) NULL DEFAULT NULL,
`nm_ egiao` VARCHAR(50) NULL DEFAULT NULL,
`slg_ egiao` VARCHAR(2) NULL DEFAULT NULL,
PRIMARY KEY (`id_geo_es ado`)
)

89
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_geo_municipio` (
`id_geo_munic` INT(11) NOT NULL,
`id_geo_es ado` INT(11) NULL DEFAULT NULL,
`cod_munic` INT(11) NULL DEFAULT NULL,
`nm_munic` VARCHAR(250) NULL DEFAULT NULL,
`cod_meso` INT(11) NULL DEFAULT NULL,
`nm_meso` VARCHAR(250) NULL DEFAULT NULL,
`cod_mic o` INT(11) NULL DEFAULT NULL,
`nm_mic o` VARCHAR(250) NULL DEFAULT NULL,
`cod_ m_ ide` INT(11) NULL DEFAULT NULL,
`nm_ m_ ide` VARCHAR(250) NULL DEFAULT NULL,
PRIMARY KEY (`id_geo_munic`),
INDEX `FK2_4a` (`id_geo_es ado`),
CONSTRAINT `FK2_4a` FOREIGN KEY (`id_geo_es ado`) REFERENCES `dim_geo_es ado`
(`id_geo_es ado`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_geo_se o ` (
`id_geo_se o ` BIGINT(20) NOT NULL,
`id_geo_dis i o` INT(11) NULL DEFAULT NULL,
`cod_se o ` BIGINT(20) NULL DEFAULT NULL,
`cod_subdis i o` BIGINT(20) NULL DEFAULT NULL,
`nm_subdis i o` VARCHAR(250) NULL DEFAULT NULL,
`cod_bai o` BIGINT(20) NULL DEFAULT NULL,
`nm_bai o` VARCHAR(250) NULL DEFAULT NULL,
`si uacao_se o ` INT(11) NULL DEFAULT NULL,
` p_se o ` INT(11) NULL DEFAULT NULL,
PRIMARY KEY (`id_geo_se o `),
INDEX `FK2_2_a` (`id_geo_dis i o`),
CONSTRAINT `FK2_2_a` FOREIGN KEY (`id_geo_dis i o`) REFERENCES `dim_geo_dis i o`
(`id_geo_dis i o`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Dimensão Tempo:
CREATE TABLE `dim_ mp_ano` (
`id_ano` INT(11) NOT NULL,
` lg_bissex o` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`id_ano`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE `dim_ mp_mes` (
`id_mes` INT(11) NOT NULL,
`id_ano` INT(11) NULL DEFAULT NULL,
`mes` VARCHAR(2) NULL DEFAULT NULL,
`nm_mes` VARCHAR(20) NULL DEFAULT NULL,
`slg_mes` VARCHAR(3) NULL DEFAULT NULL,
PRIMARY KEY (`id_mes`),
INDEX `FK1_2a` (`id_ano`),
CONSTRAINT `FK1_2a` FOREIGN KEY (`id_ano`) REFERENCES `dim_ mp_ano` (`id_ano`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
90
;
CREATE TABLE `dim_ mp_ imes e` (
`id_ imes e` INT(11) NOT NULL,
`id_mes` INT(11) NULL DEFAULT NULL,
` imes e` VARCHAR(1) NULL DEFAULT NULL,
`nm_ imes e` VARCHAR(20) NULL DEFAULT NULL,
`slg_ imes e` VARCHAR(6) NULL DEFAULT NULL,
PRIMARY KEY (`id_ imes e`),
INDEX `FK1_3a` (`id_mes`),
CONSTRAINT `FK1_3a` FOREIGN KEY (`id_mes`) REFERENCES `dim_ mp_mes` (`id_mes`)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
Fac os:
CREATE TABLE ` a o_ano_dis i o` (
`PARCELA` INT(1) NOT NULL,
`DIM_ANO` INT(11) NOT NULL,
`DIM_DIST` INT(11) NOT NULL,
`DIM_SEXO` INT(3) NOT NULL,
`DIM_IDADE` INT(3) NOT NULL,
`DIM_COR` INT(3) NOT NULL,
`VALUE` INT(11) NOT NULL,
PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_DIST`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`),
INDEX `FK5_2` (`DIM_ANO`),
INDEX `FK5_3` (`DIM_DIST`),
INDEX `FK5_4` (`DIM_SEXO`),
INDEX `FK5_5` (`DIM_IDADE`),
INDEX `FK5_6` (`DIM_COR`),
CONSTRAINT `FK5_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`),
CONSTRAINT `FK5_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`),
CONSTRAINT `FK5_3` FOREIGN KEY (`DIM_DIST`) REFERENCES `dim_geo_dis i o`
(`id_geo_dis i o`),
CONSTRAINT `FK5_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`),
CONSTRAINT `FK5_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia`
(`id_idade`),
CONSTRAINT `FK5_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE ` a o_ano_municipio` (
`PARCELA` INT(1) NOT NULL,
`DIM_ANO` INT(11) NOT NULL,
`DIM_MUNIC` INT(11) NOT NULL,
`DIM_SEXO` INT(3) NOT NULL,
`DIM_IDADE` INT(3) NOT NULL,
`DIM_COR` INT(3) NOT NULL,
`VALUE` INT(11) NOT NULL,
PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_MUNIC`, `DIM_SEXO`, `DIM_IDADE`,
`DIM_COR`),
INDEX `FK7_2` (`DIM_ANO`),
INDEX `FK7_3` (`DIM_MUNIC`),
INDEX `FK7_4` (`DIM_SEXO`),
INDEX `FK7_5` (`DIM_IDADE`),
INDEX `FK7_6` (`DIM_COR`),
CONSTRAINT `FK7_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`),
CONSTRAINT `FK7_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`),
CONSTRAINT `FK7_3` FOREIGN KEY (`DIM_MUNIC`) REFERENCES `dim_geo_municipio`
(`id_geo_munic`),
CONSTRAINT `FK7_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`),
CONSTRAINT `FK7_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia`
(`id_idade`),
91
CONSTRAINT `FK7_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE ` a o_ano_se o ` (
`PARCELA` INT(1) NOT NULL,
`DIM_ANO` INT(11) NOT NULL,
`DIM_SETOR` BIGINT(11) NOT NULL,
`DIM_SEXO` INT(3) NOT NULL,
`DIM_IDADE` INT(3) NOT NULL,
`DIM_COR` INT(3) NOT NULL,
`VALUE` INT(11) NOT NULL,
PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_SETOR`, `DIM_SEXO`, `DIM_IDADE`,
`DIM_COR`),
INDEX `FK6_2` (`DIM_ANO`),
INDEX `FK6_3` (`DIM_SETOR`),
INDEX `FK6_4` (`DIM_SEXO`),
INDEX `FK6_5` (`DIM_IDADE`),
INDEX `FK6_6` (`DIM_COR`),
CONSTRAINT `FK6_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`),
CONSTRAINT `FK6_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`),
CONSTRAINT `FK6_3` FOREIGN KEY (`DIM_SETOR`) REFERENCES `dim_geo_se o `
(`id_geo_se o `),
CONSTRAINT `FK6_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`),
CONSTRAINT `FK6_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia`
(`id_idade`),
CONSTRAINT `FK6_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
CREATE TABLE ` a o_ano_u ` (
`PARCELA` INT(1) NOT NULL,
`DIM_ANO` INT(11) NOT NULL,
`DIM_UF` INT(11) NOT NULL,
`DIM_SEXO` INT(3) NOT NULL,
`DIM_IDADE` INT(3) NOT NULL,
`DIM_COR` INT(3) NOT NULL,
`VALUE` INT(11) NOT NULL,
PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_UF`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`),
INDEX `FK4_2` (`DIM_ANO`),
INDEX `FK4_3` (`DIM_UF`),
INDEX `FK4_4` (`DIM_SEXO`),
INDEX `FK4_5` (`DIM_IDADE`),
INDEX `FK4_6` (`DIM_COR`),
CONSTRAINT `FK4_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`),
CONSTRAINT `FK4_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`),
CONSTRAINT `FK4_3` FOREIGN KEY (`DIM_UF`) REFERENCES `dim_geo_es ado`
(`id_geo_es ado`),
CONSTRAINT `FK4_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`),
CONSTRAINT `FK4_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia`
(`id_idade`),
CONSTRAINT `FK4_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `)
)
COLLATE='u 8_gene al_ci'
ENGINE=InnoDB
;
92
Figu a 28 – DER Banco Dimensional
99
a _g = lis ()
sql_13 = """selec
c.ds_ o alizacao
om
bl_indicado es as a le join bl_indicado _ano as b on
a.id_indicado = b.id_indicado
le join bl_indicado _ o alizacao as c on b.id_ins ancia
= c. k_in ancia
whe e b. lg_p oc = 0 and b.id_ins ancia = {0} and
c. k_pa cela = {1}""". o ma ( _ins an,pa cela)
cu so _011.execu e(sql_13)
esul = cu so _011. e chall()
i esul :
o i in esul :
sql_12 = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (i[0])
cu so _022.execu e(sql_12)
g = cu so _022. e chall()
a _g.append(g[0])
e u n a _g[0][0]
###########################################################################
##
de ipo_ope acao(pa cela):
sql_14 = """selec ds_unidade_ o alizacao om bl_pa celas_indicado
whe e id_pa cela = {0}""". o ma (pa cela)
cu so _011.execu e(sql_14)
esul = cu so _011. e chall()
p_op = ''
i esul [0][0] == 'Con agem':
p_op = ', COUNT(DISTINCT '
eli esul [0][0] == 'Ponde ação':
p_op = ', SUM( '
eli esul [0][0] == 'Cálculo':
p in ('FALTA OPERAÇÃO!!!!')
e u n p_op
###########################################################################
##
de de ine_g ao_ mp(pa cela):
sql_11a = "selec k_pesquisa om bl_pa celas_indicado whe e
id_pa cela = {0}". o ma (pa cela)
cu so _011.execu e(sql_11a)

100
esul = cu so _011. e chall()
o i in esul :
sql_11a1 = "selec g ao_ empo om bl_pesquisa whe e id_pesquisa =
{0}". o ma (i[0])
cu so _022.execu e(sql_11a1)
esul = cu so _022. e chall()
o x in esul :
e u n x[0]
###########################################################################
##
de de ine_g ao_geo(pa cela):
sql_11a = "selec k_pesquisa om bl_pa celas_indicado whe e
id_pa cela = {0}". o ma (pa cela)
cu so _011.execu e(sql_11a)
esul = cu so _011. e chall()
o i in esul :
sql_11a1 = "selec g ao_geo om bl_pesquisa whe e id_pesquisa =
{0}". o ma (i[0])
cu so _022.execu e(sql_11a1)
esul = cu so _022. e chall()
o x in esul :
e u n x[0]
###########################################################################
##
de mon a_sql( _ins an,pa cela):
geo = de ine_g ao_geo(pa cela)
mp = de ine_g ao_ mp(pa cela)
a _ = se ()
_lis = ''
g_lis = ''
join = ''
sql_11 = """selec
c.id_dimensao
om
bl_indicado es as a le join bl_indicado _ano as b on
a.id_indicado = b.id_indicado
le join bl_indicado _ag egacao as c on b.id_ins ancia =
c. k_in ancia
whe e b. lg_p oc = 0 and b.id_ins ancia ={0} and
c. k_pa cela = {1}""". o ma ( _ins an,pa cela)
cu so _011.execu e(sql_11)
esul = cu so _011. e chall()
i esul :
_lis a = []
o i in esul :
sql_12a = 'selec k_ a lag,nm_ a om bl_base_ a ia eis
whe e id_ a ={0}'. o ma (i[0])
cu so _022.execu e(sql_12a)
= cu so _022. e chall()
_lis a.append( [0][0])
i [0][0] == 4: #cha e geo
101
i geo == 4: #município
g ao_g = " JOIN (selec dis inc cod_munic,
id_geo_munic om bl_dim_geo ) AS geo ON (geo.cod_munic = bl_"
nm_geo = 'DIM_MUNIC'
_geo = 'geo.id_geo_munic'
eli geo == 2: #es ado
g ao_g = " JOIN (selec dis inc cod_es ado,
id_geo_es ado om bl_dim_geo ) AS geo ON (geo.cod_es ado = bl_"
nm_geo = 'DIM_UF'
_geo = 'geo.id_geo_es ado'
eli geo == 5: #dis i o
g ao_g = " JOIN (selec dis inc
cod_dis i o,id_geo_dis i o om bl_dim_geo ) AS geo ON (geo.cod_dis i o
= bl_"
nm_geo = 'DIM_DIST'
_geo = 'geo.id_geo_dis i o'
eli geo == 6: #se o
g ao_g = " JOIN (selec dis inc cod_se o ,
id_geo_se o om bl_dim_geo ) AS geo ON (geo.cod_se o = bl_"
nm_geo = 'DIM_SETOR'
_geo = 'geo.id_geo_se o '
else: # e o
p in ("ERRO-41!")
sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (
i[0])
cu so _022.execu e(sql_12b)
= cu so _022. e chall()
join = join + "{0}{1}{2}) ". o ma (g ao_g,pa cela, [0][0])
_lis = _lis + ",{0} as {1} ". o ma ( _geo,nm_geo)
g_lis = g_lis + ",{0} ". o ma ( _geo)
eli [0][0] == 3: #cha e mp
i mp == 1: #ano
g ao_ = " JOIN (selec dis inc id_ano om
bl_dim_ mp ) AS mp ON ( mp.id_ano = bl_"
nm_ mp = "DIM_ANO"
_ mp = ' mp.id_ano'
eli mp == 2: # imes e
pass
eli mp == 3: #mês
pass
else: # e o
p in ("ERRO-42!")
sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (
i[0])
cu so _022.execu e(sql_12b)
= cu so _022. e chall()
join = join + "{0}{1}{2}) ". o ma (g ao_ ,pa cela, [0][0])
_lis = _lis + ",{0} as {1} ". o ma ( _ mp,nm_ mp)
g_lis = g_lis + ",{0} ". o ma ( _ mp)
eli [0][0] in [8]: # dim idade
102
g ao_i = " JOIN (SELECT DISTINCT idade om bl_dim_idade)
as b_idade ON ( b_idade.idade = bl_"
nm_dim = "DIM_IDADE"
_ mp = " b_idade.idade"
sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (
i[0])
cu so _022.execu e(sql_12b)
= cu so _022. e chall()
join = join + "{0}{1}{2}) ". o ma (g ao_i,pa cela, [0][0])
_lis = _lis + ",{0} as {1} ". o ma ( _ mp,nm_dim)
g_lis = g_lis + ",{0} ". o ma ( _ mp)
eli [0][0] in [9, 10]: # dim sexo e aça
i [0][0] == 9:
nm_sexo = "DIM_SEXO"
else:
nm_sexo = "DIM_COR"
sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (
i[0])
cu so _022.execu e(sql_12b)
= cu so _022. e chall()
a = [0][0]
sc ip 01 = ''
sql_12c = """selec alue_de, alue_pa a om
bl_base_ a ia el_ alues_dimensao whe e id_ a ={0}""". o ma (i[0])
cu so _022.execu e(sql_12c)
esul = cu so _022. e chall()
o in esul :
de = [0]
pa a = [1]
sc ip 02 = "WHEN {0} THEN {1} ". o ma (de,pa a)
sc ip 01 = sc ip 01+sc ip 02
_lis = _lis + ',CASE bl_{0}{1} '. o ma (pa cela, a ) +
sc ip 01 + ' ELSE 99 END AS {0} '. o ma (nm_sexo)
g_lis = g_lis + ',CASE bl_{0}{1} '. o ma (pa cela, a ) +
sc ip 01 + ' ELSE 99 END'
sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om
bl_base_ a ia eis whe e id_ a = {0}". o ma (i[0])
cu so _022.execu e(sql_12b)
= cu so _022. e chall()
a _ .add( [0][0])
e u n _lis , g_lis , join
###########################################################################
##
103
de ag egacao(lis a, _ins an):
condicao_on = se ()
pa cela_se = se ()
abelas = se ()
bases = []
ab_ou = []
o l in lis a:
bases.append(in (l[0].spli ('_')[1]))
opcoes = se (i e ools.combina ions(bases, 2))
o l in lis a: #CRIA A CONDIÇÃO FROM E ON
pa cela = (in (l[0].spli ('_')[0]))
pa cela_se .add(pa cela)
o o in opcoes:
sql_10 = """selec
a. k_base_pai,
(selec nm_ a om bl_base_ a ia eis whe e id_ a
= a. k_cha e_pai) _pai,
a. k_base_ ilho,
(selec nm_ a om bl_base_ a ia eis whe e id_ a
= a. k_cha e_ ilho ) _ ilho
om bl_bases_link as a whe e a. k_base_pai = {0}
and a. k_base_ ilho = {1}""". o ma (o[0],o[1])
cu so _022.execu e(sql_10)
esul = cu so _022. e chall()
i esul :
condicao_on.add('ON ( bl_{0}_{1}.{2} =
bl_{0}_{3}.{4})'. o ma (pa cela, esul [0][0], esul [0][1], esul [0][2], es
ul [0][3]))
abelas.add(" FROM bl_{0}_{1} INNER JOIN bl_{0}_{2}
". o ma (pa cela, esul [0][0], esul [0][2]))
o i, x in enume a e(lis (pa cela_se )):
a = ''
a = "CREATE TABLE bl_{1} SELECT {0} AS PARCELA
". o ma ( _ins an,x)
b = lis (mon a_sql( _ins an,x))
a = a + b[0]
a = a + ipo_ope acao(x)
a = a + " bl_{0}{1} ". o ma (x, o aliza( _ins an,x))
a = a + ") as VALUE "
a = a + so ed( abelas)[i]
a = a + so ed(condicao_on)[i]
a = a + b[2]
a = a + ' GROUP BY '
a = a + b[1][1:]
ab_ou .append(" bl_{0}". o ma (x))
geo = de ine_g ao_geo(x)
mp = de ine_g ao_ mp(x)
y:
s = "DROP TABLE IF EXISTS ` bl_{0}`;". o ma (x)
cu so _033.execu e(s)
cu so _033.execu e(a[0:len(a)-1])
p in (a)
p in ("P ocessamen o OK")
104
excep Excep ion as e:
p in (e)
e u n ab_ou , geo, mp
###############################################
# POVOA O MODELO DIMENSIONAL
###############################################
impo pandas as pd
impo sqlalchemy
om MyFunc ions impo conexao as cn
#DB STAGE
engine_03 = cn.engine_03
conn_03 = engine_03.connec ()
#DB DIMENSÃO
engine_04 = cn.engine_04
conn_04 = engine_04.connec ()
# e u n ab_ou , geo, mp
de mo e_ egis os(en ada):
#en ada = ([' bl_1',' bl_2'], 5, 1)
bases = en ada[0]
geo = en ada[1]
mp = en ada[2]
o base in bases:
sql_ abela = base
d = pd. ead_sql_ able(sql_ abela,conn_03)
amanho = d .size
i geo == 2 and mp == 1: #u & ano
ab_des ino = ' a o_ano_u '
eli geo == 4 and mp == 1: #munic & ano
ab_des ino = ' a o_ano_municipio'
eli geo == 5 and mp == 1: #dis & ano
ab_des ino = ' a o_ano_dis i o'
eli geo == 6 and mp == 1: #se o & ano
ab_des ino = ' a o_ano_se o '
d . o_sql( ab_des ino , con=conn_04 , i _exis s='append' ,
index=False , chunksize=10)
p in ("O igem: {0} ; Des ino: {1} ; Regis os mo idos:
{2}". o ma (base, ab_des ino, amanho))