A utilização de dados públicos abertos na construção de um Data Warehouse : a construção de um repositório estatísticas educacionais públicas brasileiras

i A u ilização de dados públicos abe os na cons ução de um Da a Wa ehouse: A cons ução de um eposi ó io es a ís icas educacionais públicas b asilei as. Luiz Ma celo Fe ei a Ca ano T abalho de P oje o ap esen ada(o) como equisi o pa cial pa a ob enção do g au de Mes e em Ges ão de In o mação i 2018 A u ilização de dados públicos abe os na cons ução de um Da a Wa ehouse: A cons ução de um eposi ó io es a ís icas educacionais públicas b asilei as. Luiz Ma celo Fe ei a Ca ano MGI i ii NOVA In o ma ion Managemen School Ins i u o Supe io de Es a ís ica e Ges ão de In o mação Uni e sidade No a de Lisboa A u ilização de dados públicos abe os na cons ução de um Da a Wa ehouse: A cons ução de um eposi ó io es a ís icas educacionais públicas b asilei as. po Luiz Ma celo Fe ei a Ca ano T abalho de P oje o ap esen ada(o) como equisi o pa cial pa a a ob enção do g au de Mes e em Ges ão de In o mação. O ien ado : Robe o And é Pe ei a Hen iques Fe e ei o 2018 iii DEDICATÓRIA Dedico esse abalho aos meus pais (Jo ge e Del a) que semp e me apoia am em odas as minhas decisões. Sem o amo e ca inho deles eu nunca consegui ia chega a é aqui. Às minhas ias (Dil a e Ma ina) que semp e eza am pelo meu sucesso. Aos meus i mãos (Lou enço e Má cio) que o am uma inspi ação cons an e ao longo da ida. E po úl imo, mas não menos impo an e, pa a minha esposa Pa icia, que semp e es e e ao meu lado du an e essa jo nada a aconselha e suge i os melho es caminhos. Pa a odos o meu Amo … i AGRADECIMENTOS Gos a ia de ag adece à Uni e sidade No a de Lisboa e ao cu so Ges ão de In o mação, em especial aos seus docen es e uncioná ios, po e em possibili ado uma expe iência de ap endizado única e inesquecí el. Ao p o esso Robe o And é Pe ei a Hen iques po e ido a gen ileza, dedicação e paciência na o ien ação desse abalho. À equipe do Ins i u o B asilei o de Análises Sociais e Econômicas – IBASE, em especial à Ri a Co êa B andão e a Cândido G yzbowski, que me de am a opo unidade pa a desen ol e o p esen e p oje o. Ao p o esso Paulo de Ma ino Jannuzzi, pelos conselhos e o incen i o na inalização desse abalho. Po úl imo, a um incon á el núme o de amigos e amigas que es i e am p esen es ao longo da minha ida p o issional e acadêmica. RESUMO Na úl ima década, di e en es países êm desen ol ido inicia i as elacionadas à di ulgação de dados go e namen ais de o ma abe a. Apesa da exis ência e disponibilização das bases de dados, a a e a de u ilização e ex ação de conhecimen o dessas bases ainda ap esen a alguns desa ios, elacionados a à in eg ação e à compa ibilização das in o mações. Isso oco e de ido à baixa es u u ação e a g ande he e ogeneidade das on es, que az com que as abo dagens adicionais de ex ação ans o mação e ca ga (ETL) o nem-se menos e icien es. Esse abalho busca analisa uma abo dagem de cons ução de um eposi ó io de dados abe os baseada na es u u a dos a qui os unidimensionais ( la iles), que possibili e a cons ução dos modelos dimensionais de o ma mais e icien e. PALAVRAS-CHAVE Dados Públicos Abe os, Ciências Sociais, Da a Wa ehouse Design, ETL i ABSTRACT In he las decade, di e en coun ies ha e de eloped ini ia i es ela ed o he dissemina ion o open da a. Despi e he exis ence and a ailabili y o da abases, he ask o using his da a and knowledge ex ac ion s ill p esen s some challenges ela ed o he in eg a ion and compa ibili y o in o ma ion. This occu s due o bo h poo -s uc u e and a g ea he e ogenei y o sou ces, which make adi ional ex ac ion, ans o ma ion, and loading (ETL) app oach less e icien . This manusc ip analyzes an app oach o he cons uc ion o open da a eposi o y based on a la iles s uc u e ha enables a mo e e icien dimensional model building. KEYWORDS Open Public Da a, Social Science, Da a Wa ehouse Design, ETL ii ÍNDICE 1. In odução .................................................................................................................... 1 1.1. Obje i os Ge ais .................................................................................................... 3 1.2. Obje i os Especí icos ............................................................................................. 3 2. Dados Públicos e Abe os ............................................................................................. 5 2.1. Dados Go e namen ais Abe os ........................................................................... 5 2.2. Dados Go e namen ais Abe os no B asil............................................................. 8 2.3. Dados Educacionais ............................................................................................. 11 2.4. P incipais Bases de Dados da Educação no B asil ............................................... 14 2.4.1. Censo Escola da Educação Básica ............................................................... 14 2.4.2. Censo da Educação Supe io ........................................................................ 15 2.4.3. Censo Demog á ico ...................................................................................... 16 3. Sis emas de in o mação na á ea de ciências sociais .................................................. 18 3.1. Da a Wa ehousing ............................................................................................... 18 3.2. Da a Wa ehousing nas Ciências Sociais .............................................................. 19 3.3. Indicado es Sociais como Mé icas de um DW ................................................... 22 3.4. A dimensão empo nas Ciências Sociais .............................................................. 23 3.5. Desa ios pa a a cons ução de um DW com os dados públicos b asilei os ........ 24 4. ImpleMen ação da Solução de Da a Wa ehousing .................................................... 26 4.1. Abo dagens pa a a cons ução de um Da a Wa ehouse .................................... 26 4.2. Le an amen o dos equisi os .............................................................................. 27 4.3. Análise das on es de Dados ................................................................................ 31 4.3.1. Censo Escola da Educação Básica ............................................................... 31 4.3.2. Censo da Educação Supe io . ....................................................................... 32 4.3.3. Censo Demog á ico. ..................................................................................... 33 4.4. Desen ol imen o da Solução. ............................................................................. 34 4.4.1. Mapeamen o das bases de Dados ............................................................... 35 4.4.2. Mapeamen o dos Indicado es ..................................................................... 41 4.4.3. P ocessamen o dos Indicado es. ................................................................. 46 4.4.4. T a amen o de E os e Logging. ................................................................... 52 4.5. Modelo Dimensional. .......................................................................................... 52 4.5.1. Snow lake Schema. ....................................................................................... 53 4.5.2. Fac Cons ella ion Schema. .......................................................................... 54 4.5.3. T ansposição das Mé icas pa a o ní el dimensional. ................................. 55 3 1.1. OBJETIVOS GERAIS O obje i o p incipal do p esen e p oje o é cons ui uma solução de Da a Wa ehousing que possibili e ao IBASE e au onomia no p ocesso de p odução de indicado es sociais a pa i de dados públicos abe os. Essa solução de e á se pensada pa a a ende às ca ac e ís icas de uma ins i uição do e cei o se o , adequando-se ao pe il dos u ilizado es in e nos e ex e nos e as ca ac e ís icas da in aes u u a ecnológica já exis en e. Inicialmen e o p oje o se á um pilo o que ab ange apenas a á ea dos 92 municípios do Es ado do Rio de Janei o, em especial os 21 que compõem a sua Região Me opoli ana 4 . Além disso, nesse p imei o momen o, se ão u ilizadas in o mações do sis ema es a ís ico nacional ela i as à emá ica educacional. De e-se essal a que o p esen e p oje o não es á ocado, nesse momen o, no consumo das in o mações, pois já exis e uma e amen a p oduzida pela ins i uição pa a al p opósi o. 1.2. OBJETIVOS ESPECÍFICOS Abaixo, as e apas pa a ealização e icaz desse p oje o são: • Iden i ica jun o aos u ilizado es in e nos a Ins i uição as necessidades e ca ac e ís icas desejá eis pa a a p esen e solução; • Iden i ica o pe il dos u ilizado es, ex e nos a Ins i uição, em elação as limi ações e necessidades; • Iden i ica as in aes u u as ecnológicas (Ha dwa e e So wa es) a ualmen e disponí eis na Ins i uição; • Iden i ica as ca ac e ís icas dos indicado es u ilizados pela Ins i uição; • Iden i ica as ca ac e ís icas das on es de dados públicas u ilizadas pela Ins i uição; • Desen ol e uma solução de ETL que possibili e aos u ilizado es da Ins i uição a c iação dos indicado es sociais. • Cons ui os modelos de dados (Sis emas T ansacionais e Da a Wa ehouse), dependendo da de inição do modelo que se á ado ado pa a a ende as necessidades da Ins i uição; 4 O concei o de Região Me opoli ana su ge no início da década de 1970 como pa e de uma polí ica nacional de desen ol imen o u bano e indus ial, que isa a a c iação de unidades de planejamen o egional com a inalidade compa ilha soluções pa a p oblemas comuns às g andes concen ações populacionais (Mou a & Ba ion, 2006). 4 O p esen e abalho es á o ganizado da seguin e o ma: O p imei o capí ulo ap esen a a in odução do p oblema e os obje i os espe ados. O segundo capí ulo ap esen a a discussão sob e o mo imen o de dados públicos abe os e sua si uação no B asil. O e cei o capi ulo in oduz o concei o de Da a Wa ehousing e as especi icidades desse no con ex o das ciências sociais. O qua o capí ulo a a da cons ução do modelo de dados e das soluções de ETL u ilizadas. O quin o e úl imo capí ulo ap esen a as conclusões alcançadas e as limi ações do p esen e abalho. 5 2. DADOS PÚBLICOS E ABERTOS 2.1. DADOS GOVERNAMENTAIS ABERTOS Segundo di e en es au o es (Alexopoulos, Zuide wijk, Cha apabidis, Loukis, & Janssen, 2014; Gonzalez-Zapa a & Heeks, 2014; Ubaldi, 2013) os go e nos êm a p imazia na p odução, u ilização e di ulgação de dados sob e os cidadãos, as o ganizações e a p es ação de se iços públicos. Essa o midá el on e de in o mações ep esen a um alioso insumo pa a a c iação de no os negócios e opo unidades, pa a a p omoção da anspa ência e da accoun abili y, bem como pa a o aumen o da pa icipação a i a dos cidadãos nos p ocessos omada de decisão (A a d, O landi, Sce i, & Aue , 2015; Susha, Zuide wijk, Janssen, Ke, & Nlund, 2015). Pa a que isso oco a, esses dados de em se disponibilizados de o ma abe a, is o é, publicados num o ma o não p op ie á io e independen es de pla a o ma, legí el po máquina e disponibilizados ao público, sem es ições a eu ilização das in o mações. Foi dessa o ma que, em dezemb o de 2007, os in a pa icipan es do Open Go e nmen Wo king G oup eunidos em Sebas opol (Cali ó nia-US), de ini am os p incípios necessá ios a di ulgação de dados go e namen ais de o ma abe a 5 . Os Oi o P incípios dos Dados Go e namen ais Abe os, como ica am conhecidos, se ap esen am como um conjun o de di e izes que em se ido, em alguma medida, como base pa a a maio pa e das inicia i as de dados go e namen ais ealizadas (A a d e al., 2015; Ubaldi, 2013). Desde en ão, dados assim di ulgados podem assumi di e en es e minologias, ais como: “Open Go e nmen Da a”, “Public Go e nmen Da a”, “Public Open Da a”, “S a is ical Open Da a” ou simplesmen e “Open Da a”. Segundo Gonzalez e Heeks, (2014), com base no a igo de Howa d 6 , os Dados Go e namen ais Abe os (OGD, da sigla em inglês) se iam o esul ado da in e cessão de ês concei os: “Dados Go e namen ais”, “Dados Abe os” e “Go e no Abe o”. O concei o de Dados Go e namen ais se baseia, como oi di o acima, na ele ada capacidade que os go e nos êm na cole a e a mazenamen o de in o mações de di e en es á eas de in e esse, ais como demog a ia, abalho e emp ego, educação e o mação, en e ou as. A possibilidade da exis ência de Dados Abe os ad ém das ino ações no p ocessamen o e na di usão elacionados com a á ea de ecnologia da in o mação e da comunicação (ICT), que possibili a am uma maio u ilização dos dados, de o ma mui o mais ápida e e icien e que a é en ão. Po úl imo, o concei o de Go e no Abe o em como o igem a con icção de que a omada de decisões e ações go e namen ais de em se mais anspa en es e pa icipa i as pa a os cidadãos (Gonzalez-Zapa a & Heeks, 2014; Meije , Cu in, & Hilleb and , 2012) . Nesse sen ido, o memo ando p esidencial do ecém-elei o Ba ack Obama, que a a a da ques ão da T anspa ência e do Go e no 5 Pa a maio es de alhes, e o sí io h ps://opengo da a.o g/ 6 “Da a o he Public Good”. Sebas opol, CA: O’Reilly Media - h p:// ada .o eilly.com/2012/02/da a-public-good.h ml 6 Abe o 7 , ep esen a um ma co na di usão do concei o (Dawes, Vidiaso a, & Pa khimo ich, 2016; Meije e al., 2012; Susha e al., 2015) Conjun amen e a esses ês concei os, Gonzalez e Heeks, (2014) iden i icam, a pa i de uma análise da li e a u a exis en e, qua o di e en es pe spe i as como elemen o de união do concei o de OGD: a Bu oc á ica, a Tecnológica, a Polí ica e a Econômica. Enquan o as ês p imei as pe spe i as, apon adas pelos au o es, es a iam ligadas espe i amen e aos concei os de “Dados Go e namen ais”, “Dados Abe os” e “Go e no Abe o”, a qua a eme gi ia como uma consequência do esul ado da in e cessão das ês pe spe i as sup aci adas (“Dados Go e namen ais Abe os”), já que esse e ia o po encial pa a ag ega alo econômico, a pa i das ino ações p oduzidas com base na u ilização dos dados (Be o, Megdiche, & Tes e, 2015). Pe spec i a Bu oc á ica (Dados Go e namen ais) Pe spec i a Tecnológica (Dados Abe os) Pe spec i a Polí ica (Go e no Abe o) Pe spec i a Econômica (OGD) Figu a 2 - Diag ama com o elacionamen o en e concei os e pe spec i as. Baseada no Diag ama de Gonzalez-Zapa a & Heeks. Ao analisa conjun amen e as qua o pe spe i as suge idas po Gonzalez e Heeks e as ês p incipais azões pa a a exis ência das inicia i as de dados go e namen ais abe os – que consis em em anspa ência, p omo e ino ação que ag egue alo econômico e a pa icipação a i a dos cidadãos, apon adas po A a d e al. (2015) – é possí el iden i ica uma in e conec i idade en e es es, já que as azões pa a a adoção de uma polí ica de dados abe o ao edo do mundo, ais como o comba e à co upção, pe manece am cons an es ao longo da úl ima década (Alexopoulos e al., 2014; A a d e al., 2015; Be o , Jaege , & G imes, 2010; Dos San os B i o, Cos a, Ga cia, & 7 h ps://www.whi ehouse.go / he_p ess_o ice/T anspa encyandOpenGo e nmen 7 De Lemos Mei a, 2014; dos San os B i o, da Sil a Cos a, Ga cia, & de Lemos Mei a, 2014; McHugh, 2013; Meije e al., 2012; Zuide wijk & Janssen, 2014). Mesmo que não haja um consenso en e as de inições dos concei os e seu elacionamen o (Weins ein & Golds ein, 2012), os au o es suge em que a “pa ce ia” en e os concei os pode p opo ciona o o alecimen o deles enquan o mo imen o, já que a ia ganhos pa a odos. É nesse cená io que podemos iden i ica , a pa i de 2009, que a emá ica OGD em ganhado espaço nas agendas de di e sos países (Susha e al., 2015) de o ma g adual, mas cons an e. Segundo os au o es (Shen, Riaz, Palle, Jin, & Peña-Mo a, 2015), a pa i da análise da edição de 2014 do Open Da a Ba ome e (ODB) 8 , oi possí el iden i ica 86 países analisados pa a a cons ução do anking. Na e são da publicação de 2015, esse núme o ha ia subido pa a 92 países 9 . Di e sos países êm se des acado na di usão de suas bases de dados em o ma o abe o. Podemos apon a o caso do Es ados Unidos (da a.go ) e do Reino Unido (da a.go .uk), que êm desen ol ido uma polí ica de disponibilização de suas bases em po ais especi icamen e c iados com esse obje i o (Susha e al., 2015). Nesses po ais é possí el encon a uma g ande a iedade de bases de dados (ap oximadamen e 193.976 no da a.go e 40.736 no da a.go .uk) 10 nas mais di e en es emá icas, ais como saúde, meio ambien e, gas os go e namen ais e econômicos. Independen emen e da quan idade de bases de dados disponibilizadas, a ualmen e é possí el acede dados go e namen ais de uma g ande quan idade de países de o ma acili ada. Assim, é possí el ob e in o mações sob e países como Canadá (open.canada.ca/da a), No a Zelândia (da a.go .nz), Po ugal (dados.go .p ), B asil (dados.go .b ), G écia (da a.go .g ) ou a é mesmo Nepal (da a.opennepal.ne ) 11 , den e mui os ou os. Não só o núme o de países analisados em aumen ado ao longo do empo, is o que o núme o de benchma ks ol ados pa a a emá ica dos Dados Abe os, em especial os dados go e namen ais, ambém em aumen ado ao longo desse pe íodo. Segundo Shen e al (2015) e Susha e al.( 2015), oi possí el lis a á ias inicia i as, ais como: PSI Sco eboa d (ePSI); Wo ld Bank’s Open Da a Readiness Assessmen (ODRA); Open Knowledge Founda ion’s Open Da a Index (ODI) e Capgemini Consul ing’s Open Da a Economy (ODE), além do Open Da a Ba ome e (ODB), o que e o ça o in e esse que o mo imen o do OGD em despe ado 12 . Com di e en es me odologias e obje i os, esses benchma ks buscam a alia c i é ios que passam pelo ní el de obse âncias dos Oi o P incípios, Impac o social, econômico e polí ico das inicia i as a é o g au de implemen ação ou ma u idade das polí icas de dados abe os, po exemplo. A pesa das di e enças, os benchma ks êm em comum a capacidade de a alia o p og esso da adoção de dados abe os em á ios países, ao iden i ica os pon os acos e o es dessas inicia i as com a inalidade de ajuda no desen ol imen o do p ocessos de ape eiçoamen o (Susha e al., 2015). 8 h p://openda aba ome e .o g/2ndEdi ion/ 9 h p://openda aba ome e .o g/3 dEdi ion/ epo /#execu i e_summa y 10 Os po ais o am isi ados em 24 de janei o de 2017. 11 Idem 5. 12 Além dessas inicia i as ci adas acima, ainda é possí el des aca o benchma k da O ganisa ion o Economic Co- ope a ion and De elopmen (OECD). 8 Apesa dos a anços ob idos no pe íodo ecen es, a di ulgação dos dados go e namen ais de o ma abe a ainda en en a á ios desa ios. O a o de os dados es a em disponí eis pa a download não ga an e o aumen o da anspa ência ou con ole social que esses de e iam p opo ciona (Heise & Naumann, 2012; McHugh, 2013). P oblemas elacionados a ques ões ecnológicas, como a u ilização de di e en es o ma os na di ulgação das bases (A a d e al., 2015; Dos San os B i o e al., 2014), a qualidade dos me adados ou me ain o mações disponibilizados (A a d e al., 2015; B e al., 2015; Dawes e al., 2016; McHugh, 2013) ou a é mudanças dos pa adigmas polí ico adminis a i os e e en es à ques ão da anspa ência e dados abe os 13 ep esen am desa ios que de em se conside ados quando se a a da u ilização dos OGD na p odução de sis emas de in o mação. 2.2. DADOS GOVERNAMENTAIS ABERTOS NO BRASIL O Es ado b asilei o em ilhado um longo caminho na di ulgação das in o mações públicas p oduzidas pelos go e nos e suas agências. Desde a p omulgação da Cons i uição Fede al de 1988, á ias medidas êm sido omadas pa a ga an i ao cidadão o acesso a um a iado ol de in o mações públicas (G uman, 2012; OGP, 2011; Polo, 2015). O a igo 5º, inciso XXXIII, da Cons i uição Fede al, que a i ma que “ odos êm di ei o a ecebe dos ó gãos públicos in o mações de seu in e esse pa icula , ou de in e esse cole i o ou ge al, que se ão p es adas no p azo da lei, sob pena de esponsabilidade, essal adas aquelas cujo sigilo seja imp escindí el à segu ança da sociedade e do Es ado”, ab e caminho legal pa a as inicia i as ealizadas nos anos seguin es. Na década de 1990, ainda em elação à legislação, podemos apon a dois ma cos impo an es pa a o acesso à in o mação pública (Polo, 2015). O p imei o é a adoção da Lei nº 8.159/1991, a chamada “Lei dos A qui os”, que de ine as eg as básicas pa a a ges ão documen al, a o ganização dos se iços a qui ís icos nacionais e o acesso aos documen os nes es gua dados. O segundo ma co se ia a Lei nº 9.507/1997, conhecida como “Lei do Habeas Da a”, que egula iza o inciso LXXII do a . 5º, da Cons i uição Fede al, ao assegu a o acesso às in o mações sob a o ma de “ egis os ou bancos de dados de en idades go e namen ais ou de ca á e público”. No campo ecnológico, o a anço da mic oin o má ica possibili ou que di e en es ó gãos e agências da adminis ação pública, ligados ao chamado Sis ema Es a ís ico Nacional, passassem a disponibiliza paula inamen e suas bases de dados em meios digi ais (CD-ROM e pos e io men e na In e ne ) pa a um g upo maio de usuá ios especialis as (L. de S. G. G acioso, 2004; Sen a, 2009; Sil a, 2003). Den e as inicia i as que me ecem des aque, podemos apon a as ealizadas pelo Ins i u o B asilei o de Geog a ia e Es a ís ica (IBGE), pelo Minis é io do T abalho e Emp ego (MTE) e Depa amen o Nacional de In o mação e In o má ica em Saúde (DATASUS) 14 . Essas inicia i as 13 Du an e a edação do p esen e abalho, a ecém-elei a adminis ação do P esiden e Donald T ump o denou à Agência de P o eção Ambien al (En i onmen al P o ec ion Agency – EPA) que excluísse de sua webpage in o mações e dados e e en es às mudanças climá icas. Fon e: h p://www. eu e s.com/a icle/us-usa- ump-epa-clima echange- idUSKBN15906G. 14 A pa i de 2008 o DATASUS passou a se chama Depa amen o Nacional de In o má ica em Saúde. 9 possibili a am o acesso a dados sociodemog á icos, de me cado de abalho e de mo alidade, es i os an e io men e aos ambien es de g ande po e (main ames). A década de 2000 ep esen ou a consolidação de um conjun o de e amen as, desen ol idas no inal da década an e io , elacionadas ao o alecimen o do go e no ele ônico (E-go ) den o da adminis ação ede al (Ja dim, 2004). Tendo sido bene iciadas pelo sucesso no en en amen o do “bug do milênio”, as á eas de ICT do go e no ede al ap o ei a am-se da es u u ação de seu pa que ecnológico (Diniz, Ba bosa, Junquei a, & P ado, 2009) pa a ape eiçoa a u ilização dessas e amen as den o da adminis ação pública. Den e as á ias inicia i as, podemos des aca o Sis ema In eg ado de Adminis ação Financei a do Go e no Fede al (SIAFI) des inado ao egis o, con ole e acompanhamen o da execução o çamen á ia, inancei a e pa imonial do Go e no Fede al 15 . Em 2003 é c iada a Con olado ia Ge al da União (CGU) com o obje i o de inc emen a as ações de anspa ência e con ole ol adas pa a o comba e à co upção (G uman, 2012; Polo, 2015). Em 2004 a CGU lança o Po al da T anspa ência 16 (Polo, 2015) com o obje i o de cen aliza a ap esen ação dos dados de uma sé ie de sis emas go e namen ais b asilei os. A pa i de 2009, com a publicação da Lei Complemen a 131 que de e mina a a disponibilização das in o mações o çamen á ias e inancei as em empo eal, há um aumen o na ab angência das in o mações disponibilizadas no Po al (Pai a, Re o edo, & Baião, 2016), ampliando com isso a sua isibilidade. Em se emb o de 2011, o B asil ade e ao Open Go e nmen Pa ne ship (OGP), como um dos países co undado es (Dos San os B i o e al., 2014; OGP, 2011). O OGP é uma inicia i a de oi o nações (B asil, Indonésia, México, No uega, Filipinas, Á ica do Sul, Reino Unido e Es ados Unidos) 17 que em como obje i o p incipal assegu a o comba e a co upção, a p omoção da anspa ência e a pa icipação cí ica po meio de uma ges ão pública abe a, e icaz e com esponsabilidade (F ei as & Daco so, 2014). Nessa mesma época, é c iado o Comi ê In e minis e ial pa a Go e no Abe o (CIGA), cujo obje i o se ia cen aliza os deba es elacionados à implemen ação e ao moni o amen o do 1º Plano de Ação Nacional pa a Go e no Abe o (Guima ães, 2014; OGP, 2011). Em no emb o de 2011, é p omulgada a Lei de Acesso à In o mação (LAI, Lei nº 12.527, de 18 de no emb o de 2011) que de ine em seu a igo 3º “a publicidade como p ecei o ge al e o sigilo como exceção e a di ulgação de in o mações de in e esse público, independen emen e de solici ação” (A. K. Pe ei a, Pi es, & Pin o, 2014). Na p á ica, a LAI inalmen e egula o acesso à in o mação que oi p e is o no inciso XXXIII do a igo 5º, no inciso II do § 3º do a igo 37 e no § 2º do a igo 216 da Cons i uição Fede al de 1988 (Cin ão & Bizelli, 2013; G uman, 2012). Em ab il de 2012, oco e em B asília a p imei a con e ência anual da Pa ce ia pa a Go e no Abe o, en ão com 38 países pa icipan es (Guima ães, 2014). Nesse encon o, oco e a c iação de um G upo de T abalho (GT) da Sociedade Ci il. Apesa da exis ência do GT, a sua pa icipação no CIGA não em ca á e o icial, sendo po isso um mo i o de a i o en e a sociedade ci il e o go e no (S eibel, 2014). Ainda em ab il de 2012, a Ins ução No ma i a SLTI/MP nº 4, ins i ui a In aes u u a Nacional de Dados Abe os (INDA) que se cons i ui em “um conjun o de pad ões, 15 h p://www. esou o. azenda.go .b /sia i 16 h p://www.po alda anspa encia.go .b / 17 Em e . de 2017, 75 países pa icipa am da pa ce ia - h p://www.opengo pa ne ship.o g/abou . 10 ecnologias, p ocedimen os e mecanismos de con ole necessá ios pa a a ende às condições de disseminação e compa ilhamen o de dados e in o mações públicas no modelo de Dados Abe os” 18 , con o me os Pad ões de In e ope abilidade de Go e no Ele ônico (e-PING) 19 . Em maio de 2012 a LAI en a e e i amen e em igo , con o me de inido em seu a igo 47º. No mês seguin e, ai ao a a p imei a e são do po al o icial de dados abe os b asilei o - Dados.go .b (Ma heus & Ribei o, 2014). Em ab il de 2013, a CGU publica o “Guia de Implan ação de Po ais de T anspa ência” com um conjun o de pa âme os ou suges ões pa a que os di e en es ní eis ede a i os desen ol am os espe i os po ais de anspa ência (Resende & Nassi , 2015). No mês seguin e, maio de 2013, a CGU di ulga ao im da igência do 1º Plano de Ação Nacional pa a Go e no Abe o uma a aliação apon ando que, dos in a comp omissos i mados, in e e seis ha iam sido concluídos e dois não ha iam sido iniciados con o me o planejado 20 . Den e esses dois, o comp omisso “Realização de pesquisa pa a iden i icação das demandas da sociedade sob e acesso a in o mação, isando ao ape eiçoamen o da polí ica de anspa ência a i a” oi subs i uído pela c iação do Sis ema Ele ônico do Se iço de In o mação ao Cidadão (e-SIC). Esse sis ema possibili a aos cidadãos solici a acesso às in o mações ainda não disponibilizadas em ou os po ais de o ma simpli icada 21 . Ainda em maio, é lançado o 2º Plano de Ação Nacional pa a Go e no Abe o, com inicialmen e 45 comp omissos assumidos po 17 ó gãos do go e no. Em julho de 2013, após uma e isão p opos a pelo G upo Execu i o do CIGA, mais se e comp omissos são incluídos no 2º Plano de Ação, sendo qua o desses o iundos de suges ões da sociedade ci il. Den e as ações p e is a den o do 2º Plano, em 2014, podemos des aca a c iação do Po al B asilei o de Pa icipação Social (www.pa icipa.b ) cujo obje i o é euni “in o mações sob e opo unidades de pa icipação social no go e no ede al e es imula a o mação de comunidades de usuá ios” 17. Ou a ação que me ece des aque em 2014 oi a ealização do P og ama B asil T anspa en e, que em po obje i o dissemina e apoia a implan ação da LAI e das inicia i as de go e no abe o pa a os demais en es ede a i os. No campo legisla i o, em agos o de 2014, o P oje o de Lei (PL) 7804/2014 22 oi ap esen ado na Câma a dos Depu ados, o que le a ia à ins i uição da Lei de Dados Abe os, com o obje i o de no ma iza os p ocedimen os pa a a disponibilização de dados abe os e in e aces de aplicação Web pelos en es ede a i os. Em 2015, com a inalidade de a alia a adoção das inicia i as de go e no abe o pelos Es ados e Municípios, a CGU lança um anking, denominado de Escala B asil T anspa en e (EBT), que consis e em um conjun o de doze quesi os de a aliação que em o obje i o de medi o g au de anspa ência e obse ância à Lei de Acesso à In o mação 23 . 18 h p://wiki.g inda.ibge.go .b / 19 h ps://www.go e noele onico.go .b /eixos-de-a uacao/go e no/ges ao/in e ope abilidade/eping-pad oes-de- in e ope abilidade-de-go e no-ele onico 20 CGU - 2º Plano de Ação B asilei o - h p://www.go e noabe o.cgu.go .b /no-b asil/planos-de-acao-1/2o-plano-de- acao-b asilei o. 21 De janei o de 2013 a é janei o de 2017 o am ei as 206.211 solici ações de acesso às in o mações ao e-SIC. De e-se essal a que dessas, 35.562 solici ações o am negadas e ou as 19.335 i e am acesso pa cialmen e concedidos - h ps://esic.cgu.go .b /sis ema/si e/index.h ml 22 h p://www.cama a.go .b /p oposicoesWeb/ ichade ami acao?idP oposicao=620193 (25 de se emb o de 2017) 23 h p://www.cgu.go .b /assun os/ anspa encia-publica/escala-b asil- anspa en e/me odologia) 11 Em dezemb o de 2015, ao inal do p azo de igência do 2º Plano de Ação Nacional pa a Go e no Abe o, 69% das ações p e is as ha iam sido implemen adas e o es an e se encon a a em execução pelos ó gãos esponsá eis. Em 2016, o Go e no B asilei o inicia a cons ução do 3º Plano de Ação Nacional pa a Go e no Abe o, pa a o biênio 2016 – 2018. O plano igen e é compos o po dezasseis comp omissos elabo ados com a pa icipação de ep esen an es da sociedade ci il e do go e no, que nessa edição incluiu ep esen an es dos pode es Execu i o, Legisla i o e Judiciá io. Não azendo pa e do 3º plano de ação, mas sendo ine i a elmen e elacionado a es e, é assinado o dec e o nº 8.777 de maio de 2016 24 que ins i ui inalmen e a polí ica de dados abe os do pode Execu i o Fede al. Apesa dos a anços obse ados no pe íodo, as polí icas de dados abe os no B asil ainda en en am á ios desa ios. P oblemas elacionados com ques ões ecnológicas e bu oc á icas azem com que o país ique aquém de suas possibilidades no campo dos dados go e namen ais abe os. Em elação às ques ões ecnológicas, mesmo com a c iação da INDA, a inexis ência de um pad ão pa a a di ulgação dos a qui os de dados di icul a sua plena u ilização. Con o me apon ado po Shen e al (2015), essa al a de ade ência, dos dados disponibilizados, aos p incípios dos Dados Abe os ambém aca e a em uma pe da de posição do país nos ankings in e nacionais. Além dessa di e sidade de o ma os de di ulgação, ques ões como a ausência de uma documen ação de alhada, di e enças na g anula idade dos dados e equência de a ualização (Pai a e al., 2016) o nam a a e a de u ilização mais di ícil. 2.3. DADOS EDUCACIONAIS Pa a ins de exempli icação das soluções de DW do p esen e abalho, se ão u ilizadas algumas bases de dados públicas ela i as à emá ica da educação no B asil. O moni o amen o e a análise dos dados educacionais ep esen am, independen e da ma iz ideológica ou mo i ação, uma aliosa on e de in o mação pa a o desen ol imen o das polí icas públicas. Nesse sen ido, podemos da a a u ilização desses dados de o ma mais in ensi a após a segunda me ade do século XX (Capis ano, Ci o o, Nascimen o, & Sil a, 2016). Segundo P onko (2015), na década de 1960 a O ganização das Nações Unidas pa a a Educação, a Ciência e a Cul u a (UNESCO) assume a educação como sendo o seu comp omisso p incipal. Não obs an e a educação já ep esen a na época um di ei o básico uni e sal 25 , essa mudança de pa adigma é jus i icada pelo o alecimen o da eo ia do c escimen o econômico o iunda do inal da década de 1950, especialmen e no que ange à ques ão do capi al humano e nos in es imen os pa a a o mação dos indi íduos – nesse caso especí ico, a massa de abalhado es (Pos , 2015; 24 h p://www.planal o.go .b /cci il_03/_A o2015-2018/2016/Dec e o/D8777.h m 25 h p://unesdoc.unesco.o g/images/0013/001394/139423po .pd 12 P onko, 2015; Viana & Lima, 2010). Essa isão economicis a do p ocesso educacional demandou das nações e dos o ganismos in e nacionais a p odução de dados que pe mi isse o moni o amen o e a a aliação dos in es imen os ealizados. Nesse cená io des aca-se, além da p óp ia UNESCO, a a uação de ou os o ganismos in e nacionais na di usão do binômio “educação & desen ol imen o”, ais como a O ganização pa a a Coope ação e o Desen ol imen o Econômico (OECD), o Comi ê de Assis ência ao Desen ol imen o (DAC) e o Banco Mundial (WB). Esse iés econômico dos p ocessos educacionais pe du ou a é meados da década de 1970. P onko (2015) ilus a que nesse pe íodo o se o educacional do Banco Mundial e a exclusi amen e o mado po p o issionais da á ea de economia. É na década de 1970 que oco e a consolidação da OECD como um o o cen al na p odução de es a ís icas na á ea educacional ao edo do mundo. O P og ama In e nacional de A aliação de Es udan es (PISA) é uma inicia i a desen ol ida pela o ganização que em po obje i o a cole a de in o mações e a p odução de indicado es que possibili em a compa ação en e países. No inal da década de 1990, é c iado o Ins i u o de Es a ís ica da Unesco (UIS) com um de seus obje i os p incipais apoia o desen ol imen o de sis emas es a ís icos nacionais ol ados pa a as á eas de educação, ciência e cul u a (Capis ano e al., 2016). Além do P og ama In e nacional de A aliação de Es udan es, á ias ou as inicia i as êm sido desen ol idas a pa i das bases de dados educacionais. Desde o início da década de 2000, o Rela ó io Global de Moni o amen o da Educação (GEM) é p oduzido pela UNESCO com o obje i o de moni o a os p og essos das me as educacionais – inicialmen e do p og ama “Educação pa a Todos” (EFA) e pos e io men e do “Obje i os de Desen ol imen o Sus en á el” (SDG) – em di e en es países do mundo, subsidiando a sociedade ci il em suas demandas po mudanças e o çando os go e nos pa a o deba e (Pos , 2015). Não só os go e nos e a sociedade ci il êm mos ado in e esse nos dados educacionais. Os se o es p i ados eem cada ez mais no segmen o educacional um campo pa a a ealização de in es imen os e de luc os (Ve ge , Lubienski, & S eine -Khamsi, 2016) e êm u ilizado os dados educacionais pa a esse im. Sejam cole ados po meio de pesquisas ou po meio de egis os adminis a i os, os dados p oduzidos no p ocesso de educa as u u as ge ações p o êm in o mações e e en es a uma a iada gama de mé icas sob e alunos (absen eísmos, p o iciência, desempenho, e c.), ins i uições (es u u a ísica e adminis a i a, co po docen e, e c) ou docen e (ní el de o mação, á ea de a uação, e c.), que possibili am a c iação de indicado es e análises pelos mais a iados c i é ios. No âmbi o dos países, a esponsabilidade da p odução e consolidação das in o mações educacionais públicas pode se a ibuída a di e en es a o es. No malmen e es as a i idades es ão inculados ao minis é io ou depa amen o de educação do país ou a algum ó gão ou ins i u o de alguma o ma elacionado a esse (Capis ano e al., 2016). Nesses casos, as in o mações p oduzidas p opõem-se a in es iga a in aes u u a e o ganização ( u mas, escolas ou uni e sidades), as pessoas en ol idas no p ocesso (discen es, docen es ou uncioná ios écnicos e adminis a i os) e os esul ados ob idos ( axas de p o iciência ou desempenho). Es es êm como p incipal obje i o moni o a e o ien a a execução das polí icas públicas na á ea educacional. 19 que buscam a ex ai au oma icamen e (semp e que possí el) a es u u a dos dados de en ada e p opo soluções pa a os p ocessos de ex ação e a mazenamen o (Be o, Megdiche, & Tes e, 2015) Análise dos Sis emas de In o mação exis en es na emp esa (Inpu - dados) Especi icação dos eque imen os de in o mação demandadas ( Ou pu - in o mações) Design concei ual da solução (de inição do modelo dimensional, hie a quias, dimensões e mé icas) Design lógico da solução (de inição das abelas e elacionamen os) Design ísico da solução (de inição de o imizações de pe o mance e índices ) Figu a 3 - Fluxo de desen ol imen o de um Da a Wa ehouse. Baseado em Gol a elli & Rizzi, 1999. 3.2. DATA WAREHOUSING NAS CIÊNCIAS SOCIAIS Mesmo exis indo uma as a li e a u a que a a do desen ol imen o de sis emas de Da a Wa ehouse, a cons ução de uma solução de DW baseada em es a ís icas públicas e com oco nas Ciências Sociais ap esen a ca ac e ís icas e desa ios p óp ios. Di e en es au o es ela am que a cons ução de sis emas de in o mação baseados em es a ís icas públicas cos uma ap esen a peculia idades elacionadas a in eg ação e compa ibilização dos dados (Pa e son, 2003), à o ma de ealização do le an amen o de equisi os e necessidades dos usuá ios (Schae e , Tan ikulu, & B ei e , 2011) ou à quan idade de mé icas ou dimensões u ilizadas (Be nd , He ne , & S udnicki, 2003; Pa e son, 2003). Pa e son (2003) de alha essas di e enças e as ag upa em cinco g andes ca ego ias: con ex o ins i ucional, g upo de possí eis usuá ios, on es de dados, p ocessos de in eg ação dos dados e as es a égias de análise possí eis. O con ex o ins i ucional de ine a isibilidade, os obje i os e as di e izes que ão no ea a cons ução da solução de DW. No caso das soluções emp esa iais, esses ês componen es no malmen e são bem de inidos e, mesmo podendo a ia en e emp esas, são ocados pa a o 20 in e io da p óp ia ins i uição com o obje i o de a e i an agens compe i i as (luc o) e guiados pelas es a égias de negócio elabo adas in e namen e. Na cons ução de uma solução ol ada pa a o público das Ciências Sociais esses componen es não são necessa iamen e bem cla os nem exclusi os. Nesses casos, as soluções no malmen e ap esen am um escopo abe o, pois, mesmo quando são desen ol idos den o de uma única ins i uição, são elabo ados pa a e em isibilidade o a des as. Também são di e en es seus obje i os e di e izes, is o que são ocados em a ende demandas sociais e a o ece a elabo ação de polí icas públicas (que podem a ia dependendo do local e da época) bem como são guiados po no mas cons i ucionais ou a ados in e nacionais – que indicam mui o mais quais são os pa âme os desejados ou ideais, do que os caminhos pa a se em seguidos. A análise do g upo de u ilizado es dos dois sis emas (os co po a i os e os ol ados pa a a á ea social) e ela g andes di e enças en e eles. Enquan o os u ilizado es dos sis emas co po a i os são compos os pelos ní eis ge enciais ou écnicos des as ins i uições, as soluções ol adas pa a a á ea social possuem um co po de u ilizado es he e ogêneos, que pode a ia de um minis o de es ado ao cidadão comum. Essa he e ogeneidade dos u ilizado es ica la en e em di e en es ases do p ocesso de cons ução dos DW na á ea social. Con o me apon ou Schae e e al (2011), o le an amen o de equisi os do sis ema nesses casos cos uma se di e enciado, uma ez que as in o mações p ecisam se ob idas, po exemplo, en e di e en es pesquisado es indi iduais que podem es a espalhados em dis in as ins i uições a abalha p opósi os pa icula es. Além disso, como há uma g ande di e sidade de me odologias, concei os e obje i os emp egados po es es, o na-se di ícil algumas ezes a ingi alguns consensos sob e o melho design a se u ilizado. Isso ica isí el quando compa amos o núme o de mé icas necessá ias pa a a ende as demandas de in o mação de cada g upo de usuá ios. Enquan o os usuá ios co po a i os abalham com, no máximo, duas dezenas de mé icas de ido à mul iplicidade de obje i os e público da solução, a quan idade de mé icas pode passa acilmen e desse núme o. Com e ei o, Be nd e al. (2003), a am de um sis ema de DW com mais de 250 “indicado es” ol ados pa a ins de planejamen o de saúde de comunidade locais da Fló ida (EUA). Tal ez sejam no âmbi o das on es e in eg ação de dados que as di e enças en e as duas es u u as sejam mais e iden es. Quando a amos ca ac e ís icas ela i as à aquisição dos dados, os sis emas co po a i os se ca ac e izam po ap esen a uma equência al a e egula , no malmen e diá ia ou semanal. Os dados são o emen e pad onizados e obedecem às especi icações de inidas pelas es a égias de negócio da emp esa. Ao passo que nos sis emas ol ados pa a ciências sociais, a pe iodicidade de aquisição dos dados é baixa, sendo mui o comum ap esen a pe iodicidade anual (dados demog á icos) ou imes al (dados econômicos). A pad onização dos dados exis e, mas ap esen a maio g au de a iabilidade ao longo do empo, já que os enômenos po es es in es igados cos umam a ia con o me os ciclos de mudanças sociais. Ou a g ande di e ença eside na o ma como os dados são p oduzidos. No caso dos dados co po a i os, esses são o iundos dos sis emas ansacionais a elados aos p ocessos p odu i os e aos negócios das emp esas. Enquan o os dados que alimen am os DW sociais, p o êm 21 no malmen e de pesquisas censi á ias ou inqué i os socioeconômicos. Mesmo quando são o iundos de egis os adminis a i os (in o mações sob e a endimen os hospi ala es, po exemplo) cos uma ha e uma la ência en e a sua p odução/aquisição e a di ulgação inal. No ocan e à in eg ação dos dados, uma das di e enças en e as soluções eside na o ma pela qual as on es de dadossão acedidas. Como já oi di o an e io men e, os dados nas soluções co po a i as são no malmen e ex aídos dos bancos de dados elacionais que dão supo e aos sis emas ansacionais des as. No caso dos dados do DW social, pelo a o de os dados se em p oduzidos – na sua maio ia – po o ganizações públicas ligadas às di e en es es e as de go e no, é quase ce o que o acesso aos “sis emas ansacionais” dessas ins i uições não seja possí el, limi ando o acesso aos a qui os de es u u a unidimensionais ( la iles) disponibilizados 36 . Dependendo dos equisi os de in o mações le an ados com os usuá ios ou pesquisado es, a quan idade de on es de dados pode c esce ao pon o de o na o p ocesso de ca ga dos dados bas an e complexo, já que cada uma das on es u ilizadas pode ap esen a layou , pad onização e codi icação di e en es, não só en e ins i uições, mas en e on es/pesquisas de uma mesma ins i uição. No malmen e, a ligação en e as di e en es on es oco e somen e po médio das dimensões geog á ica ( e i ó io) e empo al. Po úl imo, o consumo e análise das in o mações p oduzidas ambém ap esen a di e enças en e ambos os ipos de soluções. Enquan o nas soluções co po a i as a u ilização de e amen as de OLAP (Online Analy ical P ocessing) ou de dashboa ds com a ep esen ação isual dos indicado es cha e de desempenho (KPIs) são co iquei as, no ambien e das Ciências Sociais essas soluções nem semp e são possí eis ou desejá eis. Como já oi di o acima, a he e ogeneidade dos u ilizado es, assim como a mul iplicidade de obje i os desses sis emas, az com que a u ilização de e amen as ou écnicas mais complexas de isualização de dados in imide ou a é a as e possí eis u ilizado es não especialis as. Nesses casos, pode se comum o desen ol imen o de mais de uma e amen a a im de a ende esses di e en es públicos. Abaixo, a Tabela 1 ap esen a um esumo dessas di e enças. DATA WAREHOUSE EMPRESARIAL DATA WAREHOUSE NAS CIÊNCIAS SOCIAIS CONTEXTO Escopo Ins i ucional In e no a emp esa Uma ou mais ins i uições, com isibilidade abe a mui as ezes pa a a sociedade Obje i o Ob e an agens compe i i as A ende demandas sociais e a elabo ação de polí icas públicas Di e izes Es a égia co po a i a Guiados po no mas cons i ucionais ou a ados in e nacionais UTILIZADORES Base de u ilizado es Homogêneo - Ní eis écnicos e ge enciais das emp esas He e ogêneo - Ges o es go e namen ais, pesquisado es e o público em ge al 36 Mais ecen emen e, algumas ins i uições b asilei as p odu o as de dados passa am a disponibiliza seus dados em o ma os XML e JSON. 22 DADOS F equência de aquisição Al a e egula - aquisição diá ia ou semanal Baixa e em alguns casos i egula - Aquisição Decenal, anual, imes al ou mensal Pad onização Al o ní el de pad onização Pad onização exis e, mas pode a ia ao longo do empo e en e as di e en es on es e ins i uições Fo ma de aquisição Especi icada pelos ní eis ge enciais e os obje i os das emp esas Especi icado po di e en es g upos de pesquisado es ou écnicos go e namen ais INTEGRAÇÃO DOS DADOS Fon e(s) Limi ada - no malmen e aos sis emas ansacionais in e nos Múl ipla - p oduzidas po di e en es ó gãos go e namen ais G au de ligação Al o, já que os dados são cons uídos com essa inalidade Baixo, no malmen e limi ados aos ní eis geog á ico e empo al O ganização O ganizados em bases de dados elacionais O ganizado segundo emá icas e disponibilizados em a qui os de es u u a unidimensionais ANÁLISES Fe amen as de análise Fe amen as OLAP e Dashboa d Di e en es o mas de isualização, dependendo do público u ilizado . Tabela 1 - Resumo das di e enças en e as es u u as. Baseado em Pa e son (2003) 3.3. INDICADORES SOCIAIS COMO MÉTRICAS DE UM DW Não só pela g ande quan idade é que se des aca a cons ução das mé icas em um DW ol ado pa a a á ea de humanidades. Conhecidos como Indicado es Sociais, ais mé icas possuem aje ó ia ão longa em empo quan o o su gimen o dos p imei os g andes compu ado es come ciais. Da ando de meados da década de 1960, o chamado “Mo imen o de Indicado es Sociais” su ge como uma en a i a de ape eiçoa os sis emas es a ís icos pa a acompanhamen o das ans o mações sociais em um cená io di idido en e o c escimen o econômico e a pe sis ência de ele ados ní eis de pob eza, obse ados ao edo do mundo (Jannuzzi, 2001). Ainda segundo Jannuzzi, um indicado social é uma adução “em ci as angí eis e ope acionais” de di e en es dimensões que po oam a ealidade de uma de e minada sociedade. Essas ci as angí eis nada são mais que medidas, na sua maio ia quan i a i as, que en am c is aliza enômenos sociais de modo a o ná-los ope acionalizá eis, seja pa a ins acadêmicos, seja pa a a o mulação de polí icas públicas. A na u eza quan i a i a dos indicado es sociais é uma ca ac e ís ica desejá el – na medida em que possibili a a compa ação – ao longo do empo ou en e di e en es egiões geog á icas de di e en es dimensões (gêne o, aça, idade, classe social, e c.) da ida social de uma de e minada população. Com isso, medidas como axa de anal abe ismo, axa de p o iciência ou cus o médio po aluno no 23 ensino público podem se calculadas e se i de pa âme os pa a a co eção ou ape eiçoamen os das polí icas educacionais de um país ou egião. Po consis i em p edominan emen e em pe cen agens e ácios ( azões), os indicado es sociais ap esen am uma ca ac e ís ica que in luencia o p ocesso de planejamen o e desen ol imen o de soluções de DW pa a ciências humanas. Tais medidas cons i uem os chamados a os não-adi i os que são aqueles que, em uma es u u a dimensional, não podem se somados em nenhuma de suas dimensões ( ais como empo ou e i ó io, po exemplo), já que o esul ado de al soma não possui qualque signi icado álido. Esses casos, a li e a u a (G oup Kimball, 2013) ecomenda que sejam a mazenados sepa adamen e os componen es o almen e adi i os do indicado (no caso de uma pe cen agem, os alo es do nume ado e do denominado ) pa a que, no momen o da exibição dos esul ados, sejam ealizados os cálculos necessá ios pa a a c iação do indicado . Apesa de ela i amen e simples, al solução esconde algumas a madilhas. Como e emos no capí ulo 4.4, é necessá io que haja um cuidadoso mapeamen o dos indicado es pa a e i a o a mazenamen o duplicado de in o mações, ais como o ais populacionais. Além disso, de e se le ado em conside ação que, dependendo da e amen a u ilizada, a execução dos cálculos em empo execução da demanda, pode a e a o desempenho des a. 3.4. A DIMENSÃO TEMPO NAS CIÊNCIAS SOCIAIS A dimensão empo al ou somen e empo é undamen al na cons ução de qualque sis ema de DW, pois pe mi e aos u ilizado es acompanha a e olução ou mudanças nos enômenos e e en os in es igados. Nos sis emas de DW emp esa iais a dimensão empo ap esen a um al o ní el de de alhamen o, no malmen e ao ní el das da as do calendá io, com g anula idade de um único dia (Kimball & Case a, 2015), mas podendo chega ao de alhamen o de ho as e minu os - em sis emas que analisem as endas ao longo de um dia, po exemplo. No caso dos sis emas desen ol idos pa a as Ciências Sociais, quase nenhuma in o mação é p oduzida com um g au de de alhamen o no que conce ne à ho a e minu o da oco ência do e en o 37 . Mesmo quando possuem uma pe iodicidade de p odução diá ia, na maio ia das ezes as in o mações são di ulgadas de o ma a se em ag egadas em unidades de análise mensais ou imes ais (como no caso dos dados sob e me cado de abalho) ou anuais (nos casos de dados demog á icos ou educacionais). Na maio ia dos casos, pa a as análises no malmen e ealizadas com essas in o mações, a pe iodicidade de di ulgação é mais que su icien e pa a sa is aze as necessidades in es iga i as (ins i u os de pesquisas ou acadêmicas) ou p á icas ( écnicos go e namen ais e o mulado es de polí icas públicas). Isso não signi ica que os sis emas de DW pa a as ciências sociais não possam abalha com ní eis de de alhamen o empo al mais p óximos aos encon ados em seus pa es co po a i os. É possí el pensa na u ilização de écnicas de DW e de mine ação de dados pa a medi enômenos, ais como a e asão escola de alunos, po meio da combinação de di e en es on es de dados, em que uma 37 Os dados de mo alidade são uma exceção a essa eg a, já que possuem a indicação do dia e ho a em que o óbi o oco eu. 24 das g anula idades pode ia se o absen eísmo diá io dos alunos, ex aído a pa i dos sis emas ansacionais das ins i uições de ensino (Rigo, Camb uzzi, Ba bosa, & Cazella, 2014). 3.5. DESAFIOS PARA A CONSTRUÇÃO DE UM DW COM OS DADOS PÚBLICOS BRASILEIROS No caso dos dados públicos b asilei os, é possí el iden i ica á ios pon os indicados pelos au o es. No que conce ne à ques ão das on es de in o mação, encon amos na his ó ia ecen e do país uma g ande di e sidade de ins i uições p odu o as de in o mações públicas, sendo ex ensa a elação de bases de dados p oduzidas e disponibilizadas po es as ins i uições. Em ou ub o de 2017, es a am disponibilizados no ca álogo do Po al B asilei o de Dados Abe os 38 ap oximadamen e 3.290 conjun os de dados, p oduzidos po 92 di e en es o ganizações, den e minis é ios e agências go e namen ais. Além dessas on es, ainda exis em os dados p oduzidos e di ulgados pelo Ins i u o B asilei o de Geog a ia e Es a ís ica (IBGE), o Ins i u o Nacional de Es udos e Pesquisas Educacionais Anísio Teixei a (INEP) e pelo Depa amen o de In o má ica do Sis ema Único de Saúde (DATASUS), que apesa de não es a em lis ados no po al, são egula men e disponibilizados na o ma de mic odados. Essa g ande a iedade de on es e ins i uições exige que o desen ol imen o de qualque solução enha que conside a di e en es pad ões de di ulgação dos dados e me adados na sua elabo ação. Além da a iedade de bases exis en es, o desen ol imen o dessas soluções de Da a Wa ehousing, de e lida com al e ações na es u u a dos a qui os, que oco em ao longo do empo den o de um mesmo conjun o de dados. Essas al e ações de em-se, em pa e, à complexidade dos enômenos sociais es udados (Sil a, 2003) que aca e a, con o me a á ea emá ica, uma cons an e a ualização das in o mações in es igadas. Ao analisa somen e duas das bases de dados (Censo Escola da Educação Básica e o Censo da Educação Supe io ) p oduzidas pelo Ins i u o Nacional de Es udos e Pesquisas Educacionais (INEP), é possí el iden i ica um aumen o no núme o de a iá eis in es igadas de ap oximadamen e 49,8% (Censo Escola ) e de 31,2% (Censo da Educação Supe io ), en e os anos de 2010 e 2015 39 . Ou as bases de dados públicas ap esen am as mesmas ca ac e ís icas. A Pesquisa Nacional po Amos a de Domicílios (PNAD), di ulgada anualmen e pelo IBGE desde a década de 1970 e descon inuada em 2015, comumen e ap esen a a al e ações em seu layou de ido a inclusões, ao seu co po básico adicional, de suplemen os emá icos especiais. Essas cons an es a ualizações, além da di e sidade de o mas de es u u ação das bases de dados, ob igam que os p ocessos de ex ação, ans o mação e ca ga (ETL, do inglês Ex ac T ans o m Load), no mais no desen ol imen o de um DW, enham que se cons an emen e e is os e a ualizados, de modo a aumen a o cus o dessa e apa já adicionalmen e dispendiosa (Kimball & Case a, 2015). 38 h p://dados.go .b / (consul ado em 10 de ou ub o de 2017). 39 Le an amen o ealizado pelo au o a pa i dos me adados disponibilizados pelo Ins i u o Nacional de Es udos e Pesquisas Educacionais (INEP). 25 O en endimen o dessas pa icula idades pode ep esen a um dos a o es de sucesso ou acasso no desen ol imen o de uma solução baseada em es a ís icas públicas e po esse mo i o de em se melho comp eendidas e documen adas. 26 4. IMPLEMENTAÇÃO DA SOLUÇÃO DE DATA WAREHOUSING 4.1. ABORDAGENS PARA A CONSTRUÇÃO DE UM DATA WAREHOUSE Segundo á ios au o es (Lis e al., 2002; Sá e al., 2012), exis em ês abo dagens comumen e u ilizadas no p ocesso de desen ol imen o de um sis ema de Da a Wa ehouse: “Goal-d i en”, “Da a-d i en” ou “Use -d i en”. Baseada nesses au o es, a abela abaixo (Tabela 2) desc e e as p incipais ca ac e ís icas dessas ês abo dagens. Abo dagem Foco A o Van agens Des an agens Goal-d i en Key Pe o mance Indica o (KPI) Ní eis ge enciais médios e al os É ocado di e amen e nas mé icas de desempenho da emp esa. Depende do en ol imen o dos ní eis ge enciais. Use - d i en Necessidades do negócio Usuá ios da camada de negócio É baseado na pa icipação di e a dos usuá ios no p ocesso de cons ução do modelo Pode con undi os obje i os dos usuá ios com os obje i os do negócio. Além disso, po não le a em conside ação ou os aspec os a p io i (análise dos dados disponí eis). Da a- d i en Base de dados Sis ema ansacional (Modelo En idade Relacionamen o) Possibili a que o modelo dimensional seja c iado de o ma ápida. Pode c ia es u u as de dados dis uncionais, já que pode ha e uma desconexão en e os dados a mazenados e as necessidades dos usuá ios. Tabela 2 - P incipais ca ac e ís icas das abo dagens u ilizadas pa a o desen ol imen o de um DW. Podendo se u ilizadas sepa adamen e ou de o ma combinada (Guo e al., 2006; Sá e al., 2012), essas abo dagens le am em conside ação que os elemen os necessá ios pa a a elabo ação de um DW (obje i os, usuá ios e dados) esidem sob uma mesma ins i uição. No caso dos eposi ó ios de dados abe os di icilmen e é possí el encon a as condições necessá ias pa a a u ilização dessas abo dagens de o ma pu a, seja po que há di e en es obje i os pa a a cons ução do eposi ó io, con o me o g upo de usuá ios en ol ido (Schae e e al., 2011), seja po que os dados encon am-se dispe sos en e di e en es ins i uições, com di e en es g aus de es u u ação (B e al., 2015; Be o e al., 2015; Cole a e al., 2012; Heise & Naumann, 2012). Essas ca ac e ís icas (pode assumi di e en es inalidades e e as on es de dados com baixa es u u ação) azem com que as soluções de DW baseadas em dados abe os enham que se ale de no as abo dagens pa a a c iação dos eposi ó ios, em especial no que se e e e às a e as de in eg ação dos dados (ETL). 27 No p esen e abalho, p e endemos desen ol e pa e da abo dagem p opos a po Be o e al. (2015), em que o p ocesso de desen ol imen o do eposi ó io é guiado de o ma au omá ica, “semp e que possí el” pela es u u a encon ada nas on es dos dados. Essa abo dagem, desc i a pelos au o es como “Con en -d i en”, apa en a aze an agens pa a o desen ol imen o de soluções de eposi ó io de dados abe os, já que se baseia nas es u u as exis en es nos a qui os unidimensionais (CSV, TXT, XLS, e c.) e não nos sis emas ansacionais – indisponí eis pa a a maio ia dos usuá ios, no caso dos dados abe os. A pa i da análise das es u u as exis en es nos a qui os unidimensionais, espe a-se iden i ica pad ões que auxiliem no p ocesso de desen ol imen o do modelo mul idimensional. 4.2. LEVANTAMENTO DOS REQUISITOS A ualmen e, o Ins i u o B asilei o de Análise Sociais e Econômicas - IBASE possui uma solução pa a a cole a e isualização de in o mações den o de um sis ema denominado Indicado es da Cidadania (Incid). O Incid 40 oi desen ol ido em 2011 com a inalidade de analisa a e e i idade da cidadania obse ada no e i ó io pa a moni o amen o do es ado da cidadania em 14 municípios da chamada Á ea de In luência do Complexo Pe oquímico do Es ado do Rio de Janei o (Compe j). As e amen as a ualmen e em uncionamen o são: O Sis ema de Indicado es de Cidadania - É compos o po indicado es de ca á e quan i a i o que buscam in e p e a as in o mações sob a pe spe i a de Cidadania E e i a, is o é, “o di ei o de odos e odas a e em di ei os iguais, undada no econhecimen o em nós e nos ou os da i ula idade de di ei os e de esponsabilidades comuns po eles”. Figu a 4 - Si e do Incid. De alhamen o das “dimensões da cidadania”. 40 h p://incid.o g.b / 28 Mapas da Cidadania – Enquan o o Sis ema de Indicado es de Cidadania ep esen a a pa e concei ual do p oje o, os Mapas da Cidadania ep esen am a o ma de isualização e consumo das in o mações a mazenadas no sis ema. A ideia po az dos Mapas da Cidadania é possibili a um acesso ácil às in o mações sob a o ma de mapas emá icos (ca og amas) de lei u a ápida e in ui i a. Figu a 5 - Exemplo de ca og ama dos Mapas da Cidadania. Além de ap esen a as in o mações na o ma de mapas, a e amen a ambém possibili a a ge ação de g á icos e abelas expo á eis. Figu a 6 - Exemplo de abela ge ada pela e amen a Mapas da Cidadania. Na medida em que p ecisa se uma e amen a de ácil u ilização pa a a ingi a um público não especialis a, compos o po lide anças sociais, a i is as de di ei os humanos ou causas ambien as e a é mesmo o cidadão comum sem nenhum ínculo ins i ucional, a e amen a desen ol ida não inco po ou uncionalidades ípicas das aplicações de BI/OLAP, ais como D ill Up, D ill Down ou D ill & Dice, po exemplo, limi ando-se a uma simples espacialização das in o mações. 35 ápido e acili ado às di e en es es u u as de mapeamen o, de o ma a o imiza ao máximo essas e apas. Em elação ao p ocessamen o, não oi possí el u iliza uma e amen a de BI/ETL come cial, al como o paco e SQL Se e In eg a ion Se ices (SSIS) – da Mic oso . No luga desse, op ou-se po desen ol e uma solução de ETL baseada na linguagem de p og amação Py hon. Po se uma linguagem e sá il de ácil ap endizado e u ilização, Py hon, supo a múl iplos pa adigmas de p og amação, o que o na ideal pa a di e en es pe is de desen ol edo es. Além disso, a linguagem supo a es u u as de dados complexas o que a o na adequada pa a esse ipo de desen ol imen o. Fo am ambém u ilizadas biblio ecas ex e nas à biblio eca pad ão da linguagem, ais como: Pandas: É uma biblio eca licenciada com código abe o que o e ece es u u as de dados de al o desempenho e ácil u ilização 45 . Pymysql: É uma biblio eca que es abelece a conexão en e o Py hon e os banco MySQL. Ela oi u ilizada pa a aze a lei u a dos eposi ó ios de me adados e indicado es 46 Sqlalchemy: Também é uma biblio eca que es abelece a conexão en e o Py hon e di e en es bancos de dados. Ela oi u ilizada pa a aze a ca ga dos dados nas abelas s ages e a os po ap esen a um melho desempenho quando combinada a biblio eca Pandas 47 Pa a e ei os de compa ação de desempenho da solução baseada em Py hon e Pandas com a disponí el no paco e SSIS, oi ealizado um es e simples de ca ga, ocasião em que a mesma ins ução de ca ga oi execu ada em ambas as soluções. A massa de dados oi de 4.734.613 egis os, e e en es a um único a qui o do Censo Escola de 2016. Enquan o o sc ip Py hon/Pandas execu ou a ca ga em 11 minu os e 20 segundos, o SSIS ealizou a ca ga em mais de 15 minu os. Mesmo pa ecendo mui o pa a uma quan idade ão pequena de dados, de e-se essal a que, pa a os u ilizado es, mais impo a a anspa ência do p ocessamen o que a sua apidez, na medida em que os u ilizado es não são especializados em TI. Po úl imo, de e-se essal a que a pa e de consumo das in o mações inco po adas ao modelo dimensional se á ealizada po meio da e amen a Mapas da Cidadania, já exis en e na ins i uição e po esse mo i o não se á a ado nesse p oje o. 4.4.1. Mapeamen o das bases de Dados Como oi di o na seção 4.3, há uma g ande a iabilidade das es u u as dos dados que o na o p ocesso de mapeamen o das bases de dados undamen al pa a o desen ol imen o da aplicação. Sem es e, as e apas seguin es da solução não êm como se ealizadas. O p oblema que se coloca nessa e apa de mapeamen o é como a a de o ma e icien e uma a iedade ão g ande de o mas de o ganização dos me adados. A ausência de um pad ão, al como 45 h ps://pandas.pyda a.o g 46 h ps://pypi.py hon.o g/pypi/PyMySQL 47 h ps://www.sqlalchemy.o g 36 p opos o pelo Da a Documen a ion Ini ia i e (DDI) 48 , az com que o u ilizado enha que ealiza essa cadas agem, pelo menos em pa e, de o ma manual. Inspi ado nos campos exis en es no ca álogo p oduzido pelo In e -uni e si y Conso ium o Poli ical and Social Resea ch (ICPSR) 49 , u ilizado na me odologia do DDI, oi desen ol ida uma in e ace g á ica que possibili a aos u ilizado es a cadas agem inicial das pesquisas/bases de dados. Figu a 7 – Fo mulá io de iden i icação da Base/Pesquisa A unção desse o mulá io inicial é iden i ica as in o mações básicas de uma pesquisa/base de dados, ais como o esponsá el pela sua p odução ou di ulgação, o seu nome, si io onde pode se encon ado, emá ica p incipal, ipo de ecolha u ilizada e, mais impo an e, a g anula idade mínima dos ní eis geog á ico e empo al. Após essa cadas agem inicial, os u ilizado es passam a cadas agem das en idades in es igadas. Esse em po obje i o egis a in o mações que se ão u ilizadas no momen o da c iação e p ocessamen o dos indicado es p op iamen e di os. Além de egis a o nome da base de dados, são egis ados o ipo de a qui o, a exis ência ou não de cabeçalho e o ipo de sepa ado (se hou e ). A p óxima seção do cadas amen o egis a o nome 48 h p://www.ddialliance.o g/ 49 h ps://www.icps .umich.edu/icps web/ 37 e o caminho ísico onde o a qui o (s) se encon a. Todas essas in o mações se ão u ilizadas pa a a lei u a dos dados no momen o da ca ga das abelas s age. Figu a 8 – Fo mulá ios pa a o cadas amen o das ca ac e ís icas dos a qui os. Assim que os a qui os enham sido cadas ados, o u ilizado de e aze p ocede a cadas agem das a iá eis exis en es neles. Nessa e apa, endo em is a o g ande núme o de a iá eis que cada pesquisa pode e (mais de 400 a iá eis no caso do Censo Escola , po exemplo), op ou-se po desen ol e um sc ip em Py hon pa a ende auxilia o p ocesso de ca ga dessas in o mações no banco de me adados. 38 Na Figu a 9 emos uma desc ição do luxo de p ocessamen o do algo i mo. Desen ol ido em o ma de unção, o algo i mo de e se ecebe os seguin es pa âme os: nome da pesquisa e ano da pesquisa e caminho do a qui o de me adados. Em elação ao a qui o de me adados, pa a acili a a impo ação das in o mações, oi pensado um modelo no qual as in o mações de em se ap esen adas. Esse modelo ap esen a o seguin e pad ão: Pa a bases em o ma o CSV: Nome da Va iá el – iden i ica o nome da a iá el na base (Não acei a espaços). Flag – iden i ica a unção especial desempenhada pela a iá el no banco. Os códigos possí eis são: Código Função Desc ição PK Cha e de Con agem É a cha e que iden i ica de o ma uní oca um egis o FK Cha e Es angei a É a cha e Es angei a, que pe mi e a ligação en e abelas GK Cha e Geog á ica É o iden i icado geog á ico de meno g ão TK Cha e Tempo al É o iden i icado empo al de meno g ão DI Dimensão Idade É a a iá el que se á u ilizada pa a a compa ibilização da dimensão idade DC Dimensão Raça-Co É a a iá el que se á u ilizada pa a a compa ibilização da dimensão é nico-Racial DS Dimensão Gêne o É a a iá el que se á u ilizada pa a a compa ibilização da dimensão Gêne o/Sexo W Peso É a a iá el que de ine a ponde ação do egis o (somen e em casos de amos as) M Valo Mone á io É um alo mone á io Quad o 6 – Va iá eis especiais Desc ição – é a desc ição da a iá el Tipo – iden i ica se a a iá el de ipo “s ing” ou “numé ica” Tamanho – é o núme o de ca ac e es que a a iá el ocupa no a qui o Ca ego ias – é o de alhamen o do con eúdo da a iá el (li o de códigos) Pa a as bases em o ma o TXT, os campos são os mesmos, ac escidos da in o mação da posição inicial e o amanho da a iá el no a qui o. Essa in o mação é undamen al pa a aze a lei u a dos dados no caso dos a qui os posicionais. Nos casos onde os me adados são disponibilizados em o ma os abula es (CSV ou XLS), essa ans o mação oco e de manei a ela i amen e ácil, bas ando aos u ilizado es a pad onização dos nomes e a exclusão de qualque ou a coluna que não necessi e se p ocessada. 39 Pa a as bases de dados, em que os me adados são o necidos em ou os o ma os, se á necessá ia uma maio in e enção dos u ilizado es pa a adequa as in o mações ao modelo p ees abelecido. Não es á desca ada a hipó ese de se desen ol e , no u u o, ex a o es pa a o imiza essa e apa do abalho. Na Figu a 9 abaixo, há um de alhamen o do luxo u ilizado pa a a impo ação das a iá eis e do li o de códigos. Recebe Pa âme os Lê a qui o CSV Lê a qui o TXT Ca ga no Banco de Me adados P ocessa Va iá eis P ocessa Li o de Códigos Tes a ipo de a qui o Finaliza P ocessamen o Figu a 9 – Fluxo de P ocessamen o do Li o de Códigos O esul ado da impo ação pode se e i icado na ela abaixo 40 Figu a 10 – Lis a de Va iá eis Po úl imo, o u ilizado de e aze o cadas o das ligações exis en es en e di e en es a qui os (Cha es P imá ios e Cha es Es angei as), necessá ia pa a a ealização de junções (joins) en e as bases. Figu a 11 – Cadas amen o das ligações Abaixo, um esquema de como icou o modelo de dados do mapeamen o dos me adados. 41 TBL_BASE_PESQUISA • ID_BASE (PK) • ID_PESQUISA (FK) • DS_BASE • ID_TP_UNIDADE_ANALISE(FK) TBL_BASE_VARIAVEIS • FK_BASE (PK) (FK) • ID_VAR (PK) • FLG_VAR • NM_VAR • TP_VAR • DS_VAR • POS_INICIAL • POS_FINAL • TAM TBL_BASE_VAR_VALUES • ID_VAR (FK) • COD_VALUES • DS_VALUE TBL_PRODUTOR_BASE • ID_PRODUTOR (FK) • NM_PRODUTOR TBL_PESQUISA • ID_PESQUISA (PK) • ID_PRODUTOR (FK) • NM_PESQUISA • SIGLA_PESQUISA • DS_PESQUISA • TP_PESQUISA • GRAO_TEMPO (FK) • GRAO_GEO (FK) TBL_BASE_ARQUIVOS • ID_ARQUIVO(PK) • ID_BASE (FK) • NM_ARQUIVO • TAM_ARQUIVO • CAMINHO_ARQUIVO TBL_BASES_LINK • ID_LINK (PK) • ID_BASE_PAI (FK) • ID_VAR_PAI (FK) • ID_BASE_FILHO (FK) • ID_VAR_FILHO (FK) TBL_BASE_ANO_LAYOUT • FK_BASE (PK) (FK) • ID_ANO (PK) • ID_TP_FILE (FK) • FLG_HEADER • SEPARADOR (FK) Figu a 7 - Modelo de dados esumido, Banco de Me adados. Apesa de se um p ocedimen o ela i amen e demo ado e po encialmen e ediosos, o mapeamen o dos me adados só necessi a se ealizado uma ez po edição da base de dados e é undamen al pa a o p ocessamen o dos indicado es. Após a ealização do mencionado, os u ilizado es es a ão ap os pa a ealiza a cons ução dos indicado es. 4.4.2. Mapeamen o dos Indicado es Ainda inspi ado no ca álogo p oduzido pelo ICPSR, oi desen ol ida uma in e ace g á ica pa a possibili a aos u ilizado es a documen ação e cons ução dos indicado es que de e ão cons i ui o banco dimensional. 42 A p imei a pa e do mapeamen o é a de inição do indicado que se deseja cons ui . Nessa pa e de e ão se egis adas as seguin es in o mações: Nome do Indicado – Iden i ica o indicado Desc ição – T az a desc ição de alhada do indicado . Além disso, esse campo pode se u ilizado pa a inclui in o mações sob e a u ilização dos indicado es e sua o ma de lei u a. Tipo – In o ma o ipo de medida a pa i de que o indicado de e á se cons uído. Nessa ase do p oje o, são cinco os ipos possí eis: Pe cen ual, Média, Valo Absolu o, Taxa e Razão (Rácio). No caso das Taxas, o usuá io de e á ainda in o ma qual o a o de lei u a do indicado (100.000, 10.000, 1000). Unidade de Análise – Indica qual unidade de análise o indicado se e e e. Pode se “Pessoal “ (Alunos, p o esso es, pessoas, e c) ou “Não pessoal” (Escolas, municípios, e c). Figu a 8 - Cadas o inicial dos Indicado es. Além do ca á e documen al, essas in o mações de e ão se u ilizadas pa a alimen a o modelo dimensional e de ini pa e do luxo do p ocessamen o. Fei a a cadas agem a inicial, o u ilizado de e passa a decla ação das ins âncias do indicado . Uma ins ância é comp eendida como sendo um eco e empo al do indicado . Isso é necessá io endo em is a as al e ações que os me adados podem ap esen a ao longo do empo. Po meio das ins âncias é possí el cons ui sé ies empo ais com os indicado es, de o ma a possibili a análise longi udinais ao longo do empo. É impo an e no a que a ins ância es á elacionada a uma de e minada edição da base de dados. Após a decla ação da ins ância que de e á se abalhada, o u ilizado de e passa pa a o decla ação das ca ac e ís icas do indicado p op iamen e di o. 43 As p imei as in o mações a se em cadas adas são as pa celas que compõem o indicado . Como oi di o na seção 4.2, po se a a na sua maio ia de mé icas não-adi i as, é indicado que sejam a mazenadas as pa celas que compõem o indicado e que os cálculos sejam ealizados no momen o da exibição. Podem se ês os ipos de pa celas: Nume ado e Denominado , pa a os indicado es de ipo Pe cen ual, Média, Taxa ou Razão (Rácio) ou Pa cela Única pa a os indicado es do ipo alo es absolu os. Além dessas in o mações, de e á se cadas ado o nome da pesquisa que de e á se u ilizada pa a o p ocessamen o do indicado em ques ão e o ipo de o alização emp egada. Figu a 9 - Cadas amen o das pa celas Após a de inição das pa celas é necessá io que o u ilizado ealize a de inição de seus a ibu os dessas. Os a ibu os das pa celas são, em úl ima análise, os il os que se desejam a ibui aos dados dessas pa celas. Pa a isso, em p imei o luga , é necessá io que sejam de inidas que bases de dados se ão u ilizadas em cada uma das pa celas. Como a pesquisa/ on e que de e se u ilizada pa a a cons ução do indicado oi de inida na c iação das pa celas, o sis ema só ap esen a á a bases ela i as a essa on e. Tendo escolhido a pa cela e a base de dados desejada, o u ilizado de e á começa a cons ui os il os desejados. Nessa e apa, se á demandado dos u ilizado es algum conhecimen o de lógica de p og amação, p incipalmen e no que diz espei o aos ope ado es de compa ação (igual, di e en e, maio que, maio ou igual que, meno que, meno ou igual que, con ém, não con ém) e lógicos (AND e OR). 44 Figu a 10 - Cadas amen o dos a ibu os das pa celas Dessa o ma, é possí el c ia exp essões lógicas en ol endo as a iá eis selecionadas pa a cada pa cela e os espe i os il os, necessá ios pa a a cons ução dos indicado es. Apesa de ela i amen e complexa, essa e apa possibili a aos u ilizado es a ob enção de pode osa e amen a, já que pe mi e a ealização de il os a ançados nos dados e a cons ução de di e en es indicado es ou isões com os mesmos dados. Nessa e apa são cadas adas as seguin es in o mações: Pa cela – iden i ica a pa cela que se deseja u iliza , Base – iden i ica a base de dados, Va iá eis – a pa i da base de dados selecionada, são ap esen adas as a iá eis disponí eis, Ope ado – são os ope ado es de compa ação, Valo es – são os alo es da a iá el que se deseja il a . No caso dos ope ado es “Con ém” (IN) e “Não Con ém” (NOT IN), que supo am alo es múl iplos, esses de em se sepa ados po í gulas, Lógica – são os ope ado es lógicos. Esses de em se u ilizados quando se deseja inclui mais de uma a iá el em uma mesma consul a/ il o. Tendo cadas ado os a ibu os das pa celas, a e apa seguin e eque a cadas agem das ag egações desejadas pa a a cons ução dos indicado es. As ag egações são en endidas como dimensões pelas quais se deseja pode isualiza os indicado es p oduzidos. 51 Limpa S aging A ea Ve i ica Indicado es na lis a de p ocessamen o Lê ca ac e ís icas do indicado ( lg_p oc = 0) Finaliza P ocessamen o ( lg_p oc = 1) Ca ga abela S aging Lê a qui o de dados b u os C ia abelas na S aging A ea C ia Indexes na abela S aging T a a dimensão Tempo T a a dimensão Geog á ica T a a demais dimensões Ag egação das abelas S aging Mo e Indicado es pa a o modelo Dimensional Al e a s a us do indicado ( lg_p oc = 1) Finaliza P ocessamen o Figu a 18 – Fluxo de p ocessamen o do ETL 52 4.4.4. T a amen o de E os e Logging. O a amen o e egis os dos e os são e apas undamen ais de qualque p ocessamen o de dados. Pa a an o a linguagem Pyh on disponibiliza pa a isso uma biblio eca in e na chamada “Logging”, que possibili a os egis os das a i idades de p ocessamen o de manei a ápida e ácil. Figu a 19 – Pa e de um a qui o de logging Além disso, a linguagem ambém disponibiliza uma es u u a que pe mi e o a amen o das exceções. y: d = pd. ead_cs (caminho + ' ' + ile , sep=sepa ado , heade =heade _ , encoding='cp1252' , d ype=objec , usecols= a ) d = d .que y( il o.s ip(' ')) logge .in o('Lei u a do a qui o de dados (PANDAS)') excep : logge .e o ('E o na lei u a do a qui o de dados (PANDAS)') Dessa o ma, o u ilizado pode acompanha o p ocessamen o dos dados e e mais acilidade de in e i , caso algum p oblema oco a du an e o p ocessamen o. Em uma e apa u u a do p oje o, essas in o mações se ão a mazenadas em banco pa a um melho con ole do p ocesso de c iação dos indicado es. 4.5. MODELO DIMENSIONAL. 53 A cons ução do modelo dimensional do DW oi baseada no p ocesso de le an amen o de equisi os (secção 4.2) ealizado com os usuá ios, na a aliação dos sis emas exis en es na ins i uição e na análise das bases de dados que se deseja u iliza pa a a cons ução dos indicado es. A pa i desses le an amen os, o am de inidas ês di e i as: • De ido às múl iplas g anula idades (geog á ica e empo al) obse adas nas bases de dados, o modelo mais adequado de e ia se uma a ian e do “Snow lake Schema”. • Ainda ela i o à múl ipla g anula idade, os ac os se iam di ididos em mais de uma abela (Fac Cons ella ion Schema). • A desc ição das mé icas (indicado es/pa celas) se ia anspo ada pa a uma dimensão. Dessa o ma, o DW pode ia se u ilizado pelos sis emas legados exis en es. Abaixo, desc e e emos mais de alhadamen e cada uma delas. 4.5.1. Snow lake Schema. Segundo Kimball (Kimball & Case a, 2015), enquan o o esquema em “Es ela” (S a Schema) é ca ac e izado po e as dimensões não no malizadas, no que ele chamou de “ la ables”, o esquema em “Floco de Ne e” (Snow lake Schema) se ca ac e iza po man e algum g au de no malização den o da es u u a das dimensões. Essa écnica é especialmen e ú il quando se p e ende des aca as es u u as hie á quicas exis en e nessas dimensões. Apesa da sua u ilização não se ecomendada po di icul a a comp eensão e manu enção do modelo, o esquema em loco de ne e possibili a que ac os com di e en es g anula idades sejam a mazenados em um mesmo modelo dimensional. No p esen e caso a u ilização do modelo em loco de ne e pe mi e que indicado es p o enien es de di e en es bases de dados man enham sua g anula idade empo al ou geog á ica mínima, sem a necessidade de se ag ega udo a uma unidade espaço- empo comum. Como oi is o na Tabela 3, apesa das bases de dados u ilizadas na p imei a ase do p oje o ap esen a em g anula idade empo al no âmbi o do ano, é desejá el que o modelo já es eja p epa ado pa a supo a ou as g anula idades empo ais ( imes es e mês). Da mesma o ma, a meno g anula idade espacial u ilizada nessa ase se á es i a aos ní eis municipal e dis i al, mas o modelo já de e á es a p epa ado pa a acei a o ní el es adual (pela ag egação dos ní eis municipal ou dis i al) ou o ní el de se o censi á io (meno ní el possí el de desag egação). Na Figu a 20 ap esen amos o de alhamen o das dimensões empo e geog á ica. 54 DIM_TMP_ANO • ID_TMP_ANO (PK) • NM_ANO • ANO_BISSEXTO DIM_TMP_MES • ID_TMP_MES (PK) • ID_ANO (FK) • NM_MES • SIGLA_MES • ID_TMP_BIMESTRE • NM_BIMESTRE • ESTACAO_ANO DIM_GEO_ESTADO • ID_GEO_ESTADO (PK) • NM_ESTADO • SIGLA_ESTADO • NM_REGIAO • SIGLA_REGIAO DIM_TMP_TRIMESTRE • ID_TMP_TRIMESTRE (PK) • ID_TMP_MES (FK) • NM_TRIMESTRE • ID_TMP_SEMESTRE • NM_SEMESTRE DIM_GEO_MUNICIPIO • ID_GEO_MUNIC (PK) • NM_MUNICIPIO • ID_GEO_ESTADO (FK) • ID_MESORREGIAO • NM_MESORREGIAO • ID_MICRORREGIAO • NM_MICRORREGIAO • ID_RM_RIDE • NM_RM_RIDE DIM_GEO_SETOR • ID_GEO_SETOR (PK) • ID_GEO_DISTRITO (FK) • ID_SUBDISTRITO • NM_SUBDISTRITO • ID_BAIRRO • NM_BAIRRO - De alhe + - De alhe + G ão Meno G ão Maio G ão Maio G ão Meno DIM_GEO_DISTRITO • ID__GEO_DISTRITO (PK) • NM_DISTRITO • ID_GEO_MUNIC (FK) Figu a 20 – G anula idade das dimensões empo e geog á ica 4.5.2. Fac Cons ella ion Schema. Como oi di o acima, as bases de dados u ilizadas ap esen am di e en es g anula idades empo ais e/ou espaciais e é de in e esse da ins i uição man e essas in o mações desag egadas, semp e que possí el. Se o esquema em loco de ne e esol e essa ques ão em elação às dimensões, em pouco colabo a pa a e i a que di e en es g anula idades sejam a mazenadas em uma mesma abela ac os, con o me é ecomendado pela li e a u a (G oup Kimball, 2013). Pa a e i a que isso oco a, emos que dispo de múl iplas abelas de ac os em um mesmo modelo dimensional. Denominado como Cons elação de Fac os (Fac Cons ella ion), es a a qui e u a pe mi e que di e en es abelas de ac o sejam explici amen e a ibuídas às dimensões que lhe são ele an es. Dessa o ma, alguns ac os es a ão associados a um de e minado ní el de dimensão enquan o ou os ac os são a ibuídos com um ní el de dimensão mais de alhado. Apesa de se uma solução lexí el, ela ap esen a o incon enien e de se mais di ícil de ge encia e man e . 55 DIM_TMP_ANO • ID_TMP_ANO (PK) DIM_TMP_MES • ID_TMP_MES (PK) • ID_TMP_TRIMESTRE (FK) DIM_TMP_TRIMESTRE • ID_TMP_TRIMESTRE (PK) • ID_TMP_ANO (FK) DIM_GEO_ESTADO • ID_GEO_ESTADO (PK) DIM_GEO_MUNICIPIO • ID_GEO_MUNIC (PK) • ID_GEO_ESTADO (FK) DIM_GEO_SETOR • ID_GEO_SETOR (PK) • ID_GEO_DISTRITO (FK) DIM_GEO_DISTRITO • ID__GEO_DISTRITO (PK) • ID_GEO_MUNIC (FK) DIM_PARCELA • ID_PARCELA • NM_PARCELA FATO_PESSOA_ANO • FK_TMP_ANO • FK_GEO_MUNIC • FK_PARCELA • FK_FAIXA_IDADE • FK_GENERO • FK_RACA_COR • FATO_VALOR DIM_FAIXA_IDADE • SK_IDADE • NM_IDADE • ID_FAIXA3 • NM_FAIXA3 • ID_FAIXA5 • NM_FAIXA5 • ID_FAIXA_PEA • NM_FAIXA_PEA DIM_GENERO • SK_GENERO • NM_GENERO DIM_RACA_COR • SK_RACA • NM_RACA • ID_RACA_AGGRE1 • NM_RACA_AGGRE1 • ID_RACA_AGGRE2 • NM_RACA_AGGRE2 FATO_PESSOA_MES • FK_TMP_MES • FK_GEO_MUNIC • FK_PARCELA • K_FAIXA_IDADE • FK_GENERO • FK_RACA_COR • FATO_VALOR Figu a 21 – Cons elação de ac os. Como se pode e na Figu a 21, é possí el cons ui um esquema de cons elação de ac os di idindo o esquema o iginal em esquemas com mais abelas, em que cada uma delas desc e e ac os em ou o ní el de hie a quias de dimensão empo e geog á ica. 4.5.3. T ansposição das Mé icas pa a o ní el dimensional. Con o me oi cons a ado du an e o le an amen o de equisi os, o IBASE já dispõe de um sis ema de ecupe ação de in o mações es a ís icas denominado “Mapas da Cidadania”. Pa a que a p esen e solução osse compa í el com es e, oi necessá io que a desc ição dos indicado es osse associada a uma dimensão de modo explíci o. Assim, ao in és de um no o indicado ep esen a uma no a coluna na abela ac os, essa passa a se um conjun o de egis os, e e enciados po uma dimensão especí ica. Dessa o ma, é possí el a ibui aos indicado es a axonomia u ilizada den o da ins i uição de manei a ácil e ápida. 56 id_acao nm_acao id_classe nm_classe 1 Cidadania A i a 11 Cidadania Vi ida 1 Cidadania A i a 12 Cidadania Ga an ida 1 Cidadania A i a 13 Cidadania Pe cebida 1 Cidadania A i a 14 Cidadania e Ação 2 Conjun o de Di ei os 21 Di ei os Cole i os 2 Conjun o de Di ei os 22 Di e os Sociais e Econômicos e Cul u ais 2 Conjun o de Di ei os 23 Di ei os Ci is e Polí icos DIM_ACAO id_classe id_a ea nm_a ea 21 2011 Di ei o à Cidade 21 2012 Di ei os Ambien ais 22 2021 Di ei o à Saúde 22 2024 Di ei o à Renda 22 2022 Di ei o à Educação 22 2023 Di ei o ao T abalho 23 2032 Di ei o à Igualdade e Di e sidade 23 2031 Di ei os à Pa icipação DIM_AREA id_classe id_indicado nm_indicado 22 20 Ga an ia de quali icação dos docen es DIM_INDICADOR Tabela 7 - Taxonomia dos Indicado es. DIM_INDICADOR • ID_INDICADOR • NM_INDICADOR • ID_AREA • DS_FORMULA • DS_FATOR • ... FATO_PESSOA_ANO • FK_PARCELA • FK_TMP_ANO • FK_GEO_MUNIC • FK_FAIXA_IDADE • FK_GENERO • FK_RACA_COR • FATO_VALOR DIM_AREA • ID_CLASSE • ID_AREA • NM_AREA DIM_ACAO • ID_ACAO • NM_ACAO • ID_CLASSE • NM_CLASSE DIM_PARCELA • ID_PARCELA • FK_INDICADOR • DS_PARCELA • TP_PARCELA • TP_UNIDADE Figu a 22 – Taxinomia aplicada ao modelo de dados. 57 4.5.4. De alhamen o das dimensões do p oje o. Nessa p imei a ase do p oje o, abalha emos com um conjun o es i o de dimensões. Apesa do seu pequeno núme o, as dimensões escolhidas ap esen am al o pode explica i o das desigualdades p esen es na sociedade b asilei a. 4.5.4.1. Dimensão Gêne o A dimensão gêne o con ém as desc ições das classi icações de gêne o (sexo) das pessoas. Campos: ID_SEXO – cha e candida a da abela, NM_SEXO – desc ição do gêne o/sexo, SLG_SEXO – ab e ia u a do gêne o/sexo. id_sexo nm_sexo slg_sexo 1 Masculino M 2 Feminino F 99 Igno ado I 999 Não se aplica S Tabela 8 – Dimensão Gêne o. O código 99 ep esen a a si uação em que o gêne o/sexo não é conhecido. Já o código 999 ep esen a a ausência dessa in o mação pa a o indicado . Esses códigos são álidos pa a odas as dimensões. 4.5.4.2. Dimensão Idade A dimensão idade con ém as desc ições das classi icações e á ias, em suas di e en es ag egações, pe mi indo analisa di e en es eco es e á ios ao longo da ida do indi íduo. Campos: ID_IDADE – cha e candida a da abela, FAIXA_01 – aixa e á ia de maio desag egação. Pe mi e de alha as di e en es e apas da ida, segundo coo es e á ias. 58 FAIXA_02 – aixa e á ia de desag egação média (4 em 4 anos). FAIXA_03 – aixa e á ia de desag egação baixa (9 em 9 anos). FAIXA_CICLO – Faixa ag egada segundo ciclos e á ios (C ianças, adolescen es, jo ens, adul os e idosos). FAIXA_PIA – Faixa ag egada segundo população em idade a i a id_idade aixa_01 aixa_02 aixa_03 aixa_ciclo aixa_pia 0 Ze o anos 0 a 3 anos 0 a 9 anos C ianças Não Economicamen e A i a 1 1 a 3 anos 0 a 3 anos 0 a 9 anos C ianças Não Economicamen e A i a 2 4 a 5 anos 4 a 5 anos 0 a 9 anos C ianças Não Economicamen e A i a 3 6 anos 6 a 9 anos 0 a 9 anos C ianças Não Economicamen e A i a 4 7 anos 6 a 9 anos 0 a 9 anos C ianças Não Economicamen e A i a 5 8 a 9 anos 6 a 9 anos 0 a 9 anos C ianças Não Economicamen e A i a 6 10 anos 10 a 14 anos 10 a 19 anos Fase inicial da adolescência Não Economicamen e A i a 7 11 a 13 anos 10 a 14 anos 10 a 19 anos Fase inicial da adolescência Não Economicamen e A i a 8 14 anos 10 a 14 anos 10 a 19 anos Fase inicial da adolescência Não Economicamen e A i a 9 15 a 17 anos 15 a 17 anos 10 a 19 anos Fase inal da adolescência Economicamen e A i a 10 18 anos 18 a 24 anos 10 a 19 anos Fase inal da adolescência Economicamen e A i a 11 ... ... ... ... ... Tabela 9 – Dimensão Idade 4.5.4.3. Dimensão É nico- acial A dimensão gêne o con ém as desc ições das classi icações de é nico- aciais e suas ag egações. Campos: ID_COR – cha e candida a da abela, RACA_COR_01 – classi icação é nico- acial de maio desag egação. É condizen e com a classi icação de cinco ca ego ias u ilizada pelo ins i u o de es a ís ica b asilei o (IBGE), RACA_COR_02 – classi icação é nico- acial de média desag egação (4 ca ego ias), RACA_COR_03 – classi icação é nico- acial de baixa desag egação (3 ca ego ias), RACA_COR_04 – classi icação é nico- acial dico ômica (2 ca ego ias). 59 id_co aca_co _01 aca_co _02 aca_co _03 aca_co _04 1 B anca B anca B anca B anca 2 P e a Neg a Neg a Não-B anca 3 Pa da Neg a Neg a Não-B anca 4 Ama ela Ama ela Ou as Não-B anca 5 Indígena Indígena Ou as Não-B anca 99 Igno ado Igno ado Igno ado Igno ado 999 Não se aplica Não se aplica Não se aplica Não se aplica Tabela 10 – Dimensão é nico- acial 4.5.4.4. Dimensão Indicado A dimensão indicado con ém as desc ições dos indicado es e suas ca ac e ís icas (Figu a 22). Di e en emen e das demais dimensões, ela é uma dimensão no malizada e não em a unção de ag egação, se indo somen e pa a iden i icação e desc ição dos indicado es. DIM_PARCELA Campos: ID_PARCELA – cha e candida a da abela DS_PARCELA – desc ição da pa cela TP_PARCELA – desc ição do ipo de pa cela (nume ado , denominado ou única) TP_UNIDADE – de ine o ipo de unidade de análise DIM_INDICADOR Campos: ID_INDICADOR – cha e candida a da abela, NM_INDICADOR – nome do indicado , DS_INDICADOR – desc ição do indicado , TP_INDICADOR – ipo de indicado , ID_AREA – cha e da axonomia, DS_FORMULA – desc e e a ó mula de cons ução do indicado , 60 DS_FATOR – desc e e o a o de mul iplicação u ilizado na ó mula de c iação do indicado , FLG_ATIVO – a iá el indica i a pa a a exibição do indicado . Como oi di o na secção 4.5.1, a es u u a dos indicado es é compos a po mais duas abelas den o do “ loco de ne e”. “Dimensão Á ea” e a “Dimensão Ação” ep esen am a axonomia u ilizada na ins i uição e possibili am a ecupe ação da in o mação segundo essa classi icação (Tabela 7). 4.5.4.5. Dimensões Geog á icas A dimensão geog á ica con ém as desc ições da di isão e i o ial b asilei a de o ma eduzida pa a a ende as necessidades do p esen e p oje o. Como já di o na secção 4.5.1, ela é uma dimensão no malizada em suas hie a quias (Figu a 20). Ela é compos a pelas seguin es abelas: DIM_GEO_ESTADO Colunas: ID_GEO_ESTADO – cha e candida a da abela, COD_ESTADO – código IBGE pa a os es ados, NM_ESTADO – nome do es ado, SLG_ESTADO – sigla do es ado, COD_REGIAO – código IBGE pa a a mac o egião, NM_REGIAO – nome da mac o egião, SLG_REGIAO – sigla da mac o egião. DIM_GEO_MUNICIPIO Colunas: ID_GEO_MUNIC – cha e candida a da abela, FK_GEO_ESTADO – cha e es angei a da abela es ado, COD_MUNIC – código IBGE pa a os municípios, NM_MUNIC – nome dos municípios COD_MESO – código IBGE pa a as meso egiões geog á icas, 67 6.1. OBJETIVOS REALIZADOS O obje i o inicialmen e p opos o pa a o p esen e abalho oi a cons ução de um eposi ó io de dados públicos. A necessidade de u iliza e amen as não come ciais, que eduzissem os cus os de implemen ação da solução, mos ou-se um desa io du an e o p ocesso de desen ol imen o. Felizmen e, a escolha da linguagem Py hon oi co e a e possibili ou alcança os obje i os desejados. Du an e o p ocesso de desen ol imen o, o am cump idas as seguin es e apas: • Iden i icação dos equisi os dos u ilizado es, • Iden i icação das soluções exis en es, • Planejamen o e execução da p esen e solução, Mesmo se a ando da con inuação de um p oje o já exis en e, de emos pensa a solução ap esen ada como um passo dado na di eção de da au onomia ao IBASE no p ocesso de p odução e di ulgação dos indicado es. 6.2. LIMITAÇÕES Como já oi di o no deco e do p esen e abalho, a solução ap esen ada não desca a a necessidade de u ilizado es capaci ados e especialis as du an e o p ocesso de p odução dos indicado es. Es es são e se ão semp e necessá ios no p ocesso de cons ução e na análise dessas mé icas. Ademais, de ido à complexidade dos modelos de dados desen ol idos, o p ocesso de manu enção da solução de e se planejado com a enção pa a se e i a a in e upção do uncionamen o. Além disso, não oi possí el no p esen e p oje o aze a in eg ação dos sc ip s Py hon com as soluções PHP em um mesmo ambien e de p odução. 6.3. FUTUROS TRABALHOS Espe a-se, em b e e, se possí el aze a in eg ação dos sc ip s Py hon com as soluções PHP em um mesmo ambien e de p odução. Além de possibili a uma melho manu enção, al in eg ação possibili a ia o desen ol imen o de no as uncionalidades que o na iam a expe iencia de u ilização mais anspa en e. Além disso, p e endemos cons ui uma no a solução de isualização e consumo das in o mações a mazenadas que possibili e a u ilização de écnicas de BI e OLAP. Po úl imo, já es amos a desen ol e a desen ol e de um eposi ó io de dados municipais, c iado po meio da p esen e solução, que possibili e a ealização de análises mais a ançadas e mine ação de dados. 68 7. REFERÊNCIAS BIBLIOGRÁFICAS Alexopoulos, C., Zuide wijk, A., Cha apabidis, Y., Loukis, E., & Janssen, M. (2014). Designing a Second Gene a ion o Open Da a Pla o ms: In eg a ing Open Da a and Social Media. In M. Janssen, H. J. Scholl, M. A. Wimme , & F. Bannis e (Eds.), Elec onic Go e nmen : 13 h IFIP WG 8.5 In e na ional Con e ence, EGOV 2014, Dublin, I eland, Sep embe 1-3, 2014. P oceedings (pp. 230–241). Be lin, Heidelbe g: Sp inge Be lin Heidelbe g. h ps://doi.o g/10.1007/978-3-662-44426-9_19 A a d, J., O landi, F., Sce i, S., & Aue , S. (2015). A sys ema ic e iew o open go e nmen da a ini ia i es. Go e nmen In o ma ion Qua e ly, 32(4), 399–418. h ps://doi.o g/10.1016/j.giq.2015.07.006 B, R. B., Hanbu y, A., Pi oi, F., Haas, M., Be ge , H., Lupu, M., & Di enbach, M. (2015). Da a Managemen Technologies and Applica ions, 178(No embe ), 45–61. h ps://doi.o g/10.1007/978-3-319-25936-9 Be nd , D. J., He ne , A. R., & S udnicki, J. (2003). The Ca ch da a wa ehouse: Suppo o communi y heal h ca e decision-making. Decision Suppo Sys ems, 35(3), 367–384. h ps://doi.o g/10.1016/S0167-9236(02)0114-8 Be o, A., Megdiche, I., & Tes e, O. (2015). A Con en -D i en ETL P ocesses o Open Da a. Ad ances in In elligen Sys ems and Compu ing, 312(Ap il), 29–40. h ps://doi.o g/10.1007/978-3-319-10518-5_3 Be o , J. C., Jaege , P. T., & G imes, J. M. (2010). Using ICTs o c ea e a cul u e o anspa ency: E- go e nmen and social media as openness and an i-co up ion ools o socie ies. Go e nmen In o ma ion Qua e ly, 27(3), 264–271. h ps://doi.o g/10.1016/j.giq.2010.03.001 Bonamino, A., & F anco, C. (2013). A aliação e polí ica educacional: o p ocesso de ins i ucionalização do SAEB. Cade nos de Pesquisa, (108), 101–132. BRASIL. (2004). SINAES - BASE PARA UMA NOVA PROPOSTA DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. SINAES. B asília. Capis ano, D., Ci o o, A. C., Nascimen o, C. D., & Sil a, J. (2016). P odução de Es a ís icas Educacionais em Pe spec i a Compa ada. Es a ís ica E Sociedade, (4). Cas o, M. H. G. de. (2000). Sis emas nacionais de a aliação e de in o mações educacionais. São Paulo Em Pe spec i a, 14(1), 121–128. h ps://doi.o g/10.1590/S0102-88392000000100014 Cin ão, L. P., & Bizelli, J. L. (2013). Sis ema de Moni o amen o e A aliação de P og amas Sociais: e isi ando mi os e ecolocando p emissas pa a sua maio e e i idade na ges ão. Re is a B asilei a de Moni o amen o E A aliação, 5, 48–59. Re ie ed om h p://aplicacoes.mds.go .b /sagi mps/ e amen as/docs/RBMAs/RBMA_5.pd Cole a, R., Cas anie , E., Valdu iez, P., F isch, C., Ngo, D., & Bellahsene, Z. (2012). Public da a in eg a ion wi h WebSma ch. P oceedings o he Fi s In e na ional Wo kshop on Open Da a - WOD ’12, (c), 5. h ps://doi.o g/10.1145/2422604.2422606 Dawes, S., Vidiaso a, L., & Pa khimo ich, O. (2016). Planning and designing open go e nmen da a p og ams: An ecosys em app oach. Go e nmen In o ma ion …, 33, 15–27. Re ie ed om h p://www.sciencedi ec .com/science/a icle/pii/S0740624X1630003X 69 Diniz, E. H., Ba bosa, A. F., Junquei a, A. R. B., & P ado, O. (2009). O go e no ele ônico no B asil: pe spec i a his ó ica a pa i de um modelo es u u ado de análise. Re is a de Adminis ação Pública, 43(1), 23–48. h ps://doi.o g/10.1590/S0034-76122009000100003 Dos San os B i o, K., Cos a, M. A. S., Ga cia, V. C., & De Lemos Mei a, S. R. (2014). Expe iences in eg a ing he e ogeneous Go e nmen open da a sou ces o deli e se ices and p omo e anspa ency in B azil. P oceedings - In e na ional Compu e So wa e and Applica ions Con e ence, (475743), 606–607. h ps://doi.o g/10.1109/COMPSAC.2014.87 dos San os B i o, K., da Sil a Cos a, M. A., Ga cia, V. C., & de Lemos Mei a, S. R. (2014). B azilian go e nmen open da a. In P oceedings o he 15 h Annual In e na ional Con e ence on Digi al Go e nmen Resea ch - dg.o ’14 (pp. 11–16). New Yo k, New Yo k, USA: ACM P ess. h ps://doi.o g/10.1145/2612733.2612770 F ei as, R. K. V. de, & Daco so, A. L. R. (2014). Ino ação abe a na ges ão pública: análise do plano de ação b asilei o pa a a Open Go e nmen Pa ne ship. Re is a de Adminis ação Pública, 48(4), 869–888. h ps://doi.o g/10.1590/0034-76121545 Gil, N. de L. (2009). A p odução dos núme os escola es (1871-1931): con ibuições pa a uma abo dagem c í ica das on es es a ís icas em His ó ia da Educação. Re is a B asilei a de His ó ia, 29(58), 341–358. Gol a elli, M., & Rizzi, S. (1999). Designing he Da a Wa ehouse: Key S eps and C ucial Issues. Jou nal o Compu e Science and In o ma ion Managemen , 2(3), 1–14. h ps://doi.o g/10111241900 Gonzalez-Zapa a, F., & Heeks, R. (2014). The mul iple meanings o open go e nmen da a: Unde s anding di e en s akeholde s and hei pe spec i es. Go e nmen In o ma ion Qua e ly, 32(4), 441–452. h ps://doi.o g/10.1016/j.giq.2015.09.001 G acioso, L. D. S. (2003). Disseminação de in o mações es a ís icas no B asil: p á icas e polí icas das agências es aduais de es a ís ica. Ciência Da In o mação, 32(2), 69–76. h ps://doi.o g/10.1590/S0100-19652003000200008 G acioso, L. de S. G. (2004). P odução e disseminação da in o mação es a ís ica b asilei a: uma análise quali a i a. Pe spec i as Em Ciência Da In o mação, 9(1), 34–47. G oup Kimball. (2013). Kimball Dimensional Modeling Techniques, 1–24. G uman, M. (2012). Lei de Acesso à In o mação: no as e um b e e exemplo. Re is a Deba es, 6(3), 97. h ps://doi.o g/1982-5269 Guima ães, C. B. dos S. (2014). Pa ce ia pa a Go e no Abe o e Relações In e nacionais: opo unidades e desa ios. Re ie ed om h p://hdl.handle.ne /11449/121891 Guo, Y., Guo, Y., Tang, S., Tang, S., Tong, Y., Tong, Y., … Yang, D. (2006). T iple-D i en Da a Modeling Me hodology in Da a Wa ehousing: A Case S udy. P oc. o he 9 h ACM In e na ional Wo kshop on Da a Wa ehousing and OLAP, 59–66. h ps://doi.o g/10.1145/1183512.1183524 Heise, A., & Naumann, F. (2012). In eg a ing open go e nmen da a wi h s a osphe e o mo e anspa ency. Jou nal o Web Seman ics, 14, 45–56. h ps://doi.o g/10.1016/j.websem.2012.02.002 Inmon, W. H. (2005). Building he da a wa ehouse. (R. Ellio , Ed.) (3a Edi ion). New Yo k: John 70 Wiley & Sons, Inc. Jannuzzi, P. D. M. (2001). Indicado es sociais no B asil: concei os, on e de dados e aplicações. Campinas: Alínea. Ja dim, J. M. (2004). A cons ução do e-go no B asil : con igu ações polí ico-in o macionais. Cin o m, 1–25. Re ie ed om h p://www.cin o m.u ba.b / _anais/a igos/josema iaja dim.h ml Kimball, R. (1998). The Da a Wa ehouse Li ecycle Toolki : Expe Me hods o Designing, De eloping, and Deploying Da a Wa ehouses, 771. Re ie ed om h p://books.google.com/books?hl= &l =&id=abEwJJLewDAC&pgis=1 Kimball, R., & Case a, J. (2015). The Da a Wa ehouse ETL Toolki . The e ec s o b ie mind ulness in e en ion on acu e pain expe ience: An examina ion o indi idual di e ence (Vol. 1). h ps://doi.o g/10.1017/CBO9781107415324.004 Kimball, R., & Ross, M. (2013). The Da a Wa ehouse Toolki The De ini i e Guide o Dimensional Modeling (3 h Edi io). New Yo k: John Wiley & Sons, Inc. Lace da, L. L. V. de, Fe i, C., & Dua e, B. K. da C. (2016). SINAES: a aliação, accoun abili y e desempenho. A aliação: Re is a Da A aliação Da Educação Supe io (Campinas), 21(3), 975– 992. h ps://doi.o g/10.1590/S1414-40772016000300015 Lis , B., B uckne , R. M., Machaczek, K., & Schie e , J. (2002). A compa ison o da a wa ehouse de elopmen me hodologies case s udy o he p ocess wa ehouse. Da abase and Expe Sys ems Applica ions, 203–215. h ps://doi.o g/10.1007/3-540-46146-9_21 Ma heus, R., & Ribei o, M. M. (2014). Open Da a in he Legisla u e: The Case o São Paulo Ci y Council. Re ie ed om h p://www.openda a esea ch.o g/con en /2014/665/open-da a- legisla u e-case-são-paulo-ci y-council McHugh, B. (2013). Beyond T anspa ency: Open Da a and he Fu u e o Ci ic Innoca ion. Beyond T anspa ency - Open Da a and Fu u e o Ci ic Inno a ion. h ps://doi.o g/10.1017/CBO9781107415324.004 Meije , a J., Cu in, D., & Hilleb and , M. (2012). Open go e nmen : connec ing ision and oice. In e na ional Re iew o Adminis a i e Sciences, 78(1), 10–29. h ps://doi.o g/10.1177/0020852311429533 Mou a, R., & Ba ion, M. I. (2006). INSTITUCIONALIZAÇÃO DE REGIÕES METROPOLITANAS : qual o sen ido ?, (i), 129–143. OGP. (2011). Plano de ação b asilei o – e são em po uguês b azilian ac ion plan – english e sion. Re ie ed om www.opengo pa ne ship.o g/coun ies/b azil Oli ei a, L. A. P. de, & Simões, C. C. da S. (2005). O IBGE e as pesquisas populacionais. Re is a B asilei a de Es udos Populacionais, 22(2), 291–302. h ps://doi.o g/10.1590/S0102- 30982005000200007 Pai a, E. De, Re o edo, K., & Baião, F. (2016). DW-CGU: In eg ação dos Dados do Po al da T anspa ência do Go e no Fede al B asilei o. Re is a B asilei a de Sis emas de In o mação, 9(1), 6–32. Pa e son, A. (2003). The Design and De elopmen o a social Science Da a Wa ehouse: A Case 71 S udy o he Human Resou ces De elopmen Da a Wa ehouse P ojec o he Human Sciences Resea ch Council, Sou h A ica. Da a Science Jou nal, 2(12–24), 12–24. h ps://doi.o g/h p://doi.o g/10.2481/dsj.2.12 Pe ei a, A. K., Pi es, P. S., & Pin o, A. (2014). Pesquisas de A aliação e Con idencialidade da In o mação: Limi es e Con li os. Re is a B asilei a de Moni o amen o E A aliação, 7, 82–99. Pe uccelli, J. L., & Saboia, A. L. (2013). Ca ac e ís icas É nico- aciais da População. Classi icação e iden idades. Re ie ed om h p://se icodados.ibge.go .b /Download/Download.ashx?h p=1&u=biblio eca.ibge.go .b / isualizacao/li os/li 49891.pd Polido i, M. M., Ma inho-A aujo, C. M., & Ba ey o, G. B. (2006). Pe spec i as e desa ios na a aliação da educação supe io b asilei a. Ensaio: A al. Pol. Públ. Educ, 1453, 425–436. h ps://doi.o g/10.1590/S0104-40362006000400002 Polo, M. G. de O. (2015). Go e no , sociedade ci il e os desa ios na publicação de dados abe os : o caso da base de dados do P og ama Nacional de Apoio à Cul u a no B asil . Ponniah, P. (2001). Da a Wa ehousing Fundamen als: A Comp ehensi e Guide o IT P o essionals (Vol. 6). John Wiley & Sons, Inc. Pos , D. (2015). Does Wa ching Help ? In Sea ch o he Theo y o Change o Educa ion Moni o ing. Cu en Issues in Compa a i e Educa ion, 17(1), 72–86. Re ie ed om h ps://e ic.ed.go /?id=EJ1061022 P onko, M. (2015). O Banco Mundial no campo in e nacional da educação. In J. M. M. Pe ei a & M. P onko (Eds.), A demolição de di ei os: um exame das polí icas do Banco Mundial pa a a educação e a saúde (1980-2013) (pp. 89–112). Rio de Janei o: EPSJV. Re ie ed om h p://www.epsj . ioc uz.b /si es/de aul / iles/l240.pd Resende, W. D. C., & Nassi , M. E. (2015). Aplicação da lei de acesso à in o mação em po ais de anspa ência go e namen ais b asilei os. Re is a Ele ônica de Biblio economia E Ciência Da In o mação, 20(42), 1. h ps://doi.o g/10.5007/1518-2924.2015 20n42p1 Rigo, S. J., Camb uzzi, W., Ba bosa, J. L. V., & Cazella, S. C. (2014). Mine ando Dados Educacionais com oco na e asão escola : opo unidades, desa ios e necessidades. Re is a B asilei a de In o má ica Na Educação, 22(1), 132. h ps://doi.o g/10.5753/RBIE.2014.22.01.132 Rigo i, J. I. R. (2004). Va iá eis de educação dos censos demog á icos b asilei os de 1960 a 2000. In E. L. G. Rios-Ne o & J. L. de R. Riani (Eds.), In odução à demog a ia da educação (pp. 129– 142). Campinas: Associação B asilei a de Es udos Populacionais - ABEP. RIPSA, R. I. de I. pa a a S. (2008). Indicado es básicos de Saúde no B asil: concei os e aplicações. (R. As o ino, Ed.) (1a edição). B asília: O ganização Pan-Ame icana da Saúde. Re ie ed om h p://www. ipsa.o g.b Sá, J. V. de O., Ca alho, J. Á., & Kaldeich, C. (2012). A mul i-d i en app oach o equi emen s analysis o da a wa ehouse schema: a case s udy. IADIS 2013, 8. Re ie ed om h p://hdl.handle.ne /1822/22145 Sa iani, D. (2012). O Inep, o diagnós ico da educação b asilei a e a Rbep. Re is a B asilei a de Es udos Pedagógicos, 93(234). Schae e , B. C., Tan ikulu, E., & B ei e , A. (2011). Elici ing use equi emen s when he e is no 72 o ganiza ion: A mixed me hod o an educa ional da a wa ehouse p ojec . P ocedia - Social and Beha io al Sciences, 28, 743–748. h ps://doi.o g/10.1016/j.sbsp o.2011.11.137 Sen a, N. de C. (2009). Uma B e e his ó ia das es a ís icas b asilei as (1822-2002). Rio de Janei o: Cen o de Documen ação e In o mações e Disseminação de In o mações - CDDI. Re ie ed om www.ibge.go .b Shen, C., Riaz, Z., Palle, M. S., Jin, Q., & Peña-Mo a, F. (2015). Open Da a Landscape: A Global Pe spec i e and a Focus on China. In M. Janssen, M. Män ymäki, J. Hidde s, B. Klie ink, W. Lame sdo , B. an Loenen, & A. Zuide wijk (Eds.), Open and Big Da a Managemen and Inno a ion : 14 h IFIP WG 6.11 Con e ence on e-Business, e-Se ices, and e-Socie y, I3E 2015, Del , The Ne he lands, Oc obe 13-15, 2015, P oceedings (pp. 247–260). Cham: Sp inge In e na ional Publishing. h ps://doi.o g/10.1007/978-3-319-25013-7_20 Sil a, A. B. de O. (2003). O sis ema de in o mações es a ís icas no B asil e as elações en e seus p odu o es e usuá ios. Ciência Da In o mação, 34(2), 62–69. h ps://doi.o g/10.1590/S0100- 19652005000200007 Souza, R. M. de O., & Oli ei a, E. A. M. (2012). O censo escola no con ex o da democ a ização da educação básica e do pac o ede a i o b asilei o, 1464–1473. S eibel, F. (2014). Independen Repo ing mechanism - B asil : ela ó io do p og esso B asil 2013- 2014. Washing on, DC. Re ie ed om h p://www.opengo pa ne ship.o g/si es/de aul / iles/B asil_Rela ó io2013- 14_Final_0.pd S and, M. (2005). Ex e nal Da a Inco po a ion in o Da a Wa ehouses. Knowledge C ea ion Di usion U iliza ion. Re ie ed om ile:///C:/Use s/TUL/Documen s/Li e a u /S and - 2005 - Ex e nal Da a Inco po a ion in o Da a Wa ehouses.pd Susha, I., Zuide wijk, A., Janssen, M., Ke, Å., & Nlund, G. (2015). Benchma ks o e alua ing he Pp og ess o open Da a adop ion: usage, limi a ions, and lessons lea ned. Social Science Compu e Re iew, 33(5), 613–630. h ps://doi.o g/10.1177/0894439314560852 Ubaldi, B. (2013). Towa ds Empi ical Analysis o Open Go e nmen Da a Ini ia i es. OECD Wo king Pape s on Public Go e nance. Pa is. h ps://doi.o g/h p://dx.doi.o g/10.1787/5k46bj4 03s7- en Ve ge , A., Lubienski, C., & S eine -Khamsi, G. (2016). The Eme gence and S uc u ing o he Global Educa ion Indus y: Towa ds an Analy ical F amewo k. In Wo ld Yea book o Educa ion 2016: The Global Educa ion Indus y (pp. 1–26). h ps://doi.o g/10.1063/1.857816 Viana, G., & Lima, J. F. de. (2010). Capi al humano e c escimen o econômico. In e ações (Campo G ande), 11(2), 137–148. h ps://doi.o g/10.1590/S1518-70122010000200003 Weins ein, J., & Golds ein, J. (2012). The bene i s o a big en : Opening up go e nmen in de eloping coun ies a esponse o Yu & Robinson’s he new ambigui y o “Open Go e nmen .” UCLA Law Re iew Discou se, 60(2012), 38–48. Re ie ed om h p://www.uclalaw e iew.o g/pd /discou se/60-3.pd Zuide wijk, A., & Janssen, M. (2014). Open da a policies, hei implemen a ion and impac : A amewo k o compa ison. Go e nmen In o ma ion Qua e ly, 31(1), 17–29. h ps://doi.o g/10.1016/j.giq.2013.04.003 73 8. ANEXOS Documen ação do banco “db_dados_me adados”: Tabela: “ bl_base_ano_layou ” Desc ição: a mazena a in o mação sob e o ano que um de e minado layou de base oi u ilizado em uma de e minada pesquisa. Di e en es edições (anos) de uma pesquisa podem compa ilha um mesmo layou . Obje i o: e i a a duplicação de in o mações nas abelas " bl_base_ a ia eis" e bl_base_ a ia el_ alues". DDL: CREATE TABLE ` bl_base_ano_layou ` ( ` k_base` INT(11) NOT NULL, `id_ano` INT(11) NOT NULL, ` k_ p_ ile` INT(11) NULL DEFAULT NULL, ` lg_heade ` SET('Y','N') NULL DEFAULT NULL, ` k_ p_sepa ado ` INT(11) NULL DEFAULT NULL, PRIMARY KEY (` k_base`, `id_ano`), INDEX `FK_ bl_base_pesquisa_ bl_ p_ ile` (` k_ p_ ile`), INDEX `FK_ bl_base_pesquisa_ bl_ p_sepa ado ` (` k_ p_sepa ado `), CONSTRAINT `FK_ bl_base_ano_layou _ bl_base_pesquisa` FOREIGN KEY (` k_base`) REFERENCES ` bl_base_pesquisa` (`id_base`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_pesquisa_ bl_ p_ ile` FOREIGN KEY (` k_ p_ ile`) REFERENCES ` bl_ p_ ile` (`id_ p_ ile`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_pesquisa_ bl_ p_sepa ado ` FOREIGN KEY (` k_ p_sepa ado `) REFERENCES ` bl_ p_sepa ado ` (`id_ p_sepa ado `) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Tabela: “ bl_base_a qui o” Desc ição: a mazena os nomes dos a qui os que es ão elacionados a uma de e minada pesquisa. Uma pesquisa de e con e no mínimo um a qui o cadas ado pa a pode se u ilizada no p ocessamen o. Ela ambém in o ma o caminho onde o a qui o de e se achado e qual o amanho desse. Obje i o: in o ma à aplicação o local e nome dos a qui os que de em se p ocessados. DDL: CREATE TABLE ` bl_base_a qui o` ( `id_a qui o` INT(11) NOT NULL AUTO_INCREMENT, ` k_base_pesquisa` INT(11) NOT NULL DEFAULT '0', `nm_a qui o` VARCHAR(150) NOT NULL DEFAULT '0', 74 `caminho_a qui o` VARCHAR(500) NOT NULL DEFAULT '0', ` amanho_a qui o` VARCHAR(50) NOT NULL DEFAULT '0', PRIMARY KEY (`id_a qui o`), INDEX `FK_ bl_base_a qui o_ bl_base_pesquisa` (` k_base_pesquisa`), CONSTRAINT `FK_ bl_base_a qui o_ bl_base_pesquisa` FOREIGN KEY (` k_base_pesquisa`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=17 ; Tabela: “ bl_base_pesquisa” Desc ição: a mazena as bases que compõem uma de e minada pesquisa. Uma pesquisa de e con e no mínimo uma base. Além disso são a mazenadas in o mações sob e ipo de layou que (exis ência de heade ou o ipo de sepa ado ) que os a qui os da pesquisa possuem. Po úl imo, são a mazenadas as unidades de análise da base, já que uma pesquisa pode e di e en es unidades de analise/in es igação. Obje i o: aze a conexão en e a qui os, pesquisas e indicado es. DDL: CREATE TABLE ` bl_base_pesquisa` ( `id_base` INT(11) NOT NULL AUTO_INCREMENT, `nm_base` VARCHAR(50) NOT NULL, ` k_pesquisa` INT(11) NOT NULL, `ds_base` TEXT NULL, ` k_ p_unidade_analise` INT(11) NULL DEFAULT NULL, PRIMARY KEY (`id_base`), INDEX `FK_ bl_base_pesquisa_ bl_pesquisa` (` k_pesquisa`), INDEX `FK_ bl_base_pesquisa_ bp_ p_unidade_analise` (` k_ p_unidade_analise`), CONSTRAINT `FK_ bl_base_pesquisa_ bl_pesquisa` FOREIGN KEY (` k_pesquisa`) REFERENCES ` bl_pesquisa` (`id_pesquisa`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_pesquisa_ bp_ p_unidade_analise` FOREIGN KEY (` k_ p_unidade_analise`) REFERENCES ` bl_ p_unidade_analise` (`id_ p_unidade_analise`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=6 ; Tabela: “ bl_base_ a ia eis” Desc ição: a mazena as in o mações básicas das a iá eis (campos) que uma base possui. Obje i o: in o ma à aplicação as a iá eis e suas in o mações pa a a execução do p ocessamen o. Também pode se u ilizada pa a a c iação au omá ica de abelas em um banco de dados (ex. c iação de abelas s aging). 75 DDL: CREATE TABLE ` bl_base_ a ia eis` ( `id_ a ` INT(11) NOT NULL AUTO_INCREMENT, ` k_base` INT(11) NOT NULL, `nm_ a ` VARCHAR(50) NOT NULL, ` k_ a lag` INT(11) NULL DEFAULT NULL, ` k_ p_ a ` INT(11) NULL DEFAULT NULL, `ds_ a ` TEXT NULL, `pos_inicial` INT(11) NULL DEFAULT NULL, `pos_ inal` INT(11) NULL DEFAULT NULL, ` amanho` VARCHAR(8) NULL DEFAULT NULL, ` a _missing` VARCHAR(50) NULL DEFAULT NULL COMMENT 'a mazena os alo es que de em se excluidos do p ocessamen o', PRIMARY KEY (`id_ a `), INDEX `FK_ bl_base_ a ia eis_ bl_ a lag` (` k_ a lag`), INDEX `FK_ bl_base_ a ia eis_ bl_ p_ a ia el` (` k_ p_ a `), INDEX `FK_ bl_base_ a ia eis_ bl_base_pesquisa` (` k_base`), CONSTRAINT `FK_ bl_base_ a ia eis_ bl_base_pesquisa` FOREIGN KEY (` k_base`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_ a ia eis_ bl_ p_ a ia el` FOREIGN KEY (` k_ p_ a `) REFERENCES ` bl_ p_ a ia el` (`id_ p_ a ia el`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_ a ia eis_ bl_ a lag` FOREIGN KEY (` k_ a lag`) REFERENCES ` bl_ p_ a lag` (`id_ a _ lag`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB Tabela: “ bl_base_ a ia el_ alues” Desc ição: a mazena as in o mações das codi icações das a iá eis ca egó icas. Obje i o: acili a a in e ação dos u ilizado es com a in e ace de c iação dos indicado es no momen o do il o, já que aduz os códigos em concei os in eligí eis ao u ilizado . DDL: CREATE TABLE ` bl_base_ a ia el_ alues` ( ` k_ a ` INT(11) NULL DEFAULT NULL, `cod_ alue` VARCHAR(50) NULL DEFAULT NULL, `ds_ alue` VARCHAR(400) NULL DEFAULT NULL, INDEX `FK_ bl_base_ a ia el_ alue_ bl_base_ a ia el` (` k_ a `), CONSTRAINT `FK_ bl_base_ a ia el_ alue_ bl_base_ a ia el` FOREIGN KEY (` k_ a `) REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB Tabela: “ bl_bases_link” Desc ição: a mazena as in o mações que pe mi em a in e ligação das bases. Obje i o: pe mi i que a aplicação ealize "joins" en e as bases. 76 DDL: CREATE TABLE ` bl_bases_link` ( `id_link` INT(11) NOT NULL AUTO_INCREMENT, ` k_base_pai` INT(11) NULL DEFAULT NULL, ` k_cha e_pai` INT(11) NULL DEFAULT NULL, ` k_base_ ilho` INT(11) NULL DEFAULT NULL, ` k_cha e_ ilho` INT(11) NULL DEFAULT NULL, PRIMARY KEY (`id_link`), INDEX ` k_base_pai_ k_base_ ilho` (` k_base_pai`, ` k_base_ ilho`), INDEX `FK_ bl_base_link_ bl_ a _1` (` k_cha e_pai`), INDEX `FK_ bl_base_link_ bl_ a _2` (` k_cha e_ ilho`), INDEX `FK_ bl_base_link_ bl_base_pesquisa_2` (` k_base_ ilho`), CONSTRAINT `FK_ bl_base_link_ bl_base_pesquisa_1` FOREIGN KEY (` k_base_pai`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_link_ bl_base_pesquisa_2` FOREIGN KEY (` k_base_ ilho`) REFERENCES ` bl_base_ano_layou ` (` k_base`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_link_ bl_ a _1` FOREIGN KEY (` k_cha e_pai`) REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_base_link_ bl_ a _2` FOREIGN KEY (` k_cha e_ ilho`) REFERENCES ` bl_base_ a ia eis` (`id_ a `) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=6 ; Tabela: “ bl_g ao_geo” Desc ição: a mazenas os ipos de g anula idade espacial Obje i o: Tabela Auxilia - in o ma à aplicação qual a meno dimensão geog á ica que é possí el em de e minada base. DDL: CREATE TABLE ` bl_g ao_geo` ( `id_g ao_geo` INT(11) NOT NULL AUTO_INCREMENT, `nm_g ao_geo` VARCHAR(50) NOT NULL, PRIMARY KEY (`id_g ao_geo`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ROW_FORMAT=DYNAMIC AUTO_INCREMENT=7 ; Tabela: “ bl_g ao_ empo” Desc ição: a mazenas os ipos de g anula idade empo al 83 Desc ição: ep esen a a ins ancia empo al do indicado , e e enciado pela edição da base de dados. Obje i o: além de possibili a a cons ução de di e en es e sões de um mesmo indicado , a abela unciona como con ole de p ocessamen o do ETL. DDL: CREATE TABLE ` bl_indicado _ano` ( `id_ins ancia` INT(11) NOT NULL AUTO_INCREMENT, `id_indicado ` INT(11) NOT NULL DEFAULT '0', `id_ano` INT(11) NOT NULL DEFAULT '0', ` lg_p oc` INT(11) NOT NULL DEFAULT '0', PRIMARY KEY (`id_ins ancia`), UNIQUE INDEX `id_indicado _id_ano` (`id_indicado `, `id_ano`), CONSTRAINT `FK_ bl_indicado _ bl_indicado _ano` FOREIGN KEY (`id_indicado `) REFERENCES ` bl_indicado es` (`id_indicado `) ON UPDATE CASCADE ON DELETE CASCADE ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=6 ; Tabela: ` bl_indicado _ o alizacao` Desc ição: a mazena a a iá el pela qual o indicado se á o alização ou con abilizado. Obje i o: possibili a a ealização das con agens e soma ó io du an e a execução do ETL/SQL DDL: CREATE TABLE ` bl_indicado _ o alizacao` ( `id_ o alizacao` INT(11) NOT NULL AUTO_INCREMENT, ` k_in ancia` INT(11) NULL DEFAULT NULL, ` k_pa cela` INT(11) NULL DEFAULT NULL, `ds_ o alizacao` INT(11) NULL DEFAULT NULL, PRIMARY KEY (`id_ o alizacao`), UNIQUE INDEX ` k_pa cela_ds_ o alizacao` (` k_pa cela`, `ds_ o alizacao`), CONSTRAINT `FK_02` FOREIGN KEY (` k_pa cela`) REFERENCES ` bl_pa celas_indicado ` (`id_pa cela`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ROW_FORMAT=DYNAMIC AUTO_INCREMENT=4 ; Tabela: ` bl_ope ado _compa acao` Desc ição: a mazena os p incipais ope ado es de compa ação u ilizados no p ocessamen o. 84 Obje i o: Tabela Auxilia - possibili a à aplicação PHP exibi aos u ilizado es os ope ado es de compa ação. Além disso, o nece as e sões desses ope ado es em Pyh on e SQL, pa a a u ilização das o inas de ETL. DDL: CREATE TABLE ` bl_ope ado _compa acao` ( `id_compa acao` INT(11) NOT NULL AUTO_INCREMENT, `ds_compa acao` VARCHAR(50) NULL DEFAULT NULL, `ope ado _py hon` VARCHAR(50) NULL DEFAULT NULL, `ope ado _sql` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_compa acao`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=9 ; Tabela: ` bl_ope ado _logico` Desc ição: a mazena os p incipais ope ado es lógicos u ilizados no p ocessamen o. Obje i o: Tabela Auxilia - possibili a à aplicação PHP exibi aos u ilizado es os ope ado es lógicos. Além disso, o nece as e sões desses ope ado es em Pyh on e SQL, pa a a u ilização das o inas de ETL. DDL: CREATE TABLE ` bl_ope ado _logico` ( `id_logico` INT(11) NOT NULL AUTO_INCREMENT, `ds_logico` VARCHAR(50) NULL DEFAULT NULL, `ope ado _py hon` VARCHAR(50) NULL DEFAULT NULL, `ope ado _pe l` VARCHAR(50) NULL DEFAULT NULL, `ope ado _sql` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_logico`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=4 ; Tabela: ` bl_pa celas_indicado ` Desc ição: a mazena as pa celas que compõem um de e minado indicado . Além disso iden i ica o ipo de o alização que de e á se ealizado em cada uma delas. Obje i o: possibili a a cons ução de indicado es de ac os não adi i os. DDL: CREATE TABLE ` bl_pa celas_indicado ` ( `id_pa cela` INT(11) NOT NULL AUTO_INCREMENT, ` k_ins ancia` INT(11) NULL DEFAULT '0', ` k_pesquisa` INT(11) NULL DEFAULT '0', 85 ` k_ p_pa cela` SET('Nume ado ','Denominado ','Pa cela Única') NULL DEFAULT NULL, `ds_pa cela` VARCHAR(300) NULL DEFAULT '0', `ds_unidade_ o alizacao` SET('Ponde ação','Con agem','Cálculo') NULL DEFAULT NULL, PRIMARY KEY (`id_pa cela`), INDEX `FK_ bl_pa cela_indicado _ bl_indicado _ano` (` k_ins ancia`), CONSTRAINT `FK_ bl_pa cela_indicado _ bl_indicado _ano` FOREIGN KEY (` k_ins ancia`) REFERENCES ` bl_indicado _ano` (`id_ins ancia`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=5 ; Tabela: ` bl_pa cela_a ibu o` Desc ição: a mazena as ca ac e ís icas de cada uma das pa celas do indicado , den e elas, a on e de dados u ilizada, as a iá eis u ilizadas, os ope ado es (lógico e de compa ação) e os alo es de il o que de e m se a ibuídos em cada pa cela. Obje i o: possibili a a cons ução dos indicado es pelo p ocessamen o ETL. DDL: CREATE TABLE ` bl_pa cela_a ibu o` ( `id_a ibu o` INT(11) NOT NULL AUTO_INCREMENT, ` k_pa cela` INT(11) NOT NULL, ` k_base_pesquisa` INT(11) NOT NULL, ` k_ a ia el` INT(11) NOT NULL, ` k_compa acao` INT(11) NOT NULL, `ds_ alo es` VARCHAR(250) NOT NULL, ` k_logica` INT(11) NOT NULL, PRIMARY KEY (`id_a ibu o`), INDEX `FK_ bl_pa cela_indicado _ bl_pa cela_a ibu o` (` k_pa cela`), INDEX `FK_ bl_pa cela_indicado _ bl_ope ado _compa acao` (` k_compa acao`), INDEX `FK_ bl_pa cela_indicado _ bl_ope ado _logico` (` k_logica`), CONSTRAINT `FK_ bl_pa cela_indicado _ bl_ope ado _compa acao` FOREIGN KEY (` k_compa acao`) REFERENCES ` bl_ope ado _compa acao` (`id_compa acao`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_pa cela_indicado _ bl_ope ado _logico` FOREIGN KEY (` k_logica`) REFERENCES ` bl_ope ado _logico` (`id_logico`) ON UPDATE NO ACTION ON DELETE NO ACTION, CONSTRAINT `FK_ bl_pa cela_indicado _ bl_pa cela_a ibu o` FOREIGN KEY (` k_pa cela`) REFERENCES ` bl_pa celas_indicado ` (`id_pa cela`) ON UPDATE NO ACTION ON DELETE NO ACTION ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=11 Tabela: ` bl_ p_indicado ` 86 Desc ição: indicada a unidade de medida na qual o indicado es á ep esen ado (“Valo absolu o”, “Média”, “Taxa”, “Pe cen ual”, “Razão”). Obje i o: Tabela Auxilia – indicada no sis ama PHP as opções de medida. DDL: CREATE TABLE ` bl_ p_indicado ` ( `id_ p_indicado ` INT(11) NOT NULL AUTO_INCREMENT, `nm_ p_indicado ` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_ p_indicado `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=6 ; Figu a 27 – DER – Banco de Indicado es 87 Documen ação do banco “db_dimensional”: Dimensão Gêne o: CREATE TABLE `dim_gene o` ( `id_sexo` INT(11) NOT NULL AUTO_INCREMENT, `nm_sexo` VARCHAR(25) NULL DEFAULT '0', `slg_sexo` VARCHAR(1) NULL DEFAULT '0', PRIMARY KEY (`id_sexo`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB AUTO_INCREMENT=1000 ; Dimensão É inco- acial: CREATE TABLE `dim_co ` ( `id_co ` INT(11) NOT NULL, ` aca_co _01` VARCHAR(50) NULL DEFAULT NULL, ` aca_co _02` VARCHAR(50) NULL DEFAULT NULL, ` aca_co _03` VARCHAR(50) NULL DEFAULT NULL, ` aca_co _04` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_co `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Dimensão Faixa E á ia: CREATE TABLE `dim_ aixa_e a ia` ( `id_idade` INT(11) NOT NULL, ` aixa_01` VARCHAR(50) NULL DEFAULT NULL, ` aixa_02` VARCHAR(50) NULL DEFAULT NULL, ` aixa_03` VARCHAR(50) NULL DEFAULT NULL, ` aixa_ciclo` VARCHAR(50) NULL DEFAULT NULL, ` aixa_pia` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_idade`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Dimensão Indicado : CREATE TABLE `dim_pa cela` ( `id_pa cela` INT(11) NOT NULL, `id_indicado ` INT(11) NULL DEFAULT NULL, `ds_pa cela` VARCHAR(50) NULL DEFAULT NULL, ` p_pa cela` VARCHAR(50) NULL DEFAULT NULL, ` p_unidade` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_pa cela`), INDEX `FK3_2` (`id_indicado `), CONSTRAINT `FK3_2` FOREIGN KEY (`id_indicado `) REFERENCES `dim_indicado ` (`id_indicado `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; 88 CREATE TABLE `dim_indicado ` ( `id_indicado ` INT(11) NOT NULL, `nm_indicado ` VARCHAR(250) NULL DEFAULT NULL, `ds_indicado ` VARCHAR(250) NULL DEFAULT NULL, `id_a ea` INT(11) NULL DEFAULT NULL, `ds_ o mula` VARCHAR(50) NULL DEFAULT NULL, `d _ a o ` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_indicado `), INDEX `FK3_1` (`id_a ea`), CONSTRAINT `FK3_1` FOREIGN KEY (`id_a ea`) REFERENCES `dim_a ea` (`id_a ea`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_a ea` ( `id_a ea` INT(11) NOT NULL, `id_classe` INT(11) NOT NULL, `nm_a ea` INT(11) NOT NULL, PRIMARY KEY (`id_a ea`), INDEX `FK1_1a` (`id_classe`), CONSTRAINT `FK1_1a` FOREIGN KEY (`id_classe`) REFERENCES `dim_acao` (`id_classe`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_acao` ( `id_classe` INT(11) NOT NULL, `nm_classe` VARCHAR(250) NOT NULL, `id_acao` INT(11) NOT NULL, `nm_acao` VARCHAR(250) NOT NULL, PRIMARY KEY (`id_classe`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Dimensão Geog á ica: CREATE TABLE `dim_geo_dis i o` ( `id_geo_dis i o` INT(11) NOT NULL, `id_geo_munic` INT(11) NULL DEFAULT NULL, `cod_dis i o` BIGINT(20) NULL DEFAULT NULL, `nm_dis i o` VARCHAR(250) NULL DEFAULT NULL, PRIMARY KEY (`id_geo_dis i o`), INDEX `FK2_3a` (`id_geo_munic`), CONSTRAINT `FK2_3a` FOREIGN KEY (`id_geo_munic`) REFERENCES `dim_geo_municipio` (`id_geo_munic`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_geo_es ado` ( `id_geo_es ado` INT(11) NOT NULL, `cod_es ado` INT(11) NULL DEFAULT NULL, `nm_es ado` VARCHAR(50) NULL DEFAULT NULL, `slg_es ado` VARCHAR(2) NULL DEFAULT NULL, `cod_ egiao` INT(11) NULL DEFAULT NULL, `nm_ egiao` VARCHAR(50) NULL DEFAULT NULL, `slg_ egiao` VARCHAR(2) NULL DEFAULT NULL, PRIMARY KEY (`id_geo_es ado`) ) 89 COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_geo_municipio` ( `id_geo_munic` INT(11) NOT NULL, `id_geo_es ado` INT(11) NULL DEFAULT NULL, `cod_munic` INT(11) NULL DEFAULT NULL, `nm_munic` VARCHAR(250) NULL DEFAULT NULL, `cod_meso` INT(11) NULL DEFAULT NULL, `nm_meso` VARCHAR(250) NULL DEFAULT NULL, `cod_mic o` INT(11) NULL DEFAULT NULL, `nm_mic o` VARCHAR(250) NULL DEFAULT NULL, `cod_ m_ ide` INT(11) NULL DEFAULT NULL, `nm_ m_ ide` VARCHAR(250) NULL DEFAULT NULL, PRIMARY KEY (`id_geo_munic`), INDEX `FK2_4a` (`id_geo_es ado`), CONSTRAINT `FK2_4a` FOREIGN KEY (`id_geo_es ado`) REFERENCES `dim_geo_es ado` (`id_geo_es ado`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_geo_se o ` ( `id_geo_se o ` BIGINT(20) NOT NULL, `id_geo_dis i o` INT(11) NULL DEFAULT NULL, `cod_se o ` BIGINT(20) NULL DEFAULT NULL, `cod_subdis i o` BIGINT(20) NULL DEFAULT NULL, `nm_subdis i o` VARCHAR(250) NULL DEFAULT NULL, `cod_bai o` BIGINT(20) NULL DEFAULT NULL, `nm_bai o` VARCHAR(250) NULL DEFAULT NULL, `si uacao_se o ` INT(11) NULL DEFAULT NULL, ` p_se o ` INT(11) NULL DEFAULT NULL, PRIMARY KEY (`id_geo_se o `), INDEX `FK2_2_a` (`id_geo_dis i o`), CONSTRAINT `FK2_2_a` FOREIGN KEY (`id_geo_dis i o`) REFERENCES `dim_geo_dis i o` (`id_geo_dis i o`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Dimensão Tempo: CREATE TABLE `dim_ mp_ano` ( `id_ano` INT(11) NOT NULL, ` lg_bissex o` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_ano`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE `dim_ mp_mes` ( `id_mes` INT(11) NOT NULL, `id_ano` INT(11) NULL DEFAULT NULL, `mes` VARCHAR(2) NULL DEFAULT NULL, `nm_mes` VARCHAR(20) NULL DEFAULT NULL, `slg_mes` VARCHAR(3) NULL DEFAULT NULL, PRIMARY KEY (`id_mes`), INDEX `FK1_2a` (`id_ano`), CONSTRAINT `FK1_2a` FOREIGN KEY (`id_ano`) REFERENCES `dim_ mp_ano` (`id_ano`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB 90 ; CREATE TABLE `dim_ mp_ imes e` ( `id_ imes e` INT(11) NOT NULL, `id_mes` INT(11) NULL DEFAULT NULL, ` imes e` VARCHAR(1) NULL DEFAULT NULL, `nm_ imes e` VARCHAR(20) NULL DEFAULT NULL, `slg_ imes e` VARCHAR(6) NULL DEFAULT NULL, PRIMARY KEY (`id_ imes e`), INDEX `FK1_3a` (`id_mes`), CONSTRAINT `FK1_3a` FOREIGN KEY (`id_mes`) REFERENCES `dim_ mp_mes` (`id_mes`) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; Fac os: CREATE TABLE ` a o_ano_dis i o` ( `PARCELA` INT(1) NOT NULL, `DIM_ANO` INT(11) NOT NULL, `DIM_DIST` INT(11) NOT NULL, `DIM_SEXO` INT(3) NOT NULL, `DIM_IDADE` INT(3) NOT NULL, `DIM_COR` INT(3) NOT NULL, `VALUE` INT(11) NOT NULL, PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_DIST`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`), INDEX `FK5_2` (`DIM_ANO`), INDEX `FK5_3` (`DIM_DIST`), INDEX `FK5_4` (`DIM_SEXO`), INDEX `FK5_5` (`DIM_IDADE`), INDEX `FK5_6` (`DIM_COR`), CONSTRAINT `FK5_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`), CONSTRAINT `FK5_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`), CONSTRAINT `FK5_3` FOREIGN KEY (`DIM_DIST`) REFERENCES `dim_geo_dis i o` (`id_geo_dis i o`), CONSTRAINT `FK5_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`), CONSTRAINT `FK5_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia` (`id_idade`), CONSTRAINT `FK5_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE ` a o_ano_municipio` ( `PARCELA` INT(1) NOT NULL, `DIM_ANO` INT(11) NOT NULL, `DIM_MUNIC` INT(11) NOT NULL, `DIM_SEXO` INT(3) NOT NULL, `DIM_IDADE` INT(3) NOT NULL, `DIM_COR` INT(3) NOT NULL, `VALUE` INT(11) NOT NULL, PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_MUNIC`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`), INDEX `FK7_2` (`DIM_ANO`), INDEX `FK7_3` (`DIM_MUNIC`), INDEX `FK7_4` (`DIM_SEXO`), INDEX `FK7_5` (`DIM_IDADE`), INDEX `FK7_6` (`DIM_COR`), CONSTRAINT `FK7_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`), CONSTRAINT `FK7_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`), CONSTRAINT `FK7_3` FOREIGN KEY (`DIM_MUNIC`) REFERENCES `dim_geo_municipio` (`id_geo_munic`), CONSTRAINT `FK7_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`), CONSTRAINT `FK7_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia` (`id_idade`), 91 CONSTRAINT `FK7_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE ` a o_ano_se o ` ( `PARCELA` INT(1) NOT NULL, `DIM_ANO` INT(11) NOT NULL, `DIM_SETOR` BIGINT(11) NOT NULL, `DIM_SEXO` INT(3) NOT NULL, `DIM_IDADE` INT(3) NOT NULL, `DIM_COR` INT(3) NOT NULL, `VALUE` INT(11) NOT NULL, PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_SETOR`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`), INDEX `FK6_2` (`DIM_ANO`), INDEX `FK6_3` (`DIM_SETOR`), INDEX `FK6_4` (`DIM_SEXO`), INDEX `FK6_5` (`DIM_IDADE`), INDEX `FK6_6` (`DIM_COR`), CONSTRAINT `FK6_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`), CONSTRAINT `FK6_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`), CONSTRAINT `FK6_3` FOREIGN KEY (`DIM_SETOR`) REFERENCES `dim_geo_se o ` (`id_geo_se o `), CONSTRAINT `FK6_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`), CONSTRAINT `FK6_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia` (`id_idade`), CONSTRAINT `FK6_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; CREATE TABLE ` a o_ano_u ` ( `PARCELA` INT(1) NOT NULL, `DIM_ANO` INT(11) NOT NULL, `DIM_UF` INT(11) NOT NULL, `DIM_SEXO` INT(3) NOT NULL, `DIM_IDADE` INT(3) NOT NULL, `DIM_COR` INT(3) NOT NULL, `VALUE` INT(11) NOT NULL, PRIMARY KEY (`PARCELA`, `DIM_ANO`, `DIM_UF`, `DIM_SEXO`, `DIM_IDADE`, `DIM_COR`), INDEX `FK4_2` (`DIM_ANO`), INDEX `FK4_3` (`DIM_UF`), INDEX `FK4_4` (`DIM_SEXO`), INDEX `FK4_5` (`DIM_IDADE`), INDEX `FK4_6` (`DIM_COR`), CONSTRAINT `FK4_1` FOREIGN KEY (`PARCELA`) REFERENCES `dim_pa cela` (`id_pa cela`), CONSTRAINT `FK4_2` FOREIGN KEY (`DIM_ANO`) REFERENCES `dim_ mp_ano` (`id_ano`), CONSTRAINT `FK4_3` FOREIGN KEY (`DIM_UF`) REFERENCES `dim_geo_es ado` (`id_geo_es ado`), CONSTRAINT `FK4_4` FOREIGN KEY (`DIM_SEXO`) REFERENCES `dim_gene o` (`id_sexo`), CONSTRAINT `FK4_5` FOREIGN KEY (`DIM_IDADE`) REFERENCES `dim_ aixa_e a ia` (`id_idade`), CONSTRAINT `FK4_6` FOREIGN KEY (`DIM_COR`) REFERENCES `dim_co ` (`id_co `) ) COLLATE='u 8_gene al_ci' ENGINE=InnoDB ; 92 Figu a 28 – DER Banco Dimensional 99 a _g = lis () sql_13 = """selec c.ds_ o alizacao om bl_indicado es as a le join bl_indicado _ano as b on a.id_indicado = b.id_indicado le join bl_indicado _ o alizacao as c on b.id_ins ancia = c. k_in ancia whe e b. lg_p oc = 0 and b.id_ins ancia = {0} and c. k_pa cela = {1}""". o ma ( _ins an,pa cela) cu so _011.execu e(sql_13) esul = cu so _011. e chall() i esul : o i in esul : sql_12 = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma (i[0]) cu so _022.execu e(sql_12) g = cu so _022. e chall() a _g.append(g[0]) e u n a _g[0][0] ########################################################################### ## de ipo_ope acao(pa cela): sql_14 = """selec ds_unidade_ o alizacao om bl_pa celas_indicado whe e id_pa cela = {0}""". o ma (pa cela) cu so _011.execu e(sql_14) esul = cu so _011. e chall() p_op = '' i esul [0][0] == 'Con agem': p_op = ', COUNT(DISTINCT ' eli esul [0][0] == 'Ponde ação': p_op = ', SUM( ' eli esul [0][0] == 'Cálculo': p in ('FALTA OPERAÇÃO!!!!') e u n p_op ########################################################################### ## de de ine_g ao_ mp(pa cela): sql_11a = "selec k_pesquisa om bl_pa celas_indicado whe e id_pa cela = {0}". o ma (pa cela) cu so _011.execu e(sql_11a) 100 esul = cu so _011. e chall() o i in esul : sql_11a1 = "selec g ao_ empo om bl_pesquisa whe e id_pesquisa = {0}". o ma (i[0]) cu so _022.execu e(sql_11a1) esul = cu so _022. e chall() o x in esul : e u n x[0] ########################################################################### ## de de ine_g ao_geo(pa cela): sql_11a = "selec k_pesquisa om bl_pa celas_indicado whe e id_pa cela = {0}". o ma (pa cela) cu so _011.execu e(sql_11a) esul = cu so _011. e chall() o i in esul : sql_11a1 = "selec g ao_geo om bl_pesquisa whe e id_pesquisa = {0}". o ma (i[0]) cu so _022.execu e(sql_11a1) esul = cu so _022. e chall() o x in esul : e u n x[0] ########################################################################### ## de mon a_sql( _ins an,pa cela): geo = de ine_g ao_geo(pa cela) mp = de ine_g ao_ mp(pa cela) a _ = se () _lis = '' g_lis = '' join = '' sql_11 = """selec c.id_dimensao om bl_indicado es as a le join bl_indicado _ano as b on a.id_indicado = b.id_indicado le join bl_indicado _ag egacao as c on b.id_ins ancia = c. k_in ancia whe e b. lg_p oc = 0 and b.id_ins ancia ={0} and c. k_pa cela = {1}""". o ma ( _ins an,pa cela) cu so _011.execu e(sql_11) esul = cu so _011. e chall() i esul : _lis a = [] o i in esul : sql_12a = 'selec k_ a lag,nm_ a om bl_base_ a ia eis whe e id_ a ={0}'. o ma (i[0]) cu so _022.execu e(sql_12a) = cu so _022. e chall() _lis a.append( [0][0]) i [0][0] == 4: #cha e geo 101 i geo == 4: #município g ao_g = " JOIN (selec dis inc cod_munic, id_geo_munic om bl_dim_geo ) AS geo ON (geo.cod_munic = bl_" nm_geo = 'DIM_MUNIC' _geo = 'geo.id_geo_munic' eli geo == 2: #es ado g ao_g = " JOIN (selec dis inc cod_es ado, id_geo_es ado om bl_dim_geo ) AS geo ON (geo.cod_es ado = bl_" nm_geo = 'DIM_UF' _geo = 'geo.id_geo_es ado' eli geo == 5: #dis i o g ao_g = " JOIN (selec dis inc cod_dis i o,id_geo_dis i o om bl_dim_geo ) AS geo ON (geo.cod_dis i o = bl_" nm_geo = 'DIM_DIST' _geo = 'geo.id_geo_dis i o' eli geo == 6: #se o g ao_g = " JOIN (selec dis inc cod_se o , id_geo_se o om bl_dim_geo ) AS geo ON (geo.cod_se o = bl_" nm_geo = 'DIM_SETOR' _geo = 'geo.id_geo_se o ' else: # e o p in ("ERRO-41!") sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma ( i[0]) cu so _022.execu e(sql_12b) = cu so _022. e chall() join = join + "{0}{1}{2}) ". o ma (g ao_g,pa cela, [0][0]) _lis = _lis + ",{0} as {1} ". o ma ( _geo,nm_geo) g_lis = g_lis + ",{0} ". o ma ( _geo) eli [0][0] == 3: #cha e mp i mp == 1: #ano g ao_ = " JOIN (selec dis inc id_ano om bl_dim_ mp ) AS mp ON ( mp.id_ano = bl_" nm_ mp = "DIM_ANO" _ mp = ' mp.id_ano' eli mp == 2: # imes e pass eli mp == 3: #mês pass else: # e o p in ("ERRO-42!") sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma ( i[0]) cu so _022.execu e(sql_12b) = cu so _022. e chall() join = join + "{0}{1}{2}) ". o ma (g ao_ ,pa cela, [0][0]) _lis = _lis + ",{0} as {1} ". o ma ( _ mp,nm_ mp) g_lis = g_lis + ",{0} ". o ma ( _ mp) eli [0][0] in [8]: # dim idade 102 g ao_i = " JOIN (SELECT DISTINCT idade om bl_dim_idade) as b_idade ON ( b_idade.idade = bl_" nm_dim = "DIM_IDADE" _ mp = " b_idade.idade" sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma ( i[0]) cu so _022.execu e(sql_12b) = cu so _022. e chall() join = join + "{0}{1}{2}) ". o ma (g ao_i,pa cela, [0][0]) _lis = _lis + ",{0} as {1} ". o ma ( _ mp,nm_dim) g_lis = g_lis + ",{0} ". o ma ( _ mp) eli [0][0] in [9, 10]: # dim sexo e aça i [0][0] == 9: nm_sexo = "DIM_SEXO" else: nm_sexo = "DIM_COR" sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma ( i[0]) cu so _022.execu e(sql_12b) = cu so _022. e chall() a = [0][0] sc ip 01 = '' sql_12c = """selec alue_de, alue_pa a om bl_base_ a ia el_ alues_dimensao whe e id_ a ={0}""". o ma (i[0]) cu so _022.execu e(sql_12c) esul = cu so _022. e chall() o in esul : de = [0] pa a = [1] sc ip 02 = "WHEN {0} THEN {1} ". o ma (de,pa a) sc ip 01 = sc ip 01+sc ip 02 _lis = _lis + ',CASE bl_{0}{1} '. o ma (pa cela, a ) + sc ip 01 + ' ELSE 99 END AS {0} '. o ma (nm_sexo) g_lis = g_lis + ',CASE bl_{0}{1} '. o ma (pa cela, a ) + sc ip 01 + ' ELSE 99 END' sql_12b = "selec conca ('_', k_base,'.',nm_ a ) om bl_base_ a ia eis whe e id_ a = {0}". o ma (i[0]) cu so _022.execu e(sql_12b) = cu so _022. e chall() a _ .add( [0][0]) e u n _lis , g_lis , join ########################################################################### ## 103 de ag egacao(lis a, _ins an): condicao_on = se () pa cela_se = se () abelas = se () bases = [] ab_ou = [] o l in lis a: bases.append(in (l[0].spli ('_')[1])) opcoes = se (i e ools.combina ions(bases, 2)) o l in lis a: #CRIA A CONDIÇÃO FROM E ON pa cela = (in (l[0].spli ('_')[0])) pa cela_se .add(pa cela) o o in opcoes: sql_10 = """selec a. k_base_pai, (selec nm_ a om bl_base_ a ia eis whe e id_ a = a. k_cha e_pai) _pai, a. k_base_ ilho, (selec nm_ a om bl_base_ a ia eis whe e id_ a = a. k_cha e_ ilho ) _ ilho om bl_bases_link as a whe e a. k_base_pai = {0} and a. k_base_ ilho = {1}""". o ma (o[0],o[1]) cu so _022.execu e(sql_10) esul = cu so _022. e chall() i esul : condicao_on.add('ON ( bl_{0}_{1}.{2} = bl_{0}_{3}.{4})'. o ma (pa cela, esul [0][0], esul [0][1], esul [0][2], es ul [0][3])) abelas.add(" FROM bl_{0}_{1} INNER JOIN bl_{0}_{2} ". o ma (pa cela, esul [0][0], esul [0][2])) o i, x in enume a e(lis (pa cela_se )): a = '' a = "CREATE TABLE bl_{1} SELECT {0} AS PARCELA ". o ma ( _ins an,x) b = lis (mon a_sql( _ins an,x)) a = a + b[0] a = a + ipo_ope acao(x) a = a + " bl_{0}{1} ". o ma (x, o aliza( _ins an,x)) a = a + ") as VALUE " a = a + so ed( abelas)[i] a = a + so ed(condicao_on)[i] a = a + b[2] a = a + ' GROUP BY ' a = a + b[1][1:] ab_ou .append(" bl_{0}". o ma (x)) geo = de ine_g ao_geo(x) mp = de ine_g ao_ mp(x) y: s = "DROP TABLE IF EXISTS ` bl_{0}`;". o ma (x) cu so _033.execu e(s) cu so _033.execu e(a[0:len(a)-1]) p in (a) p in ("P ocessamen o OK") 104 excep Excep ion as e: p in (e) e u n ab_ou , geo, mp ############################################### # POVOA O MODELO DIMENSIONAL ############################################### impo pandas as pd impo sqlalchemy om MyFunc ions impo conexao as cn #DB STAGE engine_03 = cn.engine_03 conn_03 = engine_03.connec () #DB DIMENSÃO engine_04 = cn.engine_04 conn_04 = engine_04.connec () # e u n ab_ou , geo, mp de mo e_ egis os(en ada): #en ada = ([' bl_1',' bl_2'], 5, 1) bases = en ada[0] geo = en ada[1] mp = en ada[2] o base in bases: sql_ abela = base d = pd. ead_sql_ able(sql_ abela,conn_03) amanho = d .size i geo == 2 and mp == 1: #u & ano ab_des ino = ' a o_ano_u ' eli geo == 4 and mp == 1: #munic & ano ab_des ino = ' a o_ano_municipio' eli geo == 5 and mp == 1: #dis & ano ab_des ino = ' a o_ano_dis i o' eli geo == 6 and mp == 1: #se o & ano ab_des ino = ' a o_ano_se o ' d . o_sql( ab_des ino , con=conn_04 , i _exis s='append' , index=False , chunksize=10) p in ("O igem: {0} ; Des ino: {1} ; Regis os mo idos: {2}". o ma (base, ab_des ino, amanho))