Métodos de Geração de dados sintéticos para a criação de microdados de uso público

i Métodos de Geração de dados sintéticos para a criação de microdados de uso público por Inês Susana Ribeiro Viana Tese de Mestrado em Modelação, Análise de Dados e Sistemas de Apoio à Decisão Orientada por Prof. Doutor Pedro Campos 2014 ii Nota Biográfica Inês Susana Ribeiro Viana é natural de Penafiel, onde nasceu a 7 de janeiro de 1986. Ingressou na Faculdade de Economia da Universidade do Porto (FEP) em 2004, no curso de Economia (Pré Bolonha) que concluiu quatro anos depois. Em 2012 ingressou na FEP no Mestrado de Modelação, Análise de Dados e Sistemas de Apoio à Decisão (MADSAD). A sua primeira experiência profissional foi como Gestora Júnior de uma conta de clientes numa empresa portuguesa que representa marcas alemãs, de vários sectores económicos, em território nacional. Em fevereiro de 2010 começou a trabalhar na Agência de Inovação – Inovação Empresarial e Transferência de Tecnologia, S.A (AdI), no departamento de auditoria de processos / assistência técnica, onde se mantém atualmente a exercer as funções de Técnica Superior. iii Agradecimentos O trabalho que aqui é apresentado não seria possível sem o apoio de todos aqueles com quem convivo diariamente. Há no entanto que endereçar um agradecimento especial a todos os professores com que me cruzei durante o meu percurso académico. Ao professor Pedro Campos, agradeço a sua ajuda e os conhecimentos que me transmitiu, que foram fundamentais para a concretização deste trabalho. Agradeço aos meus pais o apoio que sempre me deram e o terem-me permitido seguir o meu sonho. Ao meu irmão pelo apoio, pela paciência e por me ter sempre incentivado ao longo de todo o meu percurso. Ao Daniel, por ter estado sempre ao meu lado não me deixando baixar os braços, pela paciência e por todo o apoio que me deu. Sem ti este trabalho não tinha sido possível. iv Resumo Tem havido uma procura crescente de informação estatística por parte dos vários agentes económicos. Apesar de ocorrer esta procura, a informação não pode ser transmitida livremente, uma vez que há que respeitar o direito que os respondentes têm de ver a sua identidade protegida. A disponibilização de informação estatística em ficheiros de uso público, que podem ser acedidos por todos dificulta a tarefa de proteção da identidade dos respondentes. Para assegurar o respeito pelo segredo estatístico, existem um conjunto de métodos de controlo de divulgação estatística que quando aplicados aos ficheiros antes de estes serem divulgados, visam reduzir a possibilidade de se conseguir identificar a origem da informação ao mínimo. Neste trabalho é apresentado um novo método (MEAC – Mínimo Erro Absoluto das Combinações das Variáveis) que permite gerar de forma sintética um ficheiro de microdados. Com o intuito de aferir a qualidade deste método, o mesmo foi aplicado a um ficheiro de microdados e os resultados obtidos são consideravelmente melhores que os resultados obtidos com a aplicação de outros métodos ao mesmo ficheiro. . v Abstract There has been an increasing demand for statistical information by various economic agents. In spite of this demand, the information cannot be transmitted at will, since it must respect the right that the respondents have to see their identity protected. The availability of statistical information on public use files that can be accessed by all, makes it difficult to protect the identity of respondents. To ensure compliance to confidentiality, there are a set of methods of statistical disclosure control applied to files before they are released, aimed at reducing to a minimum the possibility of identifying the source of the information. This work introduces a new method (MAEC - Minimum Absolute Error of Variables combinations) to synthetically generate a microdata file. In order to assess the quality of this method, it was applied to a microdata file and the results are considerably better than the results obtained by applying other methods to the same file. vi Índice Nota Biográfica ................................................................................................................. ii Agradecimentos ............................................................................................................... iii Resumo ............................................................................................................................ iv Abstract ............................................................................................................................. v Índice ............................................................................................................................... vi 0.1. Índice de Ilustrações ........................................................................................... viii 0.2. Índice de Tabelas .................................................................................................. ix 1. Introdução ................................................................................................................. 1 2. Segredo Estatístico .................................................................................................... 4 2.1. Definição ............................................................................................................ 4 2.2. Enquadramento Legal ........................................................................................ 6 3. Os dados e a sua divulgação ..................................................................................... 8 3.1. Tipos de dados.................................................................................................... 8 3.2. Variáveis .......................................................................................................... 10 3.3. Ficheiros de Dados ........................................................................................... 12 3.3.1. Ficheiros de Uso Público .......................................................................... 13 3.3.2. Ficheiros de Uso Seguro e Ficheiros de Uso Cientifico ........................... 17 3.3.3. O conceito Open Data ............................................................................... 18 4. Controlo da Divulgação Estatística ......................................................................... 20 4.1. Risco ................................................................................................................. 20 4.2. Utilidade ........................................................................................................... 24 4.3. Principais Métodos em Controlo da Divulgação Estatística ............................ 28 4.3.1. Amostragem: ............................................................................................. 30 4.3.2. Arredondamento: ...................................................................................... 31 4.3.3. “Data Swapping”: ..................................................................................... 32 4.3.4. Dados sintéticos: ....................................................................................... 33 4.3.5. Recodificação: .......................................................................................... 33 4.4. Escolha do Método ........................................................................................... 34 5. Geração de Dados Sintéticos .................................................................................. 37 5.1. O que são e para que servem ............................................................................ 37 5.2. Ficheiros Totalmente ou Parcialmente Sintetizados ........................................ 38 5.3. Métodos para geração de dados sintéticos ....................................................... 39 5.3.1. Ordenação aleatória dos dados ................................................................. 39 vii 5.3.2. Distorção dos dados através da distribuição de probabilidades ................ 40 5.3.3. Imputações Múltiplas ................................................................................ 40 5.3.4. Hipercubo Latino de Amostragem ............................................................ 41 5.3.5. Bootstrap ................................................................................................... 42 5.3.6. Métodos Sintéticos de Reconstrução ........................................................ 42 5.3.7. Métodos de Otimização Combinatória ..................................................... 43 5.3.8. Amostragem com síntese .......................................................................... 44 5.4. Métodos de probabilidade condicional do Synthpop ................................... 44 6. MEAC – Mínimo Erro Absoluto das Combinações das Variáveis ........................ 49 6.1. MEAC – apresentação do método .................................................................... 49 7. Aplicação Prática .................................................................................................... 53 7.1. Descrição dos dados originais ...................................................................... 53 7.2. Aplicação do MEAC .................................................................................... 56 7.3. Aplicação dos métodos de Probabilidade Condicional do Synthpop ........... 79 7.4. Comparação dos resultados obtidos ............................................................. 83 8. Conclusão ................................................................................................................ 91 9. Bibliografia ............................................................................................................. 93 10. Anexos ............................................................................................................... 100 10.1. Métodos de Controlo de Divulgação Estatística ........................................ 101 10.1.1. Limitação do detalhe: .......................................................................... 101 10.1.2. Supressão Local: ................................................................................. 101 10.1.3. Ruído Aleatório: .................................................................................. 102 10.1.4. Redesenho De tabelas: ........................................................................ 102 10.1.5. Reamostragem: .................................................................................... 103 10.1.6. PRAM (Post Randomization Method): ............................................... 103 10.1.7. Microagregação ................................................................................... 104 10.1.8. MASSC: .............................................................................................. 105 10.2. Métodos de probabilidade Condicional do Synthpop ................................ 106 10.3. Parte Prática ................................................................................................ 107 10.3.1. Análise Dados Iniciais ......................................................................... 107 10.3.2. Resultados Obtidos com MEAC ......................................................... 168 10.3.3. Análise Resultados obtidos ................................................................. 211 viii 0.1. Índice de Ilustrações Ilustração 1 – Trajeto da Informação ................................................................................ 5 Ilustração 2 – Formato Geral de um ficheiro de microdados ........................................... 8 Ilustração 3 – Tipos de variáveis (e exemplos) ............................................................... 10 Ilustração 4 - Métodos CDE Micro e Macro .................................................................. 28 Ilustração 5 – Método Proposto (etapas) ........................................................................ 52 Ilustração 6 – Parte Prática Synthpop ( Synthpop – Dif. Parametric) ............................ 82 Ilustração 7 –Parte Prática ( Dif. Combinações) ............................................................. 86 Ilustração 8 – Parte Prática ( Dif Cidade) ....................................................................... 87 Ilustração 9 – Parte Prática ( Dif. NE2010) .................................................................... 88 ix 0.2. Índice de Tabelas Tabela 1 - Ficheiros de Uso Público (entidades) ............................................................ 16 Tabela 2 - Parte Prática: variáveis .................................................................................. 54 Tabela 3 - Parte Prática: Forma Legal ............................................................................ 55 Tabela 4 - Parte Prática: Número Empregados 2010 ...................................................... 55 Tabela 5 - Parte Prática - RL2010 (divisão em classes) ................................................. 59 Tabela 6 - Parte Prática - PL2010 (divisão em classes) .................................................. 59 Tabela 7 - Parte Prática - TA2010 (divisão em classes) ................................................. 59 Tabela 8 - Parte Prática - NE2010 (divisão em classes) ................................................ 60 Tabela 9 - Parte Prática (Cidade vs Forma Legal - Matosinhos) .................................... 61 Tabela 10 - Parte Prática - Estatísticas Descritivas ......................................................... 62 Tabela 11 - Parte Prática - Covariâncias ......................................................................... 63 Tabela 12 - Parte Prática - Coeficientes de correlação Linear ........................................ 63 Tabela 13 - Parte Prática ( NE2010 - erros absolutos) ................................................... 65 Tabela 14 - Parte Prática (PL2010 – erro absoluto) ........................................................ 66 Tabela 15 - Ficheiro Microdados Obtido (29 observações) ........................................... 68 Tabela 16 - Parte Prática (Forma Legal: original vs gerados) ........................................ 69 Tabela 17 - Parte Prática ( Forma Legal : original vs gerados (variações categorias)) . 70 Tabela 18 - Parte Prática (NE2010: original vs gerado) ................................................. 71 Tabela 19 - Parte Prática (PL2010: original vs gerado) ................................................. 72 Tabela 20 - Parte Prática (RL2010: original vs gerado) ................................................. 73 Tabela 21 – Parte Prática (Cidade – análise diferenças) ................................................. 74 Tabela 22 – Parte Prática ( FL vs NE2010 (nº de observações diferentes nos dois conjuntos de dados)) ....................................................................................................... 75 Tabela 23 - Parte Prática (Forma Legal – análise diferenças) ........................................ 76 Tabela 24 - Parte Prática (NE2010 – análise diferenças) .............................................. 76 Tabela 25- Parte Prática (TA2010 – análise diferenças) ............................................... 77 Tabela 26 - Parte Prática (PL2010 – análise diferenças) ................................................ 77 Tabela 27 – Parte Prática (Combinações de variáveis) ................................................... 78 Tabela 28 - Parte Prática (Synthpop CTREE - métodos e ordem) ................................. 80 Tabela 29 - Parte Prática (Synthpop Sample – diferenças nas variáveis) ....................... 81 Tabela 30 - Parte Prática ( Synthpop Passive - Diferenças) ........................................... 82 Tabela 31 - Dados Originais (Combinações) .................................................................. 84 Tabela 32 – Combinações Variáveis Originais vs Geradas ............................................ 85 Tabela 33 - Parte Prática (Comparação Resultados – Dif. Obs. Cidade - FL) ............... 88 Tabela 34 - Parte Prática ( Dados Originais - Distrito Porto) ....................................... 107 Tabela 35- Parte Prática ( Dados Originais - Distrito Braga) ....................................... 108 Tabela 36 - Parte Prática ( Dados Originais – TA2010) ............................................... 108 Tabela 37 - Parte Prática ( Dados Originais – RL2010) ............................................... 108 Tabela 38 - Parte Prática ( Dados Originais – PL2010) ............................................... 109 Tabela 39 Parte Prática ( Dados Originais – Combinações de Variaveis) .................... 167 Tabela 40 - Parte Prática ( Dados Gerados MEAC – Combinações) ........................... 210 Tabela 41 – Parte Prática (Original vs Gerados – Cidade) ........................................... 212 Tabela 42 - Parte Prática (Original vs Gerados – Forma Legal) .................................. 212 Tabela 43 - Parte Prática (Original vs Gerados – NE2010) ......................................... 213 Tabela 44- Parte Prática (Original vs Gerados –TA2010) ............................................ 213 Tabela 45- Parte Prática (Original vs Gerados – PL2010) ........................................... 213 6 2.2. Enquadramento Legal Nesta secção faz-se um enquadramento legal da questão do segredo estatístico. Esta questão é importante porquanto não se trata apenas de respeitar a vontade das pessoas e das empresas que não querem ver os seus dados divulgados. A “problemática” da confidencialidade dos dados também existe por causa do que está consagrado na lei. De acordo com o nº 6 da lei 22/2008 de 13 Maio (Lei do Sistema Estatístico Nacional), para assegurar a confiança dos respondentes no Sistema Estatístico Nacional (SEN)1 há que assegurar que “todos os dados estatísticos individuais recolhidos pelas autoridades estatísticas são de natureza confidencial”(art.6º, alínea 2) ) (Diário República,2008), e de acordo com o mesmo artigo, para garantir a confidencialidade, os dados não podem ser cedidos nem “podem ser divulgados de modo a que permitam a identificação directa ou indirecta das pessoas singulares e colectivas a que respeitam” (alínea c), do nº 2, do artigo 6º) (Diário República,2008). Os dados estatísticos recolhidos que digam respeito à Administração Pública, não estão abrangidos pela lei do segredo estatístico, salvo indicação em sentido contrário (nº3 do artigo 6º) (Diário República,2008). O Instituto Nacional de Estatística (INE) sendo um órgão central no SEN, é a entidade nacional responsável pela produção das estatísticas oficiais portuguesas. Um dos pontos mais importantes na sua atuação consiste em adotar procedimentos que permitam garantir a confiança de todos os agentes que lhe transmitem a sua informação, seja esta pessoal ou empresarial, do sector público ou privado. O trabalho desenvolvido pelo INE passa por “produzir e divulgar de forma eficaz, eficiente e isenta, informação estatística oficial de qualidade, relevante para toda a Sociedade” (INE,2014a). Apesar de o segredo estatístico estar consagrado na lei e ter que ser respeitado por todas as entidades que estão envolvidas na produção da informação estatística, há a 1 O SEN é composto pelo Conselho Superior de Estatística (CES), pelo Instituto Nacional de Estatística (INE), pelo Banco de Portugal (BdP), pelos Serviços Regionais de Estatística das Regiões Autónomas dos Açores e da Madeira e pelas entidades que são delegadas pelo INE para produzirem informação estatística. 7 possibilidade de em casos de saúde pública se proceder à libertação do segredo estatístico, desde que no momento da recolha da informação os respondentes tenham dado autorização para que os seus dados sejam cedidos. Perante um pedido de libertação do segredo estatístico compete ao Sistema Estatístico Nacional “Decidir sobre as propostas de libertação de dados sujeitos a segredo estatístico(…)”; de acordo com o que está definido na alínea e) do artigo 13º da lei 22/2008 (Diário República,2008). É também da responsabilidade do Sistema Estatístico Nacional, de acordo com a alínea f) do mesmo artigo “ zelar pelo cumprimento do principio do segredo estatístico junto das entidades solicitantes de informação confidencial” ((Diário República,2008). Os dados estatísticos individuais, que são guardados para fins históricos, perdem o seu carácter de confidencialidade, no caso de os respondentes serem pessoas individuais, 50 anos após a sua morte, caso se saiba que ela ocorreu, ou 75 anos depois da data dos documentos. No caso de os respondentes serem pessoas coletivas a confidencialidade dos dados termina ao fim de 75 anos da data dos documentos, tal como está consagrado no nº 9 do artigo 6º da lei do Sistema Estatístico Nacional (Diário República,2008). 8 3. Os dados e a sua divulgação Ao longo deste capítulo serão descritos os vários tipos de dados, bem como a forma como eles são apresentados e divulgados, para os vários tipos de público a que se destinam. Uma classificação inicial é feita tendo por base a quantidade de respondentes associada (microdados ou macrodados), seguindo-se uma classificação das variáveis quanto ao segredo estatístico. Os vários tipos de ficheiros de divulgação serão também apresentados neste capítulo. 3.1. Tipos de dados Microdados Os dados podem ser apresentados sob a forma de microdados ou sob a forma de macrodados. Estamos na presença de microdados quando os registos divulgados contêm a informação dos respondentes individuais (pessoas ou entidades) relativamente a uma determinada lista de variáveis (Huang e Williamson, 2001). Um ficheiro de microdados , de indivíduos e variáveis, é uma matriz , onde é o valor da variável para o individuo (respondente que forneceu os dados que estão apresentados no ficheiro). Variável 1 Variável 2 Variável 3 ... Variável t Resp.1 Resp.2 … Resp.s … ... ... … … … … … … … … Ilustração 2 – Formato Geral de um ficheiro de microdados 9 As entidades que divulgam os microdados ao público, pretendem que eles tenham o máximo de detalhe possível, no entanto essa exigência de detalhe entra em conflito com a obrigatoriedade de se garantir a confidencialidade. Existe o risco de divulgação nos ficheiros de microdados, quando é possível que um intruso consiga identificar um respondente. Neste tipo de dados não é suficiente retirar apenas as variáveis identificadoras (variáveis que permitem a identificação imediata dos respondentes, como se apresentará mais à frente), tal como por exemplo, o nome ou a morada. É também necessário ter em atenção todas as variáveis que possam ajudar, ainda que de forma indireta, um intruso na identificação dos respondentes. Macrodados Os macrodados correspondem à informação obtida junto dos respondentes, e que é apresentada de forma agregada através de tabelas. Castro (2012) estabelece uma distinção para os vários tipos de tabelas que podem representar os macrodados. Segundo este autor há dois critérios que diferenciam o tipo de tabelas, nomeadamente o “valor da célula” e o “sinal da célula”. De acordo com o primeiro critério podem existir tabelas de frequência (ou de contingência) e tabelas de magnitude. O segundo critério, ou seja, o “sinal da célula”, permite a distinção entre “tabelas positivas” (quando os valores das células não são negativos) e “tabelas gerais” (quando os valores da tabela podem ser positivos e negativos). As tabelas onde estão representados os macrodados podem ser tabelas de frequência, nomeadamente frequências absolutas quando as células fornecem o número de indivíduos que constam numa célula e frequências relativas, quando apresentam a percentagem de indivíduos que constam em cada célula, ou tabelas de magnitude quando as células fornecem a informação agregada dos indivíduos que pertencem a uma variável quantitativa observada, tal como o peso, ou salário (Matias,2011) . Apesar de neste tipo de ficheiros de dados a informação apresentada ser a informação agregada, continua a existir o risco de os intrusos conseguirem identificar os respondentes. No caso das tabelas de contagem esse risco é tanto maior quantas mais 10 células existirem na tabela com valores (correspondentes ao número de respondentes), próximos de um ou de zero (Skinner, 2009). Quando tal acontece, as entidades que divulgam os dados podem optar por omitir o valor dessas células, podendo mesmo definir um limite mínimo para o valor que as células devem apresentar. Caso esse limite não seja atingido o valor da célula é suprimido. Esta regra é conhecida por supressão local, como se verá mais à frente. 3.2. Variáveis Classificação quanto à natureza (quantitativa/qualitativa) Os dados divulgados, (microdados ou macrodados), representam os valores observados, a nível individual ou a nível agregado, por um conjunto de variáveis ou atributos que podem ser quantitativos (variáveis que podem assumir valores numéricos) ou qualitativos (quando os seus possíveis valores não são números, mas sim categorias, sendo por isso também designadas por variáveis categóricas). Ilustração 3 – Tipos de variáveis (e exemplos) Variáveis Quantitativas Qualitativas Nominais Ordinais Discretas Contínuas Rendimento Idade Localização Habilitações Literárias 11 As variáveis quantitativas estão associadas a um espaço de resultados contínuo ou descontínuo numerável e as possibilidades de tratamento estatístico com estas variáveis são imensas. As variáveis qualitativas estão associadas a categorias num espaço descontínuo e as suas modalidades são categorias definidas de acordo com classificações casuísticas. As variáveis ordinais caracterizam-se por conterem uma escala ordinal das suas modalidades (ou seja, nos valores que a variável pode assumir), enquanto nas variáveis qualitativas nominais não existe qualquer tipo de ordem associada. Classificação quanto ao segredo estatístico As variáveis ou atributos podem ainda ser caracterizadas em função do tipo de informação que transmitem quanto ao segredo estatístico. Assim, podemos ainda ter a seguinte classificação ((Solanas et. al., 2010), (Chettri et. al., 2012)):  Variáveis ou atributos identificadores ou chave: atributos que permitem a identificação inequívoca dos respondentes, como por exemplo, o nome ou o número do bilhete de identidade;  Variáveis ou atributos quase identificadores: atributos que isoladamente não permitem a identificação dos indivíduos, mas que quando combinados entre si permitem a identificação inequívoca dos respondentes (Marés, Torra, 2012), como por exemplo a morada;  Variáveis ou atributos confidenciais ou sensíveis: atributos que contêm informação sensível, como por exemplo o diagnóstico médico, o salário, tendências sexuais ou preferências religiosas;  Variáveis ou atributos não confidenciais: atributos que não pertencem a nenhuma das categorias anteriores, mas que não podem ser ignorados. 12 Cada tipo de atributo tem associado um nível de risco, que depende do grau da informação que fornece, e que pode levar à identificação do respondente. Assim, os atributos identificadores têm um nível de risco extremamente elevado, na medida que permitem a identificação dos respondentes. Por sua vez, o risco associado aos atributos quase identificadores embora seja inferior aos dos atributos identificadores, continua a ser bastante elevado. Os atributos identificadores e os atributos confidenciais podem ser retirados do conjunto de dados, sem que isso implique uma degradação da qualidade da informação. No entanto retirar somente os atributos identificadores não garante que não se consigam identificar os respondentes (Solanas et al., 2010). No caso de existirem atributos que não possam ser eliminados, a solução pode passar por utilizar métodos estatísticos, que incluam a aplicação de mecanismos de distorção aleatória a essas mesmas variáveis (mascarando-se os dados). Por vezes não é suficiente retirar um (ou mais) atributo para se garantir que não se conseguem identificar os respondentes, isto porque os atributos que permanecem podem ser confrontados e complementados com informações contidas noutros conjuntos de dados, e assim pode ser possível conseguir identificar os respondentes. Esta possibilidade de se conseguir identificar de uma forma indireta quem deu origem aos dados, torna mais difícil o processo de anonimização dos dados e pode colocar em causa a confiança das pessoas e das empresas nas entidades que produzem os dados (Reiter, 2012). 3.3. Ficheiros de Dados A forma como os dados são divulgados depende do público e do uso a que se destinam. Tipos de utilizadores diferentes e diferentes formas de utilizações de dados, obrigam não só a diferenças nos dados divulgados como a diferentes necessidades ao nível das ferramentas usadas para assegurar a confidencialidade dos dados. 13 Nos últimos anos têm-se levantado questões quanto à harmonização da informação que é divulgada e tal implica que existam procedimentos e métodos que garantam essa harmonização não só no momento em que os dados são divulgados, como também no momento em que a informação é recolhida junto dos respondentes. A divulgação de dados referentes a um determinado tópico através de múltiplos ficheiros tem associado o risco de os invasores compilarem e compararem a informação, podendo conseguir desta forma identificar os respondentes, ainda que de uma forma indireta. Nesta secção daremos conta dos tipos de ficheiros que podem ser divulgados, conforme os tipos de utilizadores e o potencial uso que poderão dar aos dados fornecidos. 3.3.1. Ficheiros de Uso Público Ficheiros de Uso Público (Public Use File ou PUF) são ficheiros de dados, preparados por investigadores ou por fornecedores de dados, com o objetivo de os tornar acessíveis ao público. Em geral, trata-se de ficheiros, de acesso livre, e sem problemas de confidencialidade, ou seja, o risco de identificação dos respondentes1 é nulo ou muito baixo. Os ficheiros de dados que são tornados públicos podem ser divulgados apenas para um público específico ou para o público em geral. Nesta última situação, os dados são divulgados de forma livre, no sentido em que qualquer pessoa pode aceder e utilizar a informação divulgada. Na situação em que os dados são divulgados apenas para um público em específico, pode haver a necessidade que quem necessita dos dados os tenha que solicitar a quem os detém, que pode conceder ou não o acesso aos mesmos. De acordo com a Lei da Proteção de Dados Pessoais face à Informática são considerados dados públicos “os dados pessoais constantes de documento público 1 No capítulo 4 será feita uma abordagem mais exaustiva sobre o conceito de risco de identificação dos respondentes 14 oficial, exceptuados os elementos confidenciais (…)” (nº 2, alínea b) da lei nº 10/91) (Diário da República,1991). De acordo com a lei e com o que foi referido anteriormente, os dados disponibilizados não podem permitir a identificação dos respondentes, sob pena de se violar o princípio do segredo estatístico. Cabe a quem cria estes ficheiros garantir que tal não aconteça e, para tal, há que remover todos os elementos que permitam identificar os respondentes (quer de uma forma direta, quer de uma forma indireta). Nesse sentido pode ser necessário eliminar atributos nos conjuntos de dados, ou agregar atributos. No caso de existirem atributos que não possam ser eliminados ou agregados, a solução pode passar por utilizar métodos estatísticos de controlo de divulgação, que permitam mascarar os dados. A tarefa de garantir o anonimato dos respondentes tem vindo a tornar-se cada vez mais difícil devido aos avanços tecnológicos que permitem recolher e compilar informação de várias bases de dados, permitindo a comparação de informação que pode levar à identificação dos respondentes. . Existem alguns investigadores e centros de investigação, que tornam públicos os ficheiros de dados que usaram nas suas investigações, com o intuito de tornar transparentes os resultados que apresentam (ao tornarem públicos os ficheiros que usaram permitem que outros investigadores repliquem os seus resultados, e assim confirmem as conclusões a que chegaram). Por exemplo a “MDRC – Building Knowledge to Improve Social Policy”2 divulga os ficheiros de uso público que utilizou para elaborar os seus relatórios de maneira a fundamentar a posição assumida nos relatórios e de modo a quem quiser possa replicar os resultados que obteve (MDRC, 2014). 2 É uma organização sem fins lucrativos norte-americana que engloba um grupo de agências federais e que pretende encontrar soluções para os problemas da sociedade norte-americana, em áreas que vão desde a educação até questões relacionadas com a pobreza. 15 A divulgação destes ficheiros também ajuda as entidades que os divulgam a melhorar o trabalho desenvolvido através do feedback que obtêm de quem os utiliza (Drechsler, Reiter, 2010). Apesar da divulgação deste tipo de ficheiros ainda não ser muito usual, podemos encontrar várias entidades, um pouco por todo o mundo que já fazem uso destes ficheiros nos mais variados campos da sociedade. Nome da entidade País Sector Divulgação IPUMS EUA Transversal https://www.ipums.org/ Statistics Canada Canadá Transversal http://www.statcan.gc.ca/start-debut- eng.html Mdrc – Building Knowledge to Improve Social Policy EUA Transversal http://www.mdrc.org/public-use-data- files UCLA Center for Health Policy Research i EUA Saúde http://healthpolicy.ucla.edu/chis/faq/Page s/default.aspx#b ResDac – Research Data Assistance Center EUA Transversal http://www.resdac.org/cms-data CMS.gov (Centers for Medicare & M;edicaid Services) EUA Saúde http://www.cms.gov/Research-Statistics- Data-and-Systems/Downloadable-Public- Use-Files/SynPUFs/index.html CDC – Centers For Disease Control and Prevention EUA Saúde http://www.cdc.gov/nchs/data_access/ftp _data.htm Ies – Institute of Education Sciences EUA Educação http://nces.ed.gov/nhes/dataproducts.asp The Data Bank – National Practitioner EUA Saúde http://www.npdb.hrsa.gov/resources/publ icData.jsp Texas Department of State Health Services EUA Saúde http://www.dshs.state.tx.us/thcic/Outpati entFacilities/Outpatientpudf.shtm National Science Foundation EUA Transversal http://www.nsf.gov/statistics/datatools.cfm#micro-data Statistics Estonia Estónia Transversal http://www.stat.ee/51926 OCDE Transversal http://www.oecd.org/site/piaac/publicdat aandanalysis.htm The Fragile Families and Child Wellbeing Study EUA Estrutura familias http://www.fragilefamilies.princeton.edu/ public.asp Cornell University EUA Transversal http://www2.vrdc.cornell.edu/news/data/ qwi-public-use-data/ Los Angeles Family and Neighborhood Survey (L.A.FANS) EUA Transversal http://lasurvey.rand.org/data/public/agree ment.html 22 A medição do risco é um elemento importante no momento de se decidir sobre a divulgação ou não de determinada informação. A medição do risco nos microdados pode ser feita através da estimativa do número de observações do conjunto de dados que possuem combinações únicas das variáveis ou através da estimativa da probabilidade com que os invasores conseguem identificar a informação que possuem através do ficheiro de dados em causa ( Reiter, 2005). Apesar de estas duas medidas serem úteis no processo de medição do risco são-lhes apontadas algumas críticas quanto à sua eficácia de conseguirem determinar corretamente o risco. As criticas apresentadas por Reiter (2005) relativamente à utilização da medida do número de observações únicas no conjunto de dados para determinar o risco que lhe está associado, baseiam-se no desconhecimento, por parte das entidades que produzem e divulgam a informação, relativamente ao grau de informação que os invasores possuem sobre o conjunto de dados, no facto de esta técnica não medir corretamente os impactos de algumas medidas de controlo da divulgação estatística nos dados e ainda no facto de que quando existem variáveis quantitativas continuas pode existir uma elevada quantidade de observações únicas (por exemplo, num ficheiro de microdados com as variáveis cidade, habilitações académicas e remuneração, se existirem duas pessoas que moram na mesma cidade e que possuem as mesmas habilitações académicas, basta uma receber 1 cêntimo a mais que a outra, para termos duas combinações únicas de variáveis). A determinação do risco através do conhecimento que os invasores podem deter (ou não) sobre os dados é também para o mesmo autor (Reiter, 2005) alvo de críticas, uma vez que a entidade que está a avaliar o risco não consegue saber com precisão qual é o grau de informação que o invasor detém, o que pode levar a medidas de risco que nada têm a ver com a realidade. Também existe o risco nos macrodados de se conseguir identificar os respondentes. Tal risco advém da existência de “células inseguras” . De acordo com (Domingo-Ferrer et al.,2009) existem vários tipos de risco que estão associados aos macrodados, nomeadamente o risco de identificação, que consiste na identificação de um, ou mais, respondentes, o risco de divulgação de um atributo individual (este risco ocorre quando 23 o invasor já tem o prévio conhecimento de alguma informação sobre um determinado respondente e com base nessa informação consegue decifrar a informação para um determinado atributo a partir da tabela divulgada), o riso de divulgação de um atributo de um grupo (segue os mesmos pressupostos do risco anterior, mas com a diferença que se aplica a um grupo e não a um individuo), ou ainda o risco de divulgação através da comparação da informação que existe em várias tabelas. Com o intuito de avaliar o risco há que identificar as células da tabela de macrodados que apresentam riscos, e de acordo com a regra de frequência mínima, são consideradas seguras todas as células que tenham uma frequência mínima de m. Sendo que habitualmente , uma vez que para valores inferiores é possível identificar os respondentes facilmente (Matias, 2011). Quando se assume que os indivíduos (potenciais invasores) têm conhecimentos sobre as maiores contribuições das células, importa falar nas regras de concentração, tais como a regra de dominância, a regra ou a regra . A primeira regra de concentração, ou seja, a regra de dominância, define como células inseguras as células onde o somatório das maiores contribuições é superior a uma determinada percentagem do total da célula ( , com a representar o total da contribuição , e é o total da célula (Matias, 2011). A regra , ou regra priori-posteriori, baseia-se na precisão com que se consegue estimar a contribuição de um individuo para o total da célula ( ) antes de a tabela ser divulgada e baseia-se também na precisão ( ) com que um individuo consegue estimar a contribuição de outro individuo. Admitindo que o individuo que tem a segunda maior contribuição para uma célula, consegue saber com de certeza a contribuição dos restantes indivíduos para essa mesma célula, usando os seus conhecimentos à priori ele consegue encontrar um intervalo para o valor da maior contribuição, que é dado por . Essa célula não será considerada sensível se (Matias, 2011). 24 A regra diferencia-se da regra anterior na medida em que assume que não há conhecimento à priori, e também porque apenas considera as duas maiores contribuições de uma célula para determinar se ela é sensível ou não. Como análise complementar às regras acima descritas pode ser utilizada a entropia, que é aplicada a cada uma das células individualmente. A sua utilização permite analisar “a concentração relativa das contribuições (…) quanto maior for o valor de entropia, menor o nível de concentração dos inquiridos e menos sensível é a célula”(Matias, 2011). A entropia pode ser definida como . A utilização da entropia permite definir que uma célula é sensível quando se verifica que , . 4.2. Utilidade A utilidade dos dados é, tal como já foi mencionado, um aspeto muito importante e que as agências estatísticas devem ter em consideração no momento de publicação dos dados. Interessa por isso saber como se avalia se os dados continuam a ser úteis depois de serem protegidos com técnicas de CDE e, para tal, há que comparar os dados originais com os dados protegidos. A comparação entre os dados pode ser feita recorrendo ao confronto entre algumas medidas estatísticas obtidas com a distribuição dos dados originais e as mesmas medidas obtidas com a distribuição dos dados protegidos. Também se pode fazer a comparação entre os dois conjuntos de dados recorrendo a modelos específicos. Reiter (2012) sugere ainda que se utilizem métodos ad-hoc para se compararem os dados, tais como, por exemplo, a utilização do peso da média de um dos grupos, na diferença entre médias, variâncias ou correlações. 25 A utilidade de um ficheiro está intimamente relacionada com a perda de informação que ocorreu com o processo de proteção dos dados. De acordo com (Domingo-Ferrer et al., 2009) ocorreu pouca perda de informação quando o ficheiro protegido é analiticamente válido, o que corresponde a dizer que as médias e as covariâncias de um pequeno conjunto de subdomínios se mantiveram mais ou menos preservadas, bem como os valores marginais de pequenas tabulações de dados e que pelo menos uma característica da distribuição se manteve relativamente inalterada (Mendes, 2010). A forma como se avalia a perda de informação depende não só se estamos na presença de variáveis quantitativas ou se estamos na presença de variáveis qualitativas, como também depende do ficheiro de dados em si, ou seja, depende se estamos na presença de macrodados ou de microdados. Mas independentemente disso pode-se sempre fazer uma avaliação sobre a preservação (ou não) da estrutura dos dados originais, recorrendo para tal à comparação dos valores de algumas estatísticas no ficheiro de dados original e dos seus valores no ficheiro protegido. Seja um ficheiro de microdados, com indivíduos e variáveis quantitativas. Para avaliar a eventual perda de informação no ficheiro protegido é necessário determinar alguns elementos estatísticos, nomeadamente ( Ferrer et al., 2009):  as matrizes de covariâncias ( e correspondem às matrizes de covariâncias no ficheiro original e no ficheiro protegido respetivamente),  as matrizes de correlações ( e ), as matrizes de correlação entre as p variáveis e os p fatores que são obtidos com a análise de componentes principais ( e ),  a percentagem de cada uma das variáveis que é explicada pelas componentes principais (J Domingo-Ferrer et al., 2009),  a matriz dos coeficientes do fator de pontuação ( e , onde F contem os fatores pelos quais se multiplica cada variável em X, para obter a sua projeção na componente principal (Mendes, 2010)). 26 A perda de informação é determinada através do cálculo para cada um destes elementos estatísticos das diferenças entre o ficheiro original e o ficheiro protegido, e tal cálculo pode ser feito recorrendo ao erro absoluto médio (soma das diferenças, em termos absolutos, das diferenças que existem nas componentes entre duas matrizes, dividida pelo número de células que existe em cada matriz), ao erro quadrático médio (soma do quadrado das diferenças que existem entre duas matrizes, dividida pelo número de células que existem em cada matriz) ou à variação média (“soma absoluta da variação percentual das componentes da matriz calculada nos dados mascarados no que respeita às componentes da matriz calculada nos dados originais, dividida pelo número de células em cada matriz” (Mendes, 2010)). Quando estamos na presença de variáveis categóricas, num ficheiro de microdados, a perda de informação pode ser medida através da comparação direta das variáveis ou através da comparação das tabelas de contingência (Domingo-Ferrer et al., 2009). A comparação direta das variáveis implica que se defina uma medida de distância para as variáveis nominais e uma medida de distância para as variáveis ordinais. A medida de distância para a variável nominal V é dada por: ( corresponde ao valor assumido pela variável no conjunto de dados original e o valor no ficheiro protegido). Para uma variável ordinal a distância entre as categorias e (a ), com a representar o registo original e o registo mascarado, é dada por (Mendes, 2010): 27 A comparação entre um ficheiro original e um ficheiro protegido ,com base nas tabelas de contingência implica que se calcule as tabelas de contingência para os dois ficheiros e depois se determine as diferenças entre as tabelas, para um determinado subconjunto W de variáveis. Neste caso a perda de informação é dada pela soma dos valores absolutos das diferenças que existem nas tabelas de contingência, o que corresponde a ter (J Domingo-Ferrer et al., 2009): Também pode ocorrer perda de informação quando se aplicam as técnicas de controlo da divulgação estatística aos macrodados, em (J Domingo-Ferrer et al., 2009) são apresentadas as seguintes medidas de perda de informação nos ficheiros de macrodados protegidos:  Teste de hipóteses binomial exato – pode ser usado para averiguar se a perturbação que foi aplicada aos dados segue as probabilidades esperadas (os parâmetros do método)  Métricas de distância entre as células dos dados originais e as células dos dados perturbados  Variação do tamanho médio das células, quando se confronta os dados originais com os dados protegidos  Testes de independência entre as variáveis categóricas  Coeficiente de correlação de Spearman (medida de correlação não paramétrica, que mede a intensidade da relação entre duas variáveis ordinais) 28 4.3. Principais Métodos em Controlo da Divulgação Estatística Os métodos utilizados para garantir a confidencialidade dos dados podem ser divididos em duas categorias, nomeadamente em métodos perturbativos e em métodos não perturbativos. Os métodos perturbativos são aqueles que distorcem os valores dos dados antes de serem publicados, enquanto os não perturbativos são aqueles que não alteram os valores dos dados originais, mas, por outro lado, os generalizam ou suprimem, reduzindo desta forma o detalhe da informação que é divulgada. Dada a própria natureza dos dados existem métodos de controlo de divulgação estatística que só podem ser aplicados a microdados, tal como existem ainda métodos que só são aplicados quando estamos na presença de macrodados. Há no entanto métodos que podem ser aplicados quer a macrodados quer a microdados. Ilustração 4 - Métodos CDE Micro e Macro Alguns dos métodos de controlo da divulgação estatística (CDE) utilizados para a proteção de microdados têm como finalidade distorcer o conjunto de dados originais para proteger a privacidade dos respondentes, mas, tal como referido atrás, mantendo o quanto possível as características estatísticas do conjunto de dados originais e perdendo o mínimo de informação, para que os dados continuem a ser úteis. O conjunto de dados protegidos pode ser obtido através da perturbação dos dados originais ou através da geração de dados sintéticos (simulados). Enquanto os dados mascarados contêm um conjunto de características próximas da distribuição dos dados originais (são muito poucas as que se mantêm exatamente iguais), os dados sintéticos apenas mantêm as Microdados Macrodados 29 características estatísticas previamente escolhidas, não mantendo nenhuma das outras características (Domingo-Ferrer ,González-Nicolás, 2010) . Os conjuntos de microdados são organizados em registos que se referem aos respondentes individuais. Neste tipo de dados, a primeira coisa a fazer para assegurar a confidencialidade é retirar os elementos identificadores dos indivíduos, mas tal não é suficiente para assegurar a privacidade (Matthews, Harel, 2011), uma vez que se pode conseguir identificar os respondentes através do cruzamento de informação com outros conjuntos de dados (Matthews, Harel, 2011), e portanto torna-se necessário adotar outras estratégias. Mas antes de adotar outra estratégia, é necessário analisar qual a consequência da sua adoção em termos de utilidade (perda de informação) e em termos de risco (Marés,Torra, 2012). A aplicação das técnicas de controlo de divulgação estatística aos microdados consiste em, tendo um ficheiro de microdados , ser possível a divulgação de um ficheiro , que é a versão protegida do ficheiro , de maneira a que o risco de divulgação seja reduzido, a análise do ficheiro protegido permita alcançar as mesmas conclusões que a análise do ficheiro original (ou o mais próximas possível) e que o custo de transformação do ficheiro original no ficheiro protegido seja aceitável (Chertov, Pilipyuk, 2009). Garantir a confidencialidade dos dados quantitativos contínuos é mais fácil do que dos dados qualitativos (categóricos), devido à grande variedade de valores que os dados quantitativos podem assumir e à grande quantidade de operações aritméticas que podem ser adotadas, enquanto nos dados categóricos as opções são muito mais limitadas devido à própria natureza dos dados (Marés, Torra, 2012). Independentemente do método adotado o objetivo passa por provocar a menor perda possível de informação. Ao nível dos macrodados também podem ser aplicados métodos de controlo da divulgação estatística, nomeadamente pode-se reformular a tabela de maneira a diminuir o número de células sensíveis (células que permitem a identificação dos respondentes), pode-se suprimir células, ou seja, eliminar a informação das células sensíveis, 30 arredondar os valores das células, ou agregar os valores de células que tenham campos em comum e criar uma nova categoria. São propostos na literatura um conjunto de métodos que podem ser adotados para assegurar a privacidade dos dados. Ao longo deste capítulo serão apenas mencionados aqueles métodos que sendo aplicáveis a ficheiros de microdados (e eventualmente também a ficheiros de macrodados) são úteis para se obterem ficheiros de uso público sem comprometer o segredo estatístico, uma vez que é este o tema central desta tese não faz sentido mencionar aqui os restantes métodos de controlo de divulgação estatística que existem. Serão no entanto mencionados no capítulo que incorpora os Anexos outros métodos que devido à sua importância não podem ser esquecidos. De referir apenas que os métodos apresentados (tanto neste capitulo como nos anexos) são apenas uma pequena amostra dos vários métodos que existem. 4.3.1. Amostragem: A amostragem é uma técnica não perturbativa que consiste em divulgar apenas uma parte dos dados, com esta ferramenta para além de se reduzir a dimensão do ficheiro dos dados (existem ficheiros de dados muito extensos, como por exemplo os dados relativos aos censos) também se pretende garantir a confidencialidade dos respondentes, através da redução do risco de divulgação. Ao ser apenas divulgada uma parte dos dados, os mal-intencionados (indivíduos que pretendem identificar quem originou o conjunto de dados divulgados) não conseguem identificar os respondentes, mesmo sabendo quem são os indivíduos que responderam e que originaram os dados, isto acontece porque eles não sabem quem foram os elementos incluídos na amostra e os que ficaram de fora. Há no entanto que ter cuidado quando existam variáveis que tenham valores pouco usuais, porque os mal-intencionados podem utilizar outras bases de dados e combinando os valores podem conseguir identificar os respondentes (Drechsler, Reiter, 2010). Para evitar que tal situação ocorra é necessário “tratar” os valores das variáveis sensíveis antes de publicar os dados. 31 4.3.2. Arredondamento: Este método de controlo da divulgação estatística pode ser aplicado tanto a macrodados como a microdados, sendo a forma de atuação parecida nos dois casos. Este método implica que se ajustem os valores das células de um ficheiro de macrodados, de acordo com uma base previamente definida. A escolha da base é uma elemento de elevada importância neste método, porque quanto maior ela for, maior será a perda de informação resultante da aplicação deste método (Matias, 2011). Existem várias formas de se proceder ao arredondamento dos valores das células, tais como o arredondamento convencional (quando o valor de cada uma das células é substituído pelo valor mais próximo que seja múltiplo da base de arredondamento escolhida, neste caso o valor das distribuições marginais da tabela original também é arredondado ao múltiplo mais próximo da base escolhida, o que pode implicar que a soma das células seja diferente das distribuições marginais), o arredondamento aleatório, ou o arredondamento controlado. O arredondamento aleatório consiste em alterar o valor de cada uma das células para um dos dois valores múltiplos da base escolhida que estão mais próximos. Também aqui os valores das distribuições marginais são arredondados de uma forma independente dos arredondamentos das células. Os arredondamentos são feitos com base num esquema de probabilidades que se definem tendo em consideração o valor inicial da célula ( ), que pode ser escrito como , sendo é o quociente que se obtém ao calcular e é o resto da divisão. O valor da célula será arredondado seguindo o seguinte esquema de probabilidades: 38 5.2. Ficheiros Totalmente ou Parcialmente Sintetizados Existem vários métodos que podem ser utilizados na geração dos dados sintéticos. Desde logo, podem ser gerados dados para todas ou apenas para algumas das variáveis do conjunto de microdados. A geração de novos dados para todas as variáveis de um conjunto de dados permite obter um risco de divulgação associado ao ficheiro mais reduzido do que aquele que está associado a um ficheiro onde apenas algumas variáveis foram geradas (Domingo-Ferrer et al., 2009). Existe quem defenda na literatura a possibilidade de se gerarem dados sintéticos apenas para os atributos confidenciais e para os atributos que tenham associado a si um elevado risco de divulgação, e que o ficheiro de microdados a ser divulgado deve conter a informação gerada para estes atributos e a informação original para os restantes atributos. No caso de apenas serem gerados valores para alguns dos atributos, o modelo que é utilizado na geração tem que ter em atenção a distinção entre os atributos que vão ser gerados e os atributos que não vão ser gerados. Assim, os valores são obtidos através da função , , onde representa as variáveis geradas e as variáveis não geradas. A publicação de ficheiros híbridos (ficheiros que têm dados gerados para umas variáveis e dados originais para outras) implica que cada um dos dados originais (dos atributos para os quais foram gerados novos valores) tenha que ser associado a um dos dados sintéticos, importa saber como fazer essa associação. Em Domingo-Ferrer et al. (2009) é sugerido que cada dado original seja associado ao dado sintético mais próximo, que é determinado em função da distância que existe entre o dado gerado e o dado original. Depois de feita a associação entre os valores originais e os valores gerados é necessário decidir qual a informação a publicar, ou seja, publicam-se os dados gerados na forma “bruta” ou é necessário fazer algum tipo de alteração a esses dados antes mesmo de os publicar. Os mesmos autores sugerem a utilização de duas alternativas no momento de se divulgar esses dados, uma alternativa é o que eles chamam de 39 combinação aditiva e a outra alternativa é o que eles chamam de combinação multiplicativa. Na combinação aditiva o ficheiro de dados híbrido , que é construído para o ficheiro de microdados X, depois de gerados os dados sintéticos (representados por ) a divulgar é determinado da seguinte forma: Na combinação multiplicativa o ficheiro híbrido é dado por: O parâmetro é um parâmetro de input que assume valores entre 0 e 1. 5.3. Métodos para geração de dados sintéticos Para gerar os dados sintéticos podem ser adotadas muitas técnicas, umas mais complexas do que outras, e com diferentes custos em termos computacionais. 5.3.1. Ordenação aleatória dos dados Uma das técnicas mais simples é apresentada por Domingo-Ferrer et al. (2009) e que consiste em ordenar de forma completamente aleatória os dados das várias variáveis que estão presentes no conjunto de dados original e divulgar um ficheiro com os dados completamente “misturados”. São apontadas principalmente duas críticas a este método, a primeira consiste no conhecimento que alguns invasores podem ter dos dados e ao haver uma “simples” reordenação dos dados isso não garante totalmente o respeito pela confidencialidade dos respondentes, a segunda crítica baseia-se no custo computacional 40 necessário para reordenar os dados, que este método pode ter no caso de o conjunto de dados ser de grande dimensão. 5.3.2. Distorção dos dados através da distribuição de probabilidades Os dados podem ser gerados com recurso às distribuições de probabilidades que estão associadas aos dados originais. O objetivo passa por obter um ficheiro de dados que é desenhado de forma aleatória a partir da distribuição que está subjacente ao ficheiro de dados original (Domingo-Ferrer et al., 2009). Neste método, a identificação e definição da função densidade probabilidade é uma etapa extremamente importante e da qual depende a qualidade dos dados que vão ser gerados. Interessa por isso saber como identificar se uma determinada função distribuição caracteriza corretamente os dados. É aconselhado por (Hundepool et al., 2010) a utilização do teste Kolmogorov-Smirnov (KS) para fazer essa avaliação e no caso de existir mais que uma função distribuição aceitável, para um determinado nível de significância, os mesmos autores aconselham que se deve optar por aquela que tenha o valor mais baixo do teste de Kolmogorov-Smirnov. Em Matias (2011) a autora sugere para além do teste KS a utilização do p-value (das estatísticas de ajustamento), ou da entropia máxima, como medidas para decidir qual a função distribuição que deve ser usada na criação dos dados sintéticos, sendo escolhidas as funções que apresentem o menor p-value. 5.3.3. Imputações Múltiplas Em 1993 foi apresentado por Rubin um método de geração de dados sintéticos e que consistia em gerar todo um ficheiro de dados através de imputações múltiplas. Penny, et al. (2008) afirma que o primeiro passo para a imputação múltipla de um ficheiro de dados passa por determinar um modelo que descreva os dados observados (é o chamado modelo de imputação), e depois de definido o modelo há que determinar os parâmetros que lhe estão associados e por fim os novos dados são gerados a partir de uma função 41 distribuição preditiva dos dados, que é determinada tendo em consideração o modelo de imputação e os seus parâmetros anteriormente calculados. A repetição deste procedimento vezes permite a divulgação de conjuntos de dados. A identificação e definição deste modelo são consideradas um dos pontos chaves, uma vez que se ele não for bem definido, nomeadamente em termos das relações que existem entre as variáveis, os dados que forem divulgados podem não transmitir a informação mais correta, havendo dessa forma perda de informação no momento da análise dos dados. A dificuldade na definição deste modelo cresce à medida que também crescem as variáveis que existem e à medida que as relações que existem entre si são mais complexas. No caso de existirem variáveis com relações extremamente complexas o custo computacional na definição do modelo pode ser demasiado elevado. Uma solução que tem sido apresentada passa por apenas gerar valores para aquelas variáveis que contenham informação sensível e para as variáveis que permitam a identificação dos respondentes, para as restantes variáveis são divulgados os seus dados originais. Neste caso falamos de Imputação Múltipla de Dados Sintéticos Parciais (Matias, 2011). Este método das imputações múltiplas apresenta a vantagem de tornar extremamente difícil a identificação dos respondentes, porque o ficheiro que é divulgado pode não incluir nenhum valor original, no entanto ao serem escolhidas amostras de uma forma completamente aleatória, os dados divulgados podem não representar corretamente a informação inicial, o que inviabiliza uma análise correta da informação que é transmitida. Para além disso, caso o modelo que é utilizado, seja corretamente definido, vai gerar dados muito semelhantes (se não mesmo iguais) aos dados originais, o que pode contribuir para aumentar o risco de divulgação e a capacidade dos invasores conseguirem identificar os respondentes (Domingo-Ferrer et al., 2009). 5.3.4. Hipercubo Latino de Amostragem O Hipercubo Latino de Amostragem é outro método que pode ser usado para se gerarem dados sintéticos. De acordo com (Dandekar et al., 2002) esta técnica permite 42 gerar dados sintéticos que reproduzem as características dos dados originais ao mesmo tempo que asseguram a confidencialidade dos dados. Ele gera uma amostra de microdados sintéticos que possui as mesmas estatísticas univariadas que existem nos dados originais (Matias, 2011). Este método pode ser usado para gerar dados, quando as variáveis não são correlacionadas e quando se conhecem com precisão as estatísticas univariadas dos dados originais (Dandekar et al., 2002). 5.3.5. Bootstrap Os dados sintéticos podem ainda ser gerados por recurso ao bootstrap. De acordo com Hundepool et al. (2010) este método consiste numa primeira etapa em determinar as funções densidade associadas às variáveis que existem no ficheiro de dados, recorrendo para tal a uma técnica de bootstrap e alterar ligeiramente essas funções antes de gerar os dados. Assim, os dados que serão gerados à partida serão diferentes, uma vez que a função densidade também o é. O facto de haver esta alteração no nível da função densidade levanta a questão de saber em que medida é que os dados que vão ser gerados traduzem corretamente a informação que constava do ficheiro de dados originais. 5.3.6. Métodos Sintéticos de Reconstrução Segundo Templ ( 2014b) os Métodos Sintéticos de reconstrução são os métodos mais usados e combinam informação de diferentes fontes para assim gerar dados o mais completos possível. Nestes métodos, que se aplicam às variáveis categóricas, as distribuições marginais, de variáveis chave, assumem um papel importante. A primeira fase deste método consiste em estimar a distribuição conjunta da população, através da informação retirada de uma amostra de um conjunto de variáveis de controlo. Para tal, o autor usa um método conhecido como IPF – Iterative Proportional Fitting, que é um procedimento matemático de escalonamento que pode ser usado para 43 assegurar que os totais das colunas e das linhas, de uma tabela bi-dimensional, construída a partir de informação retirada de várias fontes, são iguais a um valor previamente definido, para tal os valores da tabela de dados original, vão sendo gradualmente ajustados, até que os totais das linhas e colunas sejam iguais aos definidos. Este método foi originalmente desenvolvido para analisar / tratar informação retirada de duas ou mais tabelas (Norman, 1999). Depois de se obter esta informação (obter uma tabela onde os totais das colunas e os totais das linhas são iguais aos valores que foram previamente definidos), os indivíduos são selecionados de uma forma aleatória a partir da amostra, até se alcançar em cada grupo o número de pessoas que é pretendido. Embora este método tenha a grande vantagem de permitir agregar informação recolhida em várias fontes, apresenta a desvantagem de não conseguir simular dados para as variáveis contínuas (Templ, 2014b). Outra limitação que este método apresenta é a sua inaplicabilidade quando os valores das distribuições marginais iniciais são iguais a zero e o valor pretendido é um valor diferente de zero, neste caso (Hunsinger, 2008) sugere que se considere que o valor, é um valor muito baixo (quando comparado com os valores assumidos pelas outras distribuições marginais), mas diferente de zero (o autor sugere que se considere que seja por exemplo 0,001). Outro aspeto que é necessário ter em consideração neste método, é quando o valor de alguma das células iniciais é igual a zero, uma vez que independentemente do número de iterações que sejam levadas a cabo o valor nunca será diferente de zero. Também neste caso em particular Hunsinger (2008) sugere que se considere que o valor inicial da célula é um valor muito baixo (quando comparado com os valores assumidos nas outras células), mas diferente de zero (considerar por exemplo 0,001). 5.3.7. Métodos de Otimização Combinatória Outro método que é utilizado para gerar dados sintéticos é o chamado Método de otimização combinatória, que é um algoritmo iterativo onde numa primeira etapa se 44 escolhe aleatoriamente um conjunto de agregados e depois se vai substituir cada um desses agregados por um novo agregado do conjunto de dados inicial, mas apenas se houver uma melhoria no ajustamento, ou seja, se a substituição permitir melhorar o ajustamento dos agregados ela concretiza-se, caso contrário não se concretiza (Voas, Williamson, 2000) De acordo com Voas (2000) há que definir um critério que defina o momento em que se pára com este método, sendo que o objetivo será sempre o de encontrar a melhor solução possível. De acordo com estes autores pode ser definido um número limite de iterações para o algoritmo que é utilizado ou até um limite de para o custo computacional deste método (embora este método permita manter a estrutura dos dados apresenta um grande custo computacional (Templ, 2014b)), podendo ainda ser definido um valor mínimo para o ajustamento dos agregados. 5.3.8. Amostragem com síntese Amostragem com Síntese, é um método que é apresentado pelos seus autores (Drechler e Reiter,2010) como sendo um método que permite obter melhores resultados do que os obtidos quando se aplicam técnicas de controlo da divulgação estatística sobre uma amostra do ficheiro de dados original. Num conjunto de dados , com elementos, os valores sensíveis / identificadores são substituídos através de múltiplas imputações (os dados são gerados pelos autores utilizando o CART - Classification and Regration Tree), onde corresponde ao número de imputações que são feitas de forma independente e que originam populações sintéticas ( ). De cada é retirada uma amostra com elementos, sendo no final divulgadas amostras sintéticas ( ). 5.4. Métodos de probabilidade condicional do Synthpop Recentemente, foram implementados alguns métodos num package de R denominado Synthpop. 45 Este package foi desenvolvido como parte do projeto SYLLS (Synthetic Data Estimation for UK Longitudinal Studies), com o intuito de ajudar na criação de dados sintéticos que são desenvolvidos tendo em atenção as necessidades de cada utilizador. O SYLLS foi fundado pelo Conselho de Investigação Económica e Social, com o intuito de desenvolver ferramentas que permitam produzir dados sintéticos que reproduzam os dados originais e as várias relações que se estabelecem entre as variáveis, e que possam ser usados pelos investigadores nas suas investigações sem comprometer o respeito pela confidencialidade dos dados (Nowok et al., 2014). O principal objetivo deste package é o de gerar dados sintéticos que vão substituir os valores sensíveis, causando a menor distorção possível na informação estatística que existe no conjunto de dados. As substituições são geradas a partir das distribuições condicionais ajustadas aos dados originais, usando modelos paramétricos ou árvores de classificação e de regressão (Nowok et al. , 2014). A geração dos dados é feita de uma forma sequencial, usando no processo de geração de uma variável a informação relativamente às outras variáveis já geradas e as probabilidades condicionais determinadas no conjunto de dados originais. A ordem pela qual os dados são gerados pode ser definida pelo utilizador do package, mas caso não exista nenhuma especificação quanto à ordem, o package utiliza por defeito a ordem pela qual as variáveis aparecem no ficheiro de dados original. É possível saber as variáveis que foram usadas na geração umas das outras, para tal basta utilizar a matriz de preditores (Matrix of Predictors), que é uma matriz de 1 e 0, onde as linhas e as colunas são as variáveis que foram geradas, quando o valor é 1, isso quer dizer que a variável que está na coluna foi utilizada como condicionante para gerar a variável que está na linha (Nowok et al., 2014). Os dados originais de um inquérito, ou até de uma amostra dos censos que estão disponíveis, consistem numa amostra de unidades composta por . Seja uma matriz com observações, que representa os dados que podem ser divulgados sem que comprometam o respeito pela confidencialidade dos respondentes e a matriz de dados que têm que ser sintetizados, que contém observações e variáveis. Quando é um vetor nulo, isso equivale a dizer que serão gerados valores sintéticos para todas as variáveis. 46 é assumido como sendo uma amostra de , , onde é um vetor de parâmetros que é estimado por quem está a gerar os dados sintéticos. O primeiro passo que é seguido consiste em ajustar os dados de modo a que correspondam à distribuição que é assumida e de seguida determinar os parâmetros que lhe estão associados. Para se gerar os valores de é selecionada uma coluna / variável, e a distribuição dessa variável é determinada em função de e dos já selecionados anteriormente (quando é selecionada a primeira variável, a sua distribuição é apenas determinada em função de ). Cada coluna / variável subsequente é gerada com base na distribuição condicional em e com base nos valores de entretanto sintetizados. Os dados podem ser ainda gerados com recurso à distribuição posterior dos parâmetros (síntese adequada). Seja qual for a forma escolhida para gerar os dados podem ser gerados conjuntos de dados. Os dados são gerados no package, com recurso à função syn(), que é uma função construída para gerar conjuntos de dados sintéticos a partir de um ficheiro original. Esta função por defeito gera apenas um ficheiro de dados . É necessário antes de utilizar a função syn(), definir o ponto de partida para a geração dos dados utilizando para tal a função set.seed(). O método que é utilizado no processo de geração dos dados pode ser definido pelo utilizador para cada uma das variáveis, existindo a possibilidade de escolher entre métodos paramétricos e métodos não paramétricos, sendo que estes se baseiam em árvores de classificação e de regressão, podendo por isso ser aplicados a todo o tipo de dados. Não existe no entanto esta hipótese de escolha do método para a primeira variável, porque quando ela é gerada ainda não existem elementos que permitam definir em função de que elementos ela será gerada, assim, a primeira variável é sempre gerada utilizando a amostragem com reposição dos dados originais. Caso o utilizador não especifique que métodos quer que sejam aplicados na geração dos dados, o package utiliza por defeito o “ctree”, que é uma classe não paramétrica de árvores de regressão, que se aplica a todos os tipos de dados e que incorpora modelos de 47 regressão numa teoria bem definida de procedimentos de inferências condicionais (Hothorn, et al., 2014). É ainda dada a possibilidade ao utilizador do package de definir ele próprio um novo modelo para além daqueles que já estão especificados (e que constam da seguinte tabela), bastando para tal escrever a função que descreva o novo método e no momento de gerar os dados definir esse método como o método a utilizar. Dos métodos que estão disponíveis no package importa salientar o método CTREE (que já foi acima mencionado), que é um método não paramétrico aplicável a todos os tipos de dados. Com este método os dados são gerados com recurso a árvores de classificação e de regressão, seguindo os seguintes passos: 1. Ajusta uma árvore de classificação / regressão, através de uma partição binária recursiva 2. Encontra o nó final de cada matriz de covariâncias sintetizadas 3. Desenha aleatoriamente um dador, a partir dos membros do nó, e assume o valor observado no ficheiro original, obtido a partir desse desenho, como sendo o valor sintético Nos métodos paramétricos que estão disponíveis importa destacar o Polyreg e o Norm, sendo que o primeiro é um método que se aplica às variáveis categóricas e o segundo se aplica a variáveis numéricas. No Norm os dados serão gerados com recurso a uma regressão linear. Este método gera valores sintéticos usando a propagação em torno da linha de regressão linear do vetor de dados originais de tamanho , dada a matriz de covariância originais. Os coeficientes de regressão são desenhados a partir de uma distribuição normal, com média e variância do modelo ajustado. O Polyreg gera os dados recorrendo a uma regressão politómica não ordenada. Começa por ajustar as variáveis categóricas de acordo com um modelo multinomial, determinando depois as categorias preditivas e adicionando ruido às previsões. Para além dos métodos paramétricos e dos não paramétricos, estão ainda disponíveis dois métodos classificados como “outros”, nomeadamente o método Sample e o método Passive, que são aplicáveis a todo o tipo de variáveis. No Sample é construída uma 54 Designação Tipo de Variável Informação transmitida pela variável Res. Liq. 2010 (RL2010) Variável Quantitativa Resultado Liquido registado em 2010 (em euros) Total Activo 2010 (TA2010) Variável Quantitativa Total do Ativo registado em 2010 (em euros) Património Liq. 2010 (PL2010) Variável Quantitativa Património Liquido de 2010 (em euros) Nº Empregados 2010 (NE2010) Variável Quantitativa O número de funcionários que cada empresa tinha em 2010 Cidade Variável Qualitativa Cidade onde a empresa se localiza Forma Legal Variável Qualitativa Forma legal do registo da empresa Tabela 2 - Parte Prática: variáveis As variáveis acima identificadas podem ser divididas em atributos confidenciais, atributos não confidenciais e em atributos identificadores. “Nome Empresa” e “NIF Empresa”, são atributos que permitem a identificação imediata dos respondentes, sendo por isso classificados como atributos identificadores. Por sua vez as variáveis “Cidade” e “Forma Legal” transmitem informação que apesar de ser importante, não permite a identificação imediata das empresas, são por isso atributos não identificadores. Todos os restantes atributos devido à natureza confidencial da informação que transmitem são considerados como atributos confidenciais. Das empresas que estão representadas no ficheiro de microdados mais de dois terços pertencem ao distrito do Porto, encontrando-se distribuídas neste distrito por um total de 18 cidades, sendo a cidade do Porto aquela que detém um maior número de empresas (10 315 empresas). No distrito de Braga, as 19.765 empresas encontram-se distribuídas por 14 cidades, tendo apenas 3 destas cidades mais de 60% das empresas do distrito que estão incluídas no ficheiro em análise. Apesar de existirem no ficheiro 13 formas legais que são assumidas pelas empresas, apenas duas delas concentram mais de 90% das observações. Forma Legal Obs. Forma Legal %Forma Legal %Forma Legal Ac Companhia Limitada 45938 70,99% 70,99% Companhia Limitada (proprietário único) 14828 22,91% 93,90% 55 Forma Legal Obs. Forma Legal %Forma Legal %Forma Legal Ac Sociedade Anónima 3770 5,83% 99,73% Entidade Estrangeira 85 0,13% 99,86% Sector empresarial Local 46 0,07% 99,93% Cooperativa 11 0,02% 99,95% Sociedade em Nome Coletivo 9 0,01% 99,96% Sector Empresarial do Estado 8 0,01% 99,97% Estabelecimento Individual de Responsabilidade Limitada 6 0,01% 99,98% Sociedade Anónima Desportiva 5 0,01% 99,99% Conta Própria 3 0,00% 100,00% Sociedade em Comandita 2 0,00% 100,00% Associação 1 0,00% 100,00% 64712 100,00% Tabela 3 - Parte Prática: Forma Legal Pela análise dos dados pode-se afirmar que a totalidade do ativo (em 2010) das empresas é igual a 101 629 632€, correspondendo 81% apenas ao distrito do Porto. Esta variável apresenta um valor muito elevado para a sua variância, sendo a variância do Porto muito superior à variância registada em Braga. Em termos médios, cada empresa do Porto tinha um ativo de 1 827€ em 2010, enquanto em Braga o ativo das empresas não foi além dos 897€. Em 2010 cada empresa presente no ficheiro que está a servir de base ao nosso estudo, tinha em média 10 colaboradores, localizando-se no Porto a empresa com o maior número de colaboradores (18 536 colaboradores). É também no distrito do Porto que esta variável apresenta uma maior variância. NE2010 Totais Braga Porto Soma 667 245 202 885 464 360 Minimo 1 1 1 Máximo 18 536 2 001 18 536 Média 10,3 10,3 10 Moda 1 1 1 Mediana 3 4 3 Variância 8 185 1 364 11 185 Tabela 4 - Parte Prática: Número Empregados 2010 56 O Resultado líquido (RL) médio em 2010 foi de 40€. De destacar que se só forem consideradas as empresas localizadas no distrito de Braga, o valor médio do Resultado Liquido de 2010 representa apenas 42,5% do valor médio total. Dos 2 589 809 € de Resultado Liquido total em 2010, 82,5% registaram-se no distrito do Porto. Este distrito distingue-se não só pelo facto de aí se localizar as empresas com o maior e com o menor Resultado Liquido de 2010 (quando se consideram apenas as empresas que estão incluídas no ficheiro de microdados que está em estudo). Apesar de o Património Liquido em 2010 (PL2010) ser em média de apenas 578€, o valor total desta variável ascendeu a 37 434 504€, sendo mais uma vez o distrito do Porto o maior responsável por este valor (83,7% do valor do PL2010 pertence a este distrito). 7.2. Aplicação do MEAC Depois de avaliados os dados há que colocar em prática o método acima descrito. Para tal é necessário numa primeira fase proceder definição de alguns elementos.  - ficheiro de microdados  – observação i (onde corresponde à i-ésima observação)   (número de observações)  Variáveis:  valor da variável “Resultado Liquido 2010” para a observação i   - valor da variável “Total Ativo 2010” para a observação i   – valor da variável “Património Liquido 2010” para a observação i  57  – valor da variável “Número de Empregados 2010” para a observação i   – valor da variável “Cidade” para a observação i  {Amarante ; Amares ; Baião ; Barcelos ; Braga ; Cabeceiras de Basto ; Celorico de Basto ; Esposende; Fafe ; Felgueiras ; Gondomar ; Guimarães ; Lousada ; Maia ; Marco de Canaveses ; Matosinhos ; Paços de Ferreira ; Paredes ; Penafiel ; Porto ; Póvoa de Lanhoso ; Póvoa de Varzim ; Santo Tirso ; Terras de Bouro ; Trofa ; Valongo ; Vieira do Minho ; Vila do Conde ; Vila Nova de Famalicão ; Vila Nova de Gaia ; Vila Verde ; Vizela}  - valor da variável “Forma Legal ” para a observação i  = {Companhia Limitada ; Companhia Limitada (proprietário único) ; Sociedade Anónima ; Entidade Estrangeira ; Sector empresarial Local ; Cooperativa ; Sociedade em Nome Coletivo ; Sector Empresarial do Estado ; Estabelecimento Individual de Responsabilidade Limitada ; Sociedade Anónima Desportiva ; Conta Própria ; Sociedade em Comandita ; Associação}  - nome da empresa que corresponde à observação  - número de identificação fiscal da empresa que corresponde à observação 7.2.1. Codificação de variáveis Tal como foi mencionado no ponto da descrição do MEAC, é necessário codificar os atributos identificadores e criar classes para as variáveis quantitativas. 58 Atributos identificadores A primeira questão que se levanta é o que fazer relativamente às variáveis “Empresa” e “NIF”, uma vez que a divulgação de qualquer uma destas variáveis permite a identificação imediata dos respondentes. Foi assim decidido codificar as duas variáveis de modo a não permitir a identificação das empresas. Na variável “Empresa”, o nome de cada uma das empresas foi substituído pela designação e na variável “NIF” o valor das observações foi substituído por “ ” (ex: Empresa_29 e NIF Empresa_29, são os valores assumidos nas variáveis pela empresa nº 29 do ficheiro de dados que vai ser divulgado). Variáveis quantitativas Devido à grande variedade de valores assumidos pelas variáveis quantitativas (RL2010, TA2010, PL2010, NE2010), foi decidido proceder à sua codificação em classes de acordo com os valores registados. A variável RL2010 apresenta uma grande dispersão de valores o que dificulta a criação de classes. Ao criar as classes foi tido em consideração que esta variável pode assumir valores positivos e valores negativos, e a primeira classe “RL_A” representa todos os valores negativos. Depois de feita a divisão entre valores positivos e valores negativos, é necessário dividir os valores com sinal positivo. Foi feita uma primeira divisão dos valores positivos, mas que foi deixada de lado devido ao número muito reduzido de observações que algumas das classes apresentava. Foram assim feitas algumas tentativas de criar as classes para esta variável, tendo sido escolhida a seguinte classificação. 59 Rl 2010 Nº Observações % % Ac Classe RL2010 [ - 351 790; 0[ 21279 32,88% 32,88% RL_A [0 ; 500[ 42803 66,14% 99,03% RL_B [500 ; 1000[ 281 0,43% 99,46% RL_C [1000 ; 450 539] 349 0,54% 100,00% RL_D 64 712 100,00% Tabela 5 - Parte Prática - RL2010 (divisão em classes) Na criação das classes da variável PL2010, foi seguido o mesmo raciocínio, tendo sido criada uma primeira classe que representa os valores inferiores a zero. Também aqui foram testadas várias alternativas e aquela sobre a qual recaiu a escolha final é a seguinte: PL2010 Nº Observações % % Ac Classe PL2010 [ -1 157 678; 0[ 12264 18,95% 18,95% PL_A [0 ; 500[ 46823 72,36% 91,31% PL_B [500 ; 1000[ 2503 3,87% 95,18% PL_C [1000 ; 3 533 576] 3122 4,82% 100,00% PL_D 64712 100,00% Tabela 6 - Parte Prática - PL2010 (divisão em classes) A criação das classes para a variável TA2010, foi feita de forma ligeiramente diferente uma vez que esta variável só assume valores positivos. As classes criadas para esta variável foram as seguintes: TA2010 Nr Observações % % Ac Classes TA2010 [0 ; 500[ 50197 77,57% 77,57% TA_A [500 ; 1000[ 9814 15,17% 92,74% TA_B [1000 ; 1500] 2168 3,35% 96,09% TA_C [1500 ; 4 553 846] 2533 3,91% 100,00% TA_D 64712 100,00% Tabela 7 - Parte Prática - TA2010 (divisão em classes) 60 Na criação das classes para a variável NE2010 foi tido em consideração a necessidade de fazer a distinção entre pequenas, médias e grandes empresas. Tendo sido criadas as seguintes classes para esta variável: NE2010 Nr Observações % % Ac Classes NE2010 [0 ; 50[ 62889 97,18% 97,18% Pequena [50 ; 300[ 1687 2,61% 99,79% Média [300 ; 18 5366] 136 0,21% 100,00% Grande 64712 Tabela 8 - Parte Prática - NE2010 (divisão em classes) A criação das várias classes acima mencionadas introduz nos dados um elevado grau de incerteza no processo de tentativa de identificação dos respondentes por parte dos invasores. 7.2.2. Geração de variáveis Tal como já foi mencionado, aquando da descrição de método que está a ser aplicado, são primeiro geradas as variáveis qualitativas e só depois as quantitativas. 7.2.2.1. Variáveis qualitativas A primeira das variáveis a ser gerada foi a variável “Cidade” (foi escolhida de forma completamente aleatória quando em confronto com a outra variável qualitativa). Esta variável foi gerada de forma completamente aleatória com a condição que o número de observações para cada uma das cidades tinha que ser igual ao observado no conjunto de dados original. Ficando assim, o conjunto de dados gerado exatamente com o mesmo número de observações registado no ficheiro original, em cada uma das cidades. 61 A segunda variável a ser gerada foi a variável “Forma Legal”. Enquanto a variável anterior foi gerada de forma aleatória respeitando apenas o total de observações por cidade, para gerar este segundo atributo há que ter em atenção não apenas o número de observações para cada variante da forma legal, mas também o número de observações de cada forma legal em cada uma das cidades. Houve portanto a necessidade de analisar a relação que existe entre a variável “Cidade” e a variável “Forma Legal” no ficheiro de microdados original. Ao efetuar esta análise constatou-se a existência de 53 casos críticos (casos em que o número de observações é inferior a 3). Estes casos foram resolvidos tendo como premissa, manter sempre o número de observações por cidade. Assim, em cada uma das cidades em que existiam formas legais com apenas 1 ou 2 observações, foram retiradas observações da forma legal com mais observações e transferidas para os casos críticos de modo a que cada forma legal possua pelo menos três observações. Por exemplo, para a cidade de Matosinhos, existiam 3 variantes da “Forma Legal” com menos de 3 observações. O que se fez, foi, retirar da variante “Companhia Limitada” 4 observações que foram distribuídas aleatoriamente pelas formas legais críticas. Matosinhos Nº Obs. Inicial Variação Nº Obs. Geradas Companhia Limitada 3336 -4 3332 Companhia Limitada (proprietário único) 952 952 Sociedade Anónima 308 308 Entidade Estrangeira 10 10 Sector empresarial Local 2 +1 3 Cooperativa 2 +1 3 Sociedade em Nome Coletivo 0 0 Sector Empresarial do Estado 0 0 Estabelecimento Individual de Responsabilidade Limitada 0 0 Sociedade Anónima Desportiva 0 0 Conta Própria 1 +2 3 Sociedade em Comandita 0 0 Associação 0 0 Tabela 9 - Parte Prática (Cidade vs Forma Legal - Matosinhos) 62 Depois de identificados e corrigidos estes casos críticos, a variável “Forma Legal” foi gerada de forma completamente aleatória obedecendo às restrições (já mencionadas) que o número de observações por cidade se mantém inalterado, e que cada forma legal que exista numa cidade tem que ter pelo menos três observações. A segunda restrição acima identificada implica que a partir deste ponto o ficheiro de dados que está a ser gerado já apresenta diferenças face ao original, mais concretamente, ao gerar a variável Forma Legal desta forma, existirão pelo menos 172 observações diferentes do original (por exemplo, no conjunto original existiam 7703 empresas classificadas como Companhia Limitada na cidade do Porto, mas depois de gerar a variável Forma Legal passam a existir 7699 empresas nessas condições). 7.2.2.2. Variáveis quantitativas Para decidir qual das variáveis quantitativas seria a primeira a ser gerada, foi feito um estudo comparativo quanto a alguns parâmetros das quatro variáveis em questão (embora as variáveis quantitativas já tenham sido objeto de uma codificação, a análise é feita com recurso aos seus valores originais, isto é, em termos quantitativos). Mínimo Máximo Soma Média Desvio Padrão Variância NE2010 1,00 18 536,00 667 245,00 10,31 90,47 8 185,03 PL2010 - 1 157 678,00 3 533 576,00 37 434 504,00 578,48 19 937,93 397 521 064,26 RL2010 - 351 790,00 450 539,00 2 589 809,00 40,02 2 972,84 8 837 771,14 TA2010 - 4 553 846,00 101 629 632,00 1 570,49 32 036,93 1 026 365 115,62 Tabela 10 - Parte Prática - Estatísticas Descritivas Pela análise da tabela acima reproduzida, podemos constatar que a variável que apresenta a menor variância é a variável NE2010, ou seja esta variável é aquela cujos valores são menos dispersos face ao seu valor médio. 63 As variáveis RL2010, TA2010 e PL2010 não são independentes, o que significa que o valor gerado para uma delas vai influenciar os valores das restantes variáveis. As variáveis que são menos interdependentes são a variável NE2010 e RL2010. RL2010 TA2010 PL2010 NE2010 RL2010 8 837 634,57 56 472 052,84 50 635 449,89 23 437,51 TA2010 56 472 052,84 1 026 349 255,11 508 311 133,70 789 846,63 PL2010 50 635 449,89 508 311 133,70 397 514 921,33 158 380,08 NE2010 23 437,51 789 846,63 158 380,08 8 184,91 Tabela 11 - Parte Prática - Covariâncias Analisando os coeficientes de correlação linear entre as variáveis constatamos que as variáveis PL2010 vs RL2010 são aquelas que apresentam uma maior correlação entre si. RL2010 TA2010 PL2010 NE2010 RL2010 1,00 0,59 0,85 0,09 TA2010 0,59 1,00 0,80 0,27 PL2010 0,85 0,80 1,00 0,09 NE2010 0,09 0,27 0,09 1,00 Tabela 12 - Parte Prática - Coeficientes de correlação Linear 1ª variável – NE2010 Depois de analisados os dados foi decidido que a primeira variável quantitativa a ser gerada é a variável “NE2010”. Depois de ter sido escolhida a terceira variável a ser gerada, houve a necessidade de definir se ela iria ser gerada tendo em consideração os valores gerados para a variável “Cidade”, para a variável “Forma Legal”, ou para as duas variáveis em conjunto. De modo a decidir procedeu-se à geração dos dados para as três alternativas possíveis. Assim, numa primeira etapa a variável NE2010 foi gerada tendo em consideração apenas os valores já gerados para a variável “Cidade”. Para tal houve a necessidade de 70 Da análise da tabela anterior podemos constatar que aquela que mais difere do conjunto original é a “Companhia Limitada” contribuindo com 34,88% dos desvios totais. No entanto devido à dimensão desta variável conjunto de dados original não se pode afirmar que seja uma diferença muito significativa (o número de observações em falta para esta variável corresponde apenas a 0,13% do total inicial das suas observações). A análise da tabela anterior permite constatar ainda que todas as Formas Legais têm pelo menos 3 observações, e que o total do erro introduzido por esta restrição corresponde a 6,98 % do erro total. Apesar de existirem diferenças em quase todas as categorias, o peso que cada uma delas representa no total não variou significativamente, sendo a categoria “Companhia Limitada” aquela que viu o seu peso variar mais (teve uma redução de 0,09 pontos percentuais (pp)). Forma Legal Originais % Gerados % Variação % Companhia Limitada 45 938 70,99% 45 878 70,90% 0,09 pp Cooperativa 11 0,02% 30 0,05% 0,03 pp Sociedade Anónima Desportiva 5 0,01% 6 0,01% 0,002 pp Companhia Limitada (proprietário único) 14 828 22,91% 14 802 22,87% 0,04 pp Sociedade Anónima 3 770 5,83% 3 772 5,83% 0,003 pp Entidade Estrangeira 85 0,13% 97 0,15% 0,02 pp Sector empresarial Local 46 0,07% 68 0,11% 0,03 pp Sociedade em Nome Coletivo 9 0,01% 9 0,01% - Sector Empresarial do Estado 8 0,01% 14 0,02% 0,01 pp Associação 1 0,00% 3 0,00% 0,003 pp Conta Própria 3 0,00% 9 0,01% 0,01 pp Sociedade em Comandita 2 0,00% 6 0,01% 0,01 pp Estabelecimento Individual de Responsabilidade Limitada 6 0,01% 18 0,03% 0,02 pp 64 712 64 712 Tabela 17 - Parte Prática ( Forma Legal : original vs gerados (variações categorias)) 71 Nº Empregados 2010 Esta variável no conjunto de dados que foi gerado observa algumas diferenças face ao conjunto de dados originais (a análise será feita relativamente ao conjunto de dados originais depois de se ter procedido à codificação desta variável), nomeadamente existem no conjunto de dados original menos 10 empresas que foram classificadas como sendo de Grande dimensão e menos 25 empresas de média dimensão. Por sua vez, as pequenas empresas estão em maior número no conjunto original do que no gerado. Emp2010 Originais Gerados % Erro Erro Absoluto Grande 136 146 7,35% 10 Média 1 687 1 712 1,48% 25 Pequena 62 889 62 854 -0,06% 35 64 712 64 712 70 Tabela 18 - Parte Prática (NE2010: original vs gerado) Foi na categoria Grande que o erro mais se fez sentir face ao conjunto de observações iniciais, uma vez que as 10 observações a mais correspondem a 7,35% do conjunto de dados originais. Mas apesar destas diferenças o peso de cada uma das categorias não variou significativamente no conjunto original. Total Ativo 2010 Esta variável foi gerada depois de ter sido devidamente codificada em quatro classes, pelo que a análise que agora será feita tem como termo de comparação os dados que constam do conjunto original pós codificação. Quando se comparam os resultados obtidos constata-se que foram geradas menos 43 empresas pertencentes à categoria TA_A. Na realidade é esta a categoria que apresenta uma maior variação em termos absolutos face aos dados iniciais, logo seguida pela categoria TA_D. Apesar destas variações em todas as categorias, o peso que cada uma delas apresenta no conjunto total não variou muito. Foi a categoria TA_C aquela que viu o seu peso manter-se mais próximo do inicial (teve um crescimento de apenas 0,003pp). A categoria TA_A foi aquela que viu o seu peso reduzir mais passando de 77,57% para 72 77,503%, logo seguida da categoria TA_D que viu o seu peso crescer 0,06pp, assumindo no conjunto dos dados gerados um total de 3,97% das observações. Património Liquido 2010 A variável PL2010 foi alvo de uma codificação antes e serem gerados os seus valores, tendo sido criadas 4 classes. A classe que mais variação apresenta quando se confrontam os dados que foram gerados com os dados originais (pós codificação) é a classe PL_B, que representa 50% das diferenças que se verificaram nesta variável (de um total de 104 diferenças, 52 ocorreram na segunda classe). PL2010 Original Gerado Erro Abs Erro Médio PL_A 12264 12270 6 5,77% PL_B 46823 46771 52 50,00% PL_C 2503 2510 7 6,73% PL_D 3122 3161 39 37,50% 64712 64712 104 Tabela 19 - Parte Prática (PL2010: original vs gerado) Apesar de terem ocorrido diferenças em todas as classes desta variável, o peso que cada uma delas detém no total da variável não se alterou significativamente. Embora tenha registado grande maioria das diferenças, a classe PL_B apenas viu o seu peso reduzir em 0,08pp (passou de 72,36% para 72,28% das observações), tendo permanecido como a classe que contem mais observações. Resultado Liquido 2010 A variável RL2010 foi a segunda variável em que se verificaram menos diferenças face aos dados iniciais, totalizando um total de 42 diferenças (a variável com menos diferenças foi a variável Cidade, que foi a primeira variável a ser gerada). Das diferenças verificadas nesta variável foi na categoria RL_B que se registou a maior percentagem das mesmas (50% das diferenças, o que corresponde a um total de 21 observações), logo seguida pela categoria RL_A com 11 diferenças. 73 RL2010 Original Gerado Erro Abs RL_A 21279 21290 11 RL_B 42803 42782 21 RL_C 281 283 2 RL_D 349 357 8 64712 64712 42 Tabela 20 - Parte Prática (RL2010: original vs gerado) Não obstante se terem verificadas tantas diferenças na segunda classe desta variável, o peso que a classe em causa detém no conjunto de dados apenas diminuiu em 0,03pp (tendo passado de 66,14% para 66,11%). 7.2.3.1.1. Combinações de Variáveis Interessa agora analisar de que forma é que ocorreu (ou não) alterações nas interações entre as várias variáveis. Assim, o próximo passo consiste em comparar as relações que existem entre as variáveis no conjunto de dados que foi gerado em relação às relações que existiam. Cidade vs Todas as outras variáveis Analisando as distribuições de cada uma das formas legais pelas diversas cidades contata-se que em apenas 6 cidades não existe nenhuma diferença dos dados gerados face aos originais, isto é, o número de cada uma das forma legais nas cidades em questão, é exatamente igual nos dados iniciais e nos dados gerados. As cidades que verificam este facto são as cidades de Amarante, Amares, Baião, Braga, Marco de Canavezes e Vila Verde. Em todas as restantes cidades existem diferenças nas distribuições das várias formas legais. Na cidade de Barcelos são 9 as formas legais (de um total de 13) que apresentam diferenças, sendo a Companhia Limitada a forma legal onde a diferença é mais acentuada (um total de 9 observações diferentes). Apenas 16 cidades mantiveram o número de observações em cada uma das classes de NE2010 inalterado. As cidades do Porto e de Barcelos viram o número de empresas 74 geradas em cada uma das classes de NE2100 diferente do verificado no conjunto de dados originais. As classes Média e Pequena viram o número de observações variar em 13 cidades (cada uma das classes). A classe Grande apenas teve diferenças em 5 das cidades. Apenas em 8 cidades é que a variável TA2010 se encontra com a mesma distribuição nos conjuntos de dados originais e gerados. A cidade de Matosinhos foi a única cidade onde a distribuição das empresas pelas várias categorias da variável TA2010 foi diferente em todas as classes. A relação entre a variável Cidade e a variável PL2010 só se manteve em 10 cidades, em todas as restantes existem diferenças na distribuição pelas várias classes de PL2010, sendo que a classe onde se verificam mais diferenças em termos absolutos é a classe PL_B. A variável RL2010 encontra-se igualmente distribuída (quando se comparam os dados originais com os dados gerados) em 15 cidades. Sem Dif. Nº Dif. Total Sem Dif. Nº Dif. FL 64 538 174 64 712 99,73% 0,27% NE2010 64 652 60 64 712 99,91% 0,09% TA2010 64 598 114 64 712 99,82% 0,18% PL2010 64 598 114 64 712 99,82% 0,18% RL2010 64 652 60 64 712 99,91% 0,09% Tabela 21 – Parte Prática (Cidade – análise diferenças) Forma Legal vs Todas as outras variáveis A análise da relação entre as Formas Legais e as Cidades, já foi feita no ponto anterior. Analisando e comparando a distribuição da variável NE2010 face à variável Forma Legal, concluímos que apenas a Sociedade em Nome coletivo mantém a distribuição das suas empresas pelas classes de NE2010. 75 NE2010 Grande Média Pequena Forma Legal Associação 2 0 0 Sociedade em Nome Coletivo 0 0 0 Cooperativa 2 12 5 Entidade Estrangeira 0 0 12 Sociedade em Comandita 0 4 0 Estabelecimento Individual de Responsabilidade Limitada 0 0 12 Companhia Limitada 0 0 60 Sector empresarial Local 0 8 14 Sociedade Anónima 0 1 1 Companhia Limitada (proprietário único) 0 0 26 Conta Própria 0 0 6 Sociedade Anónima Desportiva 0 0 1 Sector Empresarial do Estado 6 0 0 Tabela 22 – Parte Prática ( FL vs NE2010 (nº de observações diferentes nos dois conjuntos de dados)) A variável TA2010 apresenta no conjunto de dados gerados uma diferença de 182 observações quando comparamos a sua distribuição na variável Forma Legal, no conjunto de dados inicial e no conjunto gerado. Sendo que a maior diferença se verifica na Forma legal – Companhia Limitada, com um total de 60 diferenças. A classe da variável PL2010 que tem menos diferenças na sua distribuição pelas várias formas legais é a PL_C, que totaliza “apenas” 9 diferenças. Por sua vez a classe PL_B é aquela que mais se modificou na passagem do conjunto de dados original para o conjunto de dados gerados, com um total de 104 observações diferentes. Na distribuição da variável RL2010 relativamente à variável Forma Legal, no conjunto de dados gerados verificam-se 172 empresas com uma distribuição diferente à verificada no conjunto de dados iniciais. Destas diferenças 71,51% ocorrem na classe RL_B. 76 Sem Dif. Nº Dif. Total Sem Dif. Nº Dif. Cidade 64 538 174 64 712 99,73% 0,27% NE2010 64 540 172 64 712 99,73% 0,27% TA2010 64 530 182 64 712 99,72% 0,28% PL2010 64 536 176 64 712 99,73% 0,27% RL2010 64 540 172 64 712 99,73% 0,27% Tabela 23 - Parte Prática (Forma Legal – análise diferenças) NE2010 vs Todas as outras variáveis A análise da evolução da estrutura da variável NE2010 face às variáveis Cidade e Forma legal, já foi feita nos pontos anteriores. Das 92 observações diferentes na distribuição da variável TA2010 pela variável NE2010, é na classe TA_A que se registam as maiores diferenças (um total de 43). A classe da variável NE2010 que manteve uma distribuição da variável TA2010 mais próxima da original foi a classe Grande, com apenas 10 diferenças. Foi na classe das pequenas empresas que a distribuição da variável PL2010 mais diferiu face à distribuição original (73 diferenças de um total de 108). Foi também nesta classe (pequenas empresas) que a distribuição da variável RL2010 mais se distanciou face à original (com 39 observações diferentes, num total de 74). Sem Dif. Nº Dif. Total Sem Dif. Nº Dif. Cidade 64 652 60 64 712 99,91% 0,09% Forma Legal 64 540 172 64 712 99,73% 0,27% TA2010 64 620 92 64 712 99,86% 0,14% PL2010 64 604 108 64 712 99,83% 0,17% RL2010 64 638 74 64 712 99,89% 0,11% Tabela 24 - Parte Prática (NE2010 – análise diferenças) 77 TA2010 vs Todas as outras variáveis São 106 as observações que têm uma distribuição da combinação das variáveis TA2010 e PL2010 diferentes no conjunto de dados gerados face ao conjunto inicial. É na classe TA_A que a distribuição da variável PL2010 mais se diferenciou face aos valores iniciais (com 45 observações diferentes). A distribuição da variável RL2010 face à variável TA2010 teve um total de 88 observações diferentes quando se comparam os dados iniciais com os dados gerados, sendo a classe RL_A aquela onde ocorreram mais diferenças. Sem Dif. Nº Dif. Total Sem Dif. Nº Dif. Cidade 64 598 114 64 712 99,82% 0,18% Forma Legal 64 530 182 64 712 99,72% 0,28% NE2010 64 620 92 64 712 99,86% 0,14% PL2010 64 606 106 64 712 99,84% 0,16% RL2010 64 624 88 64 712 99,86% 0,14% Tabela 25- Parte Prática (TA2010 – análise diferenças) PL2010 vs Todas as outras variáveis São 110 as observações onde a distribuição das combinação das variáveis PL2010 e RL2010 diferem entre o conjunto original e o conjunto gerado. A classe de RL2010 que verifica mais diferenças é a classe RL_B, que totaliza 89 diferenças. Sem Dif. Nº Dif. Total Sem Dif. Nº Dif. Cidade 64 598 114 64 712 99,82% 0,18% Forma Legal 64 536 176 64 712 99,73% 0,27% NE2010 64 604 108 64 712 99,83% 0,17% TA2010 64 606 106 64 712 99,84% 0,16% RL2010 64 602 110 64 712 99,83% 0,17% Tabela 26 - Parte Prática (PL2010 – análise diferenças) 78 RL2010 vs Todas as outras variáveis A relação da distribuição de RL2010 face a todas as outras variáveis já foi feita anteriormente. Combinações de todas as variáveis No ficheiro de dados iniciais existiam 2432 combinações diferentes de todas as variáveis. Destas combinações, 1095 correspondiam a combinações com pelo menos 3 observações, o que corresponde a 54,98% de combinações consideradas críticas (com apenas uma ou duas observações). Depois de ter sido gerado o novo ficheiro, o número de combinações passou para 2431, ou seja, houve uma das combinações das variáveis presente no conjunto de dados iniciais que desapareceu (foi uma das combinações consideradas criticas). O número de combinações críticas passou para 1297, o que corresponde a dizer que ao gerar os dados passaram a existir menos combinações com apenas 1 ou 2 observações. Nº Observações Original Gerado 0 0 1 1 967 919 2 370 378 >=3 1095 1134 Tabela 27 – Parte Prática (Combinações de variáveis) Ao reduzir o número de observações onde a combinação das suas variáveis tem apenas 1 ou 2 casos, isso traduz-se numa maior dificuldade de se conseguirem identificar os respondentes. É na cidade do Porto que se verificam mais combinações críticas, das 10.315 empresas que existem nesta cidade, 87 correspondem a empresas com combinações muito 79 especificas das variáveis (no ficheiro de dados original eram 89 as empresas nestas condições). 7.3. Aplicação dos métodos de Probabilidade Condicional do Synthpop Com recurso ao package Synthpop (que foi mencionado no capítulo 5), foi gerado um novo ficheiro de microdados, com base no ficheiro de microdados original que foi utilizado no ponto anterior para aplicação do método proposto. Com o intuito de tornar possível uma comparação entre os resultados obtidos com este método e os resultados obtidos no ponto anterior, o ficheiro de microdados que foi usado apresenta as variáveis quantitativas codificadas em classes. O Synthpop permite que se defina a ordem pela qual se pretende que as variáveis sejam geradas, assim com o objectivo de se ter uma uniformização de critérios / pressupostos utilizados neste método com os critérios / pressupostos que foram seguidos no método proposto, foi definido que a ordem pela qual as variáveis seriam geradas seria exactamente a mesma ordem pela qual foram geradas no método anterior. Uma vez que o package permite a escolha de qual o método utilizado na geração dos dados, foram gerados dados para quatro dos métodos disponibilizados, nomeadamente “ctree”, “sample”, “passive” e “parametric”. CTREE O primeiro método que foi escolhido para se proceder à geração dos dados foi o método não paramétrico “ctree”. Embora se tenha definido que seria este o método aplicado, o método que foi aplicado à primeira variável gerada (Cidade) foi a amostragem (sample): Synthesising methods: ($method) Cidade Forma.Legal Nº.Empregados.2010 Total.Activo.2010 PL2010 RL2010 86 Pela análise da tabela anterior constatamos que o método onde existem mais combinações de variáveis é o método Sample, sendo também neste método que existem mais combinações com 2 ou menos observações. Este método é também aquele onde foram criadas mais combinações de variáveis, ao mesmo tempo que também foi neste método que foram eliminadas mais combinações. Os métodos Passive e CTREE apresentam exatamente os mesmos valores em termos de combinações, combinações critica, eliminação e criação de novas combinações. Face ao exposto podemos concluir que aquele método que gera menos perturbação nas combinações das variáveis é o método que é por nós proposto. Quanto menos perturbação é gerada, mais próxima da realidade é a informação transmitida pelo ficheiro gerado. Chegamos à mesma conclusão quando comparamos o ficheiro original e cada um dos ficheiros gerados, recorrendo às diferenças em termos absolutos do número de observações para cada uma das combinações. Pelo facto de existirem combinações novas de variáveis, combinações que são eliminadas e combinações em que o número de observações difere quando se compara o ficheiro de microdados original com cada um dos ficheiros de microdados gerados, isso implica que existam diferenças entre os ficheiros. No seguinte gráfico, onde estão representadas as diferenças (em termos de nº de observações para as várias combinações das variáveis) que existe em cada um dos ficheiros obtidos face ao original, podemos ver que aquele ficheiro gerado que mais se aproxima do ficheiro original é o ficheiro que foi obtido com o método que é proposto neste trabalho, ou seja, é aquele em que há uma menor perda de informação. Ilustração 7 –Parte Prática ( Dif. Combinações) 87 A cidade do Porto foi a cidade que nos ficheiros gerados mais viu a sua estrutura empresarial sofrer alterações, uma vez que foi nesta cidade que a combinações de variáveis mais se alteraram. A estrutura das empresas de Terras do Bouro foi a que menos se alterou em todos os método utilizados no package do Synthpop, contudo, no método proposto foi nesta cidade que verificou a única eliminação de uma combinação específica das variáveis. Tal como se pode constatar no seguinte gráfico, pese embora terem ocorrido algumas alterações no número de observações em cada uma das cidades, não existe nenhuma cidade em nenhum dos métodos, que tenha sofrido uma alteração considerada significativa (a maior diferença foi na cidade do Porto no método Sample). Ilustração 8 – Parte Prática ( Dif Cidade) A variável Forma Legal sofreu alterações em todos os ficheiros que foram gerados, sendo que a forma como ocorreram essas alterações variou muito de método para método. No método que é proposto neste trabalho, as alterações nesta variável traduzem-se em 172 observações diferentes face ao ficheiro original. Nos ficheiros que foram obtidos pelo package do Synthpop, as diferenças foram superiores a 200 observações (o método passive foi aquele onde se verificaram menos diferenças, 200 no total). A dimensão das empresas também sofreu alterações em todos os ficheiros que foram gerados, tendo sido o ficheiro gerado pelo método aqui proposto aquele em que menos 88 alterações se verificaram. Não obstante terem ocorrido essas alterações, no cômputo global, o peso de cada dimensão empresarial não sofreu alterações significativas. Ilustração 9 – Parte Prática ( Dif. NE2010) Analisando a distribuição das várias formas legais pelas cidades, constata-se que o ficheiro gerado onde existem menos distorções na estrutura empresarial é no ficheiro que foi obtido pelo método proposto, onde a maior diferença ocorre na cidade de Barcelos com menos 7 empresas Companhia Limitada do que no ficheiro original. Os resultados obtidos no package Synthpop são consideravelmente piores do que os obtidos pelo método aqui proposto, o que se traduz numa distorção considerável na estrutura empresarial das várias cidades. IV Parametric Sample Passive CTREE 174 1622 5638 1386 1386 Tabela 33 - Parte Prática (Comparação Resultados – Dif. Obs. Cidade - FL) Em todos os ficheiros gerados existem não só diferenças quanto à estrutura empresarial (forma legal), mas também existem diferenças quanto à dimensão de cada uma das empresas de uma determinada cidade e com uma determinada forma legal. Novamente é no ficheiro obtido pelo método proposto que existem menos diferenças e é no ficheiro obtido pelo Sample que ocorrem mais diferenças, quando se comparam os resultados obtidos com o ficheiro de microdados original. 90 Tendo em consideração todos os elementos que já foram aqui expostos e analisando os ficheiros de dados sintéticos que foram obtidos pode-se afirmar que aquele ficheiro que está mais próximo dos dados originais é o ficheiro que foi obtido com o método proposto ao longo deste trabalho. O que equivale a afirmar que neste ficheiro a perda de informação é menor do que nos restantes. 91 8. Conclusão O presente trabalho foi iniciado com o intuito de propor um novo método que permitisse gerar sinteticamente ficheiros de microdados de uso público, sem comprometer o respeito pela confidencialidade dos dados. É necessário assegurar que nos ficheiros estatísticos que são produzidos e posteriormente são tornados públicos não há a possibilidade de se conseguir identificar os respondentes que forneceram a sua informação pessoal / empresarial e que foi incluída nesses ficheiros. A obrigatoriedade de se respeitar o segredo estatístico está consagrada não só na legislação nacional como também na legislação internacional. Não obstante existirem vários métodos que podem ser usados na proteção da informação que é tornada pública, era nossa intenção apresentar um novo método que combinando algumas das técnicas já existentes, permitisse gerar um ficheiro de dados totalmente sintéticos, ficheiro esse que tem que transmitir a mesma informação que existe no ficheiro original (ou o mais próxima possível), ao mesmo tempo que respeita o segredo estatístico. Tendo em atenção as várias combinações que é possível estabelecer entre as variáveis que existem no ficheiro de microdados, o MEAC (Mínimo Erro Absoluto das Combinações das Variáveis) permite gerar um ficheiro de microdados totalmente sintéticos em que essas diferenças são menores do que noutros métodos. Para tal, recorre às probabilidades condicionais que existem no ficheiro original, no momento de gerar cada uma das variáveis. Ao codificar as variáveis quantitativas em classes, há uma clara redução do número de combinações que se podem estabelecer entre todas as variáveis. Esta codificação permite que mesmo que no ficheiro de microdados persistam algumas combinações críticas (combinações de variáveis que apenas têm 1 ou 2 observações), não haja a possibilidade de se identificarem os indivíduos (com 100% de certeza), uma vez que o valor que é transmitido não é o original mas sim a classe em que ficou inserido depois da codificação. 92 A restrição imposta pelo MEAC, que as combinações estabelecidas entre as variáveis qualitativas (as primeiras a serem geradas) têm que ter pelo menos três observações implica desde logo que o ficheiro gerado seja diferente do original (ocorrerá uma distorção dos dados por via do aumento do número de observações das combinações que no ficheiro original eram críticas, e também, porque para haver um aumento nesse número de observações terá que ocorrer concomitantemente uma redução no número de observações em que a combinação das variáveis qualitativas não é critica). Outro ponto que importa salientar na aplicação do MEAC é a não criação de novas combinações de variáveis, tendo apenas ocorrido uma alteração no número de observações em que cada uma das combinações se verifica. Embora este método garanta que não surgem novas combinações o mesmo não se passa quanto à sua eliminação (no trabalho que foi apresentado nesta dissertação, houve uma combinação (crítica), de todas as variáveis, que existia no ficheiro de microdados original, que não se encontra representada no ficheiro que foi gerado). Os bons resultados obtidos pelo MEAC foram comprovados através do confronto do ficheiro por si gerado, com 4 ficheiros de microdados que foram gerados (a partir do mesmo ficheiro de microdados original) através dos métodos das probabilidades condicionais, que existem no package do programa R, e que foi recentemente apresentado (de notar que quer no MEAC quer nos métodos utilizados no R, o conceito fundamental que está por trás do processo de geração dos dados, é o das probabilidade condicionais, aliás, só fazia sentido fazer este tipo de comparações com métodos que tivessem pontos em comum). A versão do MEAC que aqui é apresentada será usada como ponto de partida em trabalhos futuros. Os próximos passos terão como objetivo averiguar em que medida é que será possível fazer a descodificação das variáveis quantitativas sem comprometer a confidencialidade dos dados e ainda averiguar em que medida é que os resultados obtidos serão diferentes se as classes das variáveis quantitativas forem consideradas como variáveis qualitativas no momento da geração dos dados (terá implicações no número mínimo de observações que cada combinação das variáveis observará). 93 9. Bibliografia Ayala-rivera, V., Mcdonagh, P., Cerqueus, T.; (2013); “Synthetic Data Generation using Benerator Tool” ; Cornell University Library; arXiv : 1311 . 3312v1 [ cs . DB ] 13 Nov 2013, 1–12; 2013 Campos, P. (2012), "Confidencialidade: problemática e tendências metodológicas.", Seminário do Segredo Estatístico, INE, Castro, J. (2012). ; “Recent advances in optimization techniques for statistical tabular data protection” ; European Journal of Operational Research, 216(2), 257–269. doi:10.1016/j.ejor.2011.03.050, 2012 CDC – Centers For Disease Control and Prevention (2014), Public-Use Data Files and Documentation, página acedida a 15/09/2014, http://www.cdc.gov/nchs/data_access/ftp_data.htm Chertov, O., Pilipyuk, A. (2009).; “Statistical disclosure control methods for microdata on Computing, Communication and Control” ; International Symposium on Computing, Communication, and Control (ISCCC 2009); 339–343; 2009 Chettri, S; Paul, B.; Dutta, A. ; (2012) ; “A comparative study on microaggregation techniques for microdata protection”; International Journal of Data Mining Knowledge Management Process; Vol2, Nº6; 2012 CMS.gov (Centers for Medicare & M;edicaid Services) (2014), Public Use files, página acedida a 15/09/2014, http://www.cms.gov/Research-Statistics-Data-and- Systems/Downloadable-Public-Use-Files/SynPUFs/index.html Cornell University (2014), QWI Public Use Data , página acedida a 15/09/2014, http://www2.vrdc.cornell.edu/news/data/qwi-public-use-data/ Dandekar, R. A., Cohen, M., Kirkendall, N. (2002), "Sensitive Micro Data Protection Using Latin Hypercube Sampling Technique", 117–125 94 Destatis (2014), Research Data Centre of the German Federal Statistical Office, página acedida a 01/09/2014, http://www.forschungsdatenzentrum.de/en/datenzugang.asp Diário da República (1991), "Lei da Protecção dos Dados pessoais face à Informática", Assembleia da República, Lei nº 10/91 de 12 de Abril de 1991 Diário da República (2008), "Lei do Sistema Estatístico Nacional", Assembleia da República, Lei nº 22/2008 de 13 de Maio in Diário da República, 1ª série - Nº92 Domingo-Ferrer, J., Drechsler, J., Polettini, S. (2009). "ESSNET-SDC Deliverable Report on Synthetic Data Files", Projeto ESSNET-SDC, Domingo-Ferrer, J.; González-Nicolás, U ; (2010) ; “Hybrid microdata using microaggregation”; 2834-2844; 2010 Drechsler, J., Reiter, J. (2010); “Sampling with synthesis: A new approach for releasing public use census microdata”; Journal of the American Statistical; 1–38; 2010 Hothorn, T., Hornik, K., Zeileis, A. (2014). "ctree: Conditional Inference Trees", vignette Cran.at.r-Project.org Hout, A. van den, Elamir, E. A. H. (2006) "Statistical Disclosure Control Using Post Randomisation : Variants and Measures for Disclosure", Journal of Official Statistics 22, 711-731 Huang, Z.,Williamson, P. (2001),"A Comparison of Synthetic Reconstruction and Combinatorial Optimisation Approaches to the creation of small-area microdata", Working Paper 2001/2, Universidade de Liverpool Hundepool, A. ; Domingo-Ferrer, J.; Franconi, L.; Giessing, S.;Lenz, R.; Naylor, J.; Nordholt, E.;Seri, G.; Wolf, P. (2010). “A Network Of Excellence in the European Statistical System in the field of Statistical Disclosure Control” Hunsinger, E. (2008), "Iterative Proportional Fitting for a two-dimensional table", Alaska, Departmento do trabalho e Desenvolvimento da Força de Trabalho 95 Ies – Institute of Education Sciences (2014), Public Use Data, página acedida a 15/09/2014, http://nces.ed.gov/nhes/dataproducts.asp INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2014), Acesso a microdados gerados pelo Inep, página acedida a 1/09/2014, http://portal.inep.gov.br/basica-levantamentos-microdados Instituto Nacional de Estatística (Angola) (2014), A politica para a disseminação de ficheiros de microdados anonimizados, página acedida a 30/08/2014, https://andine.ine.gov.ao/nada4/index.php/poltica-de-acesso Instituto Nacional de Estatistica (INE) (Portugal) (2014a),"Missão, valores, e Carta de Qualidade" , página consultada a 30/04/2014 http://www.ine.pt/xportal/xmain?xpid=INE&xpgid=ine_cont_inst&INST=53866&ine_s menu.boui=13710675&ine_smenu.selected=13710702 Instituto Nacional de Estatistica (INE) (Portugal) (2014b), "Legislação", página consultada a 11/05/2014 http://www.ine.pt/xportal/xmain?xpid=INE&xpgid=ine_cont_inst&INST=53870&ine_s menu.boui=13710675&ine_smenu.selected=13710711 IPUMS (2014), “Integrated Public Use Microdata Series, International", página acedida a 30/04/2014 Los Angeles Family and Neighborhood Survey (L.A.FANS) (2014), Public Use Data, página acedida a 17/09/2014, http://lasurvey.rand.org/data/public/agreement.html Marés, J; Torra, V ; (2012) ; “An evolutionary Optimization Approach for Categorical Data Protection”; Proceedings of the 2012 Joint EDBT/ICDT Workshops; 148-147; 2012 Matias, C. (2011) "Abordagem Micro-Macro : Apresentação de uma nova técnica de Controlo de Divulgação Estatística para Macrodados", Dissertação de Mestrado, Faculdade de Economia da universidade do Porto Matias, C.; Campos, P ; (2013) ; “A Mixed Micro-Macro Approach to Statistical Disclosure Control for Macrodata”; FEP Working Papers 96 Matthews, G. J., Harel, O. (2011); “Data confidentiality: A review of methods for statistical disclosure limitation and methods for assessing privacy”; Statistics Surveys; doi:10.1214/11-SS074; 2011 Mdrc – Building Knowledge to Improve Social Policy (2014), Public Use Data Files, página acedida a 13/09/2014, http://www.mdrc.org/public-use-data-files Mendes, E. (2010)," Confidencialidade dos Dados: Aplicação e Comparação de Técnicas de Controlo da Divulgação Estatística", Dissertação de Mestrado, Faculdade de Economia da Universidade do Porto National Science Foundation (2014), Data Access, página acedida a 14/09/2014, http://www.nsf.gov/statistics/data-tools.cfm#micro-data Norman, P. (1999), "Putting Iterative Proportional Fitting on the Research's Desk", Universidade de Leeds, Escola de Geografia, Working paper 99/03 Nowok, B., Raab, G. M., Dibben, C. (2014)., "Synthpop : Bespoke creation of synthetic data in R", vignette Cran.at.r-Project.org Nowok, B., Raab, G. M., Dibben, C. (2014)., "Package Synthpop", vignette Cran.at.r- Project.org OCDE (2014), Public Data & Analysis, Página acedida a 14/09/2014, http://www.oecd.org/site/piaac/publicdataandanalysis.htm Oganian, A.; Domingo Ferrer, J. ; (2001) ; “On the Compexity of Optimal Microaggregation for Statistical Disclosure Control”; Statistical Journal of the United Nations Economic Comission for Europe; 345-354; 2001 Parlamento Europeu (2009), Regulamento 223/2009 do Parlamento Europeu e do Conselho de 11 de Março de 2009, Parlamento Europeu (2013), regulamento nº 557/2013 da Comissão Europeia de 17 junho 2013, Jornal Oficial da União Europeia 103 de um valor mínimo para cada uma das células, e quando esse valor não seja cumprido, não é publicada qualquer tipo de informação nessa célula. Embora haja uma diminuição do detalhe da informação este método pode não assegurar a total confidencialidade dos dados, sendo por isso sugerido que ele seja usado em conjunto com outros métodos de proteção da confidencialidade dos dados, tais como por exemplo a amostragem. Este método pode ser alcançado através da simples junção de linhas e /ou colunas de uma tabela que contenham células sensíveis (Matias, 2011). 10.1.5. Reamostragem: Este método foi proposto inicialmente para ser aplicado em macrodados, mas também pode ser aplicado em microdados (Hundepool et al., 2010). Ela consiste em substituir os valores sensíveis (das variáveis continuas), pelo valor da média que foi determinada a partir de uma amostra da população. Assumindo que ser quer substituir os valores da variável , que tem dimensão , o primeiro passo consiste em retirar amostras aleatórias de dimensão , . Depois todas as amostras são ordenadas de forma independente seguindo o mesmo critério de ordenação (por exemplo, ordenar do valor mais baixo para o valor mais elevado). Depois de ordenadas as amostras calcula-se a média aritmética para cada uma das linhas. Depois de calculada a média os seus valores são reordenados de acordo com os valores originais. Sendo publicados os valores da médias em substituição dos valores originais. 10.1.6. PRAM (Post Randomization Method): Esta é uma técnica que é aplicada em ficheiros de microdados quando existem dados categóricos e consiste em classificar de forma errada algumas das variaveis categóricas, usando probabilidades de má classificação, e divulgar parte dos dados mal classificados juntamente com essas probabilidades (Hout , Elamir, 2006). 104 Admitindo que o conjunto de dados contém a variável , que tem categorias. A variável mal classificada é representada por , , e quando os dados são divulgados é esta a variável que é tornada pública, tal como as probabilidades condicionais dadas por para De acordo com (Hout, Elamir, 2006)isto introduz incerteza a quem analisa os dados, porque não tem a certeza absoluta se os dados que está a analisar são os originais ou os alterados. 10.1.7. Microagregação A microagregação é, uma técnica perturbativa, aplicável a microdados numéricos que garante o k-anonimato e que consiste em criar clusters o mais homogéneos possíveis de tamanho igual ou superior a k (parâmetro de segurança, que é definido pelos utilizadores), para assim evitar a perda de informação (Oganian, Domingo-Ferrer, 2001). A microagregação pode ser vista como um problema de clusterização, com limitações ao nível do tamanho dos clusters (Solanas, 2008). Ao conjunto de subconjuntos criados chama-se de k-partição (Solanas, Martinez;2006) Dependendo da dimensão do conjunto de dados podemos ter microagregação univariada ou microagregação multivariada. No primeiro caso a microagregação é aplicada a cada variável de uma forma independente, enquanto no segundo caso a microagregação é aplicada a conjuntos de variáveis (podendo no limite ser aplicada a todas as variáveis em conjunto). Embora seja possível alcançar com relativa facilidade uma solução ótima em termos de microagregação univariada o mesmo não se verifica na multivariada, sendo considerado um problema de difícil resolução o processo de encontrar uma microagregação multivariada ótima (Chettri et al., 2012). O parâmetro de segurança k, que é definido pelos utilizadores é também um grau de perturbação, na medida em que valores elevados de k embora permitam assegurar maior privacidade dos dados a utilidade que se retira dos mesmos é bastante reduzida.(Chettri et al., 2012) (Solanas, Martinez;2005). A microagregação funciona com base em dois passos, assim, numa primeira fase o conjunto de dados original é dividido em subconjuntos o mais homogéneos possível, com pelo menos k elementos (obtém-se assim a k-partição), é o chamado passo da 105 partição. Numa segunda fase, no passo da agregação, começa-se por calcular os centróides dos vários subconjuntos criados no passo anterior, e depois cada elemento é substituído pelo centroide do grupo a que pertence (Chettri et al., 2012). Encontrar a microagregação ótima é um processo mais fácil na univariada do que na multivariada, pelo que têm vindo a ser propostas heurísticas que pretendem ajudar a resolver esta questão, são heurísticas cujo objetivo principal é encontrar um valor de kpartições, com valores baixos de SSE, num período de tempo razoável e com um reduzido custo computacional. As heurísticas de microagregação multivariada podem ser de tamanho fixo ou de tamanho variável ((Chettri et al., 2012); (Solanas, Martinez, 2005)), no primeiro caso, todos os subconjuntos têm dimensão k, exceto talvez um grupo no caso do conjunto original não ser um múltiplo de k, e é um processo com menor custo computacional que o segundo. No caso das heurísticas de tamanho variável os subconjuntos terão uma dimensão que estará compreendida entre e . Embora as heurísticas de tamanho variável sejam mais lentas e tenham um maior custo em termos computacionais que as heurísticas de tamanho fixo, conseguem encontrar melhores resultados em termos de homogeneidade (estas limitações assumem particular relevância quando estamos na presença de um conjunto de dados grande) (Solanas, Martinez, 2005). 10.1.8. MASSC: O nome deste método resulta do acrónimo dos quatro elementos que estão na sua base, nomeadamente, a Micro Aglomeração (MA) dos registos para a definição de estratos de risco, a Substituição (S) de um subconjunto aleatório de dados usando a estrutura de uma amostra ótima, a Subamostragem (S) usando a estrutura de uma amostra ótima, de um subconjunto de dados aleatórios que já tenham sido tratados pelo método da substituição, e a Calibração (C) dos pesos amostrais da base de dados tratados (Singh, Yu et al. 2003). 106 10.2. Métodos de probabilidade Condicional do Synthpop Método Dados Como são gerados os dados Normrank Regressão Linear normal que preserva distribuições Marginais Numéricos Os dados são gerados usando uma regressão linear e preservando as distribuições marginais das variáveis. Os valores sintéticos são associados aos valores originais, tendo como ponto de partida a ordem dos valores sintetizados. Primeiro gera os valores sintéticos dos desvios normais das ordens dos valores num vetor de valores originais, utilizando a propagação em torno da linha de regressão linear do normal desvio das ordens, dada a matriz das covariâncias originais. De seguida os desvios normais das ordens são transformados para se obterem as ordens dos dados sintéticos, que sao usados para se associar aos valores do vector de dados originais. Para que a sintetização dos dados seja feita de uma forma o mais correcta possivel, os coeficientes da regressao são desenhados a partir da distribuição normal, com média e variância do modelo ajustado Logreg Regressão logística Binários Os dados são gerados com recurso a um modelo de regressão logística sendo necessário distinguir o método não Bayesiano do método Bayesiano. Método não Bayesiano: começa por ajustar uma regressão logística aos dados originais, depois calcula a regressão logística inversa das covariâncias sintetizada e por fim compara a regressão logística inversa a um desvio aleatório (0,1) e obtém os dados sintéticos. O método bayesiano diferencia-se do não bayesiano devido a uma etapa adicional, que se realiza depois de se ajustar a regressão logística aos dados originais e que consiste em desenhar coeficientes a partir de uma distribuição normal com a média e a variância obtidas no ponto anterior. PMM Predição da correspondência média Numéricos Os dados são gerados com recurso a uma previsão de correspondência média. Polr Regressão logística politómica ordenada Fatores ordenados , mais de 2 tipos Gera os dados recorrendo a uma regressão politómica ordenada. Outros Passive Função de outros dados sintetizados Todos Deriva uma nova variável de acordo com uma função específica dos dados sintetizados. Sample Amostra aleatória dos dados observados Todos É construída uma amostra com reposição a partir dos dados originais, e o resultado obtido é apresentado como sendo os dados sintéticos. 107 10.3. Parte Prática 10.3.1. Análise Dados Iniciais São agora apresentados alguns valores importantes em termos estatísticos para cada uma das variáveis que constam do ficheiro de microdados original que serviu de base na parte prática deste trabalho. 10.3.1.1. Cidade Distrito Cidade Obs. Cidade %Cidade %Cidade Ac. Porto Porto 10 315 22,95% 22,95% Porto Vila Nova de Gaia 6 176 13,74% 36,69% Porto Matosinhos 4 611 10,26% 46,95% Porto Maia 3 864 8,60% 55,55% Porto Gondomar 2 919 6,49% 62,04% Porto Valongo 1 825 4,06% 66,10% Porto Vila do Conde 1 799 4,00% 70,10% Porto Paredes 1 689 3,76% 73,86% Porto Póvoa de Varzim 1 647 3,66% 77,52% Porto Santo Tirso 1 493 3,32% 80,85% Porto Felgueiras 1 468 3,27% 84,11% Porto Penafiel 1 310 2,91% 87,03% Porto Paços de Ferreira 1 256 2,79% 89,82% Porto Amarante 1 188 2,64% 92,46% Porto Trofa 1 156 2,57% 95,04% Porto Marco de Canaveses 1 014 2,26% 97,29% Porto Lousada 952 2,12% 99,41% Porto Baião 265 0,59% 100,00% 44 947 100,00% Tabela 34 - Parte Prática ( Dados Originais - Distrito Porto) Distrito Cidade Obs. Cidade %Cidade %Cidade Ac. Braga Braga 4 667 23,61% 23,61% Braga Guimarães 4 073 20,61% 44,22% Braga Vila Nova de Famalicão 3 160 15,99% 60,21% Braga Barcelos 2 947 14,91% 75,12% Braga Fafe 1 163 5,88% 81,00% Braga Vila Verde 877 4,44% 85,44% Braga Esposende 772 3,91% 89,34% Braga Vizela 493 2,49% 91,84% Braga Póvoa de Lanhoso 470 2,38% 94,22% 108 Distrito Cidade Obs. Cidade %Cidade %Cidade Ac. Braga Amares 354 1,79% 96,01% Braga Cabeceiras de Basto 287 1,45% 97,46% Braga Celorico de Basto 262 1,33% 98,79% Braga Vieira do Minho 157 0,79% 99,58% Braga Terras de Bouro 83 0,42% 100,00% 19 765 100,00% Tabela 35- Parte Prática ( Dados Originais - Distrito Braga) 10.3.1.2. Total Ativo 2010 TA2010 Totais Braga Porto Soma 101 629 632 19 511 837 82 117 795 Minimo 0 0 0 Máximo 4 553 846 724 270 4 553 846 Média 1 570 897 1 827 Moda 16 36 16 Mediana 140 147 137 Variância 1 026 365 116 63 073 513 1 449 758 512 Tabela 36 - Parte Prática ( Dados Originais – TA2010) 10.3.1.3. Resultado Liquido 2010 RL2010 Totais Braga Porto Soma 2 589 809 453 954 2 135 855 Minimo -351 790 -10 034 -351 790 Máximo 450 539 146 990 450 539 Média 40 23 48 Moda 1 1 1 Mediana 2 2 2 Variância 8 837 771 1 233 759 12 181 478 Tabela 37 - Parte Prática ( Dados Originais – RL2010) 109 10.3.1.4. Património Liquido 2010 PL2010 Totais Braga Porto Soma 37 434 504 6 087 617 31 346 887 Minimo -1 157 678 -22 056 -1 157 678 Máximo 3 533 576 217 097 3 533 576 Média 578 308 697 Moda 6 6 5 Mediana 31 32 31 Variância 397 521 064 8 940 813 568 353 080 Tabela 38 - Parte Prática ( Dados Originais – PL2010) 10.3.1.5. Combinações de variáveis No seguinte quadro são reproduzidas todas as combinações de variáveis que existem no ficheiro de microdados original, sendo ainda indicado o número de observações para cada uma dessas combinações. 110 Cidade Legal Form RL2010 TA2010 PL2010 NE2010 O Cidade Legal Form RL2010 TA2010 PL2010 NE2010 O Matosinhos Sociedade Anónima RL_D TA_D PL_D Grande 5 Amarante Companhia Limitada RL_A TA_B PL_B Pequena 20 Vila Nova de Famalicão Sociedade Anónima RL_D TA_D PL_D Grande 7 Esposende Companhia Limitada RL_B TA_D PL_D Pequena 3 Porto Sociedade Anónima RL_D TA_D PL_D Grande 7 Trofa Sociedade Anónima RL_A TA_B PL_A Pequena 2 Maia Sociedade Anónima RL_D TA_D PL_D Média 15 Santo Tirso Sociedade Anónima RL_A TA_C PL_A Média 1 Braga Sociedade Anónima RL_D TA_D PL_D Grande 2 Braga Sector empresarial Local RL_A TA_D PL_D Pequena 1 Matosinhos Sociedade Anónima RL_D TA_D PL_D Média 11 Valongo Companhia Limitada RL_B TA_C PL_C Média 1 Porto Sector Empresarial do Estado RL_B TA_D PL_D Grande 1 Póvoa de Lanhoso Companhia Limitada RL_B TA_B PL_B Pequena 29 Vila Nova de Gaia Sociedade Anónima RL_D TA_D PL_D Grande 7 Paredes Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 5 Gondomar Cooperativa RL_D TA_D PL_D Média 1 Braga Sociedade Anónima RL_B TA_C PL_C Média 2 Gondomar Sociedade Anónima RL_D TA_D PL_D Pequena 2 Vila Nova de Gaia Companhia Limitada RL_B TA_B PL_B Média 5 Porto Sociedade Anónima RL_C TA_D PL_D Grande 2 Amarante Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 15 Maia Sociedade Anónima RL_D TA_D PL_D Grande 8 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_B TA_D PL_B Pequena 2 Porto Companhia Limitada RL_D TA_D PL_D Pequena 8 Maia Companhia Limitada (proprietário único) RL_A TA_D PL_D Média 1 Valongo Sociedade Anónima RL_D TA_D PL_D Grande 1 Valongo Companhia Limitada RL_B TA_B PL_D Pequena 3 Porto Sociedade Anónima RL_B TA_B PL_B Pequena 100 Trofa Companhia Limitada RL_B TA_B PL_D Média 1 Porto Sector Empresarial do Estado RL_A TA_D PL_D Grande 1 Esposende Companhia Limitada (proprietário único) RL_B TA_B PL_B Média 1 Porto Sociedade Anónima RL_A TA_D PL_D Grande 3 Vizela Companhia Limitada RL_B TA_B PL_B Média 2 Santo Tirso Companhia Limitada RL_A TA_D PL_D Média 2 Vila Nova de Gaia Companhia Limitada RL_B TA_B PL_D Pequena 11 Póvoa de Varzim Cooperativa RL_B TA_D PL_D Grande 1 Porto Companhia Limitada (proprietário único) RL_B TA_C PL_A Pequena 1 Porto Cooperativa RL_B TA_D PL_D Média 1 Vila Nova de Famalicão Sociedade Anónima RL_A TA_C PL_B Média 1 Matosinhos Companhia Limitada RL_A TA_D PL_D Média 2 Lousada Sociedade Anónima RL_A TA_C PL_B Média 1 111 Maia Sociedade Anónima RL_D TA_D PL_D Pequena 14 Trofa Sociedade Anónima RL_B TA_A PL_B Pequena 11 Maia Sociedade Anónima RL_B TA_D PL_D Grande 2 Porto Sociedade Anónima RL_A TA_B PL_D Pequena 7 Porto Companhia Limitada RL_B TA_D PL_D Pequena 39 Barcelos Conta Própria RL_B TA_C PL_D Pequena 1 Vila Nova de Gaia Sector Empresarial do Estado RL_B TA_D PL_D Grande 1 Matosinhos Sociedade Anónima RL_A TA_C PL_B Pequena 9 Paços de Ferreira Companhia Limitada RL_A TA_D PL_D Grande 1 Matosinhos Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 1 Porto Companhia Limitada RL_C TA_B PL_C Pequena 2 Esposende Sociedade Anónima RL_A TA_A PL_B Pequena 3 Vila Nova de Gaia Sociedade Anónima RL_B TA_D PL_D Grande 4 Maia Companhia Limitada RL_B TA_D PL_C Pequena 3 Porto Sociedade Anónima RL_D TA_D PL_D Média 18 Baião Companhia Limitada RL_D TA_D PL_D Pequena 1 Trofa Sociedade Anónima RL_D TA_D PL_D Média 3 Esposende Sociedade Anónima RL_A TA_B PL_B Média 1 Trofa Companhia Limitada RL_D TA_D PL_D Grande 1 Esposende Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 1 Maia Companhia Limitada (proprietário único) RL_A TA_D PL_D Pequena 1 Maia Companhia Limitada RL_A TA_C PL_C Pequena 1 Santo Tirso Sociedade Anónima RL_D TA_D PL_D Média 7 Fafe Companhia Limitada RL_A TA_B PL_A Pequena 6 Braga Sociedade Anónima RL_C TA_D PL_D Grande 1 Marco de Canaveses Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 147 Maia Sociedade Anónima RL_C TA_D PL_D Média 5 Vila Verde Companhia Limitada RL_B TA_D PL_B Pequena 2 Esposende Sociedade Anónima RL_D TA_D PL_D Média 1 Barcelos Sociedade Anónima RL_B TA_C PL_C Média 2 Trofa Sociedade Anónima RL_A TA_D PL_D Média 4 Amares Companhia Limitada RL_B TA_C PL_D Pequena 4 Porto Sector Empresarial do Estado RL_D TA_D PL_D Grande 1 Vila Nova de Famalicão Companhia Limitada RL_A TA_B PL_A Pequena 34 Vila Nova de Gaia Sociedade Anónima RL_D TA_D PL_D Pequena 17 Porto Companhia Limitada RL_A TA_D PL_A Pequena 6 Porto Companhia Limitada RL_D TA_D PL_D Média 4 Amares Companhia Limitada RL_B TA_B PL_B Pequena 30 Porto Companhia Limitada RL_A TA_A PL_B Pequena 1264 Paredes Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 17 Vila Nova de Gaia Companhia Limitada RL_D TA_D PL_D Média 5 Vila do Conde Companhia Limitada RL_B TA_A PL_A Pequena 48 Porto Sociedade Anónima RL_A TA_D PL_D Média 16 Amares Companhia Limitada RL_B TA_C PL_C Média 1 Porto Companhia Limitada RL_D TA_D PL_D Grande 1 Valongo Sociedade Anónima RL_A TA_B PL_A Pequena 3 112 Maia Sociedade Anónima RL_A TA_D PL_D Média 7 Santo Tirso Companhia Limitada RL_B TA_A PL_B Pequena 459 Vila Nova de Gaia Sociedade Anónima RL_D TA_D PL_D Média 10 Maia Sector empresarial Local RL_A TA_D PL_D Pequena 1 Porto Sociedade Anónima RL_B TA_D PL_B Pequena 7 Maia Companhia Limitada RL_B TA_B PL_B Grande 1 Porto Sociedade Anónima RL_D TA_D PL_D Pequena 43 Porto Entidade Estrangeira RL_B TA_B PL_C Pequena 1 Barcelos Companhia Limitada RL_D TA_D PL_D Grande 1 Amarante Companhia Limitada RL_A TA_A PL_A Pequena 87 Porto Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 59 Paredes Companhia Limitada RL_A TA_C PL_A Pequena 2 Porto Sociedade Anónima RL_B TA_D PL_D Pequena 91 Barcelos Companhia Limitada (proprietário único) RL_B TA_C PL_C Média 1 Vila Nova de Gaia Companhia Limitada RL_B TA_D PL_D Pequena 28 Maia Sociedade Anónima RL_B TA_B PL_A Pequena 3 Maia Sociedade Anónima RL_C TA_D PL_D Grande 1 Valongo Companhia Limitada (proprietário único) RL_B TA_C PL_B Pequena 1 Gondomar Sociedade Anónima RL_D TA_D PL_D Média 2 Amarante Companhia Limitada RL_B TA_B PL_B Média 5 Barcelos Cooperativa RL_B TA_D PL_D Média 1 Guimarães Companhia Limitada RL_A TA_B PL_B Média 1 Vila Nova de Famalicão Sociedade Anónima RL_D TA_D PL_D Média 7 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 11 Matosinhos Sociedade Anónima RL_A TA_D PL_D Grande 4 Penafiel Sector empresarial Local RL_B TA_B PL_B Média 1 Porto Sociedade Anónima RL_C TA_C PL_D Pequena 5 Paços de Ferreira Companhia Limitada (proprietário único) RL_A TA_C PL_B Pequena 2 Vila Nova de Gaia Sociedade Anónima RL_C TA_D PL_D Grande 1 Maia Companhia Limitada RL_C TA_B PL_C Pequena 1 Porto Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 18 Porto Companhia Limitada RL_A TA_C PL_D Pequena 10 Penafiel Sector Empresarial do Estado RL_D TA_D PL_D Grande 1 Póvoa de Varzim Companhia Limitada RL_B TA_C PL_B Pequena 5 Braga Sociedade Anónima RL_B TA_D PL_D Média 24 Póvoa de Varzim Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 191 Matosinhos Sociedade Anónima RL_A TA_D PL_B Média 3 Vila Verde Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 112 Vila do Conde Cooperativa RL_C TA_D PL_D Média 1 Santo Tirso Companhia Limitada RL_B TA_B PL_D Média 1 Guimarães Sociedade Anónima RL_D TA_D PL_D Grande 2 Penafiel Companhia Limitada (proprietário único) RL_B TA_B PL_B Média 2 119 Famalicão Fafe Companhia Limitada RL_B TA_D PL_D Pequena 5 Vila Nova de Gaia Sociedade Anónima RL_B TA_B PL_B Média 1 Matosinhos Sociedade Anónima RL_C TA_D PL_D Média 7 Paredes Companhia Limitada RL_A TA_D PL_C Pequena 1 Trofa Sociedade Anónima RL_C TA_D PL_D Média 1 Barcelos Companhia Limitada RL_B TA_B PL_A Pequena 6 Porto Entidade Estrangeira RL_D TA_D PL_D Média 1 Braga Companhia Limitada (proprietário único) RL_A TA_B PL_A Média 2 Esposende Sociedade Anónima RL_C TA_D PL_D Pequena 2 Braga Sociedade Anónima RL_A TA_D PL_C Pequena 5 Amares Sociedade Anónima RL_D TA_D PL_D Média 1 Fafe Sociedade Anónima RL_A TA_C PL_B Pequena 1 Porto Companhia Limitada (proprietário único) RL_A TA_D PL_D Pequena 4 Gondomar Companhia Limitada RL_A TA_B PL_B Média 1 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_C TA_D PL_D Grande 1 Porto Sociedade Anónima RL_A TA_D PL_B Grande 1 Esposende Sociedade Anónima RL_C TA_D PL_D Grande 1 Lousada Sociedade Anónima RL_A TA_A PL_A Média 1 Trofa Companhia Limitada RL_B TA_D PL_D Pequena 10 Vila do Conde Companhia Limitada RL_A TA_A PL_B Pequena 185 Vizela Companhia Limitada (proprietário único) RL_B TA_C PL_A Média 1 Penafiel Companhia Limitada RL_A TA_D PL_B Média 1 Vila Verde Sociedade Anónima RL_C TA_D PL_D Média 1 Porto Companhia Limitada RL_B TA_B PL_D Média 2 Amares Companhia Limitada RL_B TA_B PL_C Pequena 6 Vizela Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 120 Vila do Conde Companhia Limitada RL_B TA_D PL_D Pequena 10 Vila Nova de Gaia Sociedade Anónima RL_B TA_B PL_A Média 1 Braga Companhia Limitada RL_B TA_B PL_C Média 2 Trofa Sociedade Anónima RL_A TA_B PL_B Pequena 6 Vila Nova de Famalicão Sociedade Anónima RL_B TA_D PL_B Pequena 1 Santo Tirso Companhia Limitada RL_A TA_A PL_A Pequena 138 Penafiel Companhia Limitada RL_B TA_C PL_D Pequena 10 Trofa Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 144 Barcelos Companhia Limitada RL_B TA_D PL_D Pequena 12 Matosinhos Companhia Limitada RL_A TA_A PL_A Pequena 468 Penafiel Sociedade Anónima RL_A TA_D PL_D Média 2 Paredes Companhia Limitada RL_A TA_D PL_A Pequena 1 Braga Sociedade Anónima RL_B TA_D PL_D Grande 1 Braga Sociedade Anónima RL_B TA_C PL_C Pequena 7 Vila do Conde Companhia Limitada RL_A TA_C PL_D Média 1 Paredes Companhia Limitada RL_B TA_B PL_D Pequena 4 Porto Sector empresarial RL_B TA_D PL_C Média 1 Celorico de Companhia Limitada RL_A TA_C PL_A Média 1 120 Local Basto Paredes Sociedade Anónima RL_B TA_D PL_D Pequena 12 Vieira do Minho Sector empresarial Local RL_A TA_C PL_D Média 1 Vila do Conde Sociedade Anónima RL_A TA_D PL_D Média 6 Guimarães Sociedade Anónima RL_A TA_C PL_B Média 1 Guimarães Companhia Limitada RL_D TA_D PL_D Média 2 Porto Sociedade Anónima RL_A TA_A PL_A Pequena 25 Porto Companhia Limitada RL_C TA_D PL_D Média 1 Póvoa de Varzim Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 64 Vila Nova de Gaia Companhia Limitada RL_A TA_D PL_A Média 2 Gondomar Sociedade Anónima RL_A TA_C PL_C Pequena 1 Vila do Conde Sociedade Anónima RL_B TA_D PL_D Média 6 Maia Sociedade Anónima RL_A TA_C PL_C Pequena 2 Guimarães Sociedade Anónima RL_B TA_C PL_C Pequena 4 Santo Tirso Companhia Limitada RL_A TA_C PL_B Média 1 Felgueiras Companhia Limitada RL_B TA_C PL_B Média 2 Esposende Companhia Limitada RL_B TA_B PL_C Pequena 8 Vila do Conde Sociedade Anónima RL_B TA_D PL_D Pequena 9 Póvoa de Varzim Companhia Limitada RL_B TA_C PL_D Pequena 5 Vila Nova de Famalicão Sociedade Anónima RL_A TA_D PL_D Média 7 Vila do Conde Companhia Limitada (proprietário único) RL_C TA_D PL_D Pequena 1 Trofa Companhia Limitada RL_C TA_D PL_D Pequena 1 Maia Sociedade Anónima RL_C TA_B PL_B Pequena 1 Guimarães Companhia Limitada RL_B TA_C PL_C Pequena 35 Trofa Companhia Limitada RL_B TA_A PL_B Média 2 Paços de Ferreira Sociedade Anónima RL_B TA_C PL_C Pequena 2 Vila Nova de Gaia Companhia Limitada RL_A TA_C PL_A Média 1 Vila do Conde Sociedade Anónima RL_D TA_D PL_D Média 1 Guimarães Companhia Limitada RL_A TA_D PL_D Pequena 3 Vizela Companhia Limitada RL_B TA_D PL_D Média 3 Celorico de Basto Companhia Limitada RL_B TA_A PL_B Pequena 92 Guimarães Sociedade Anónima RL_A TA_D PL_A Média 1 Santo Tirso Companhia Limitada RL_B TA_C PL_B Média 1 Barcelos Sector Empresarial do Estado RL_A TA_D PL_A Grande 1 Santo Tirso Companhia Limitada RL_A TA_B PL_C Pequena 4 Barcelos Sociedade Anónima RL_B TA_D PL_B Média 1 Vila Nova de Famalicão Companhia Limitada RL_A TA_B PL_B Pequena 64 Valongo Sociedade Anónima RL_B TA_D PL_D Pequena 10 Gondomar Companhia Limitada RL_C TA_D PL_D Pequena 2 Vila Nova de Gaia Sociedade Anónima RL_B TA_C PL_B Pequena 8 Vila Nova de Sociedade Anónima RL_B TA_A PL_B Pequena 9 121 Famalicão Paços de Ferreira Companhia Limitada RL_B TA_D PL_D Média 2 Maia Sociedade Anónima RL_B TA_B PL_A Média 1 Porto Sociedade Anónima RL_B TA_D PL_C Pequena 10 Maia Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 439 Vila Nova de Gaia Sociedade Anónima RL_B TA_D PL_D Pequena 22 Maia Sociedade Anónima RL_A TA_C PL_A Média 1 Braga Companhia Limitada RL_B TA_D PL_D Média 9 Matosinhos Companhia Limitada RL_B TA_A PL_B Média 2 Vila Nova de Gaia Sociedade Anónima RL_B TA_D PL_C Pequena 3 Celorico de Basto Companhia Limitada RL_B TA_D PL_D Pequena 1 Paredes Companhia Limitada RL_B TA_C PL_C Pequena 16 Vila do Conde Companhia Limitada RL_A TA_D PL_D Pequena 2 Matosinhos Sociedade Anónima RL_B TA_D PL_C Média 2 Marco de Canaveses Companhia Limitada RL_B TA_A PL_A Pequena 23 Fafe Sociedade Anónima RL_A TA_D PL_A Média 1 Porto Companhia Limitada RL_B TA_A PL_B Média 3 Paredes Sociedade Anónima RL_B TA_D PL_D Média 11 Maia Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 133 Felgueiras Companhia Limitada RL_B TA_C PL_C Média 9 Maia Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 157 Braga Companhia Limitada RL_B TA_D PL_C Média 5 Lousada Sociedade Anónima RL_A TA_D PL_B Pequena 1 Felgueiras Companhia Limitada RL_C TA_D PL_D Média 3 Santo Tirso Companhia Limitada RL_A TA_C PL_A Média 1 Guimarães Sociedade Anónima RL_C TA_D PL_D Média 7 Porto Sociedade Anónima RL_B TA_B PL_C Média 2 Porto Companhia Limitada RL_B TA_D PL_B Pequena 10 Maia Companhia Limitada RL_A TA_B PL_C Média 1 Paços de Ferreira Companhia Limitada RL_B TA_C PL_C Pequena 7 Maia Entidade Estrangeira RL_B TA_B PL_B Pequena 2 Santo Tirso Sociedade Anónima RL_B TA_D PL_D Média 4 Vieira do Minho Companhia Limitada RL_B TA_C PL_B Pequena 2 Porto Entidade Estrangeira RL_C TA_D PL_C Pequena 1 Guimarães Companhia Limitada (proprietário único) RL_B TA_B PL_A Pequena 1 Vila Nova de Gaia Sociedade Anónima RL_C TA_D PL_D Pequena 5 Esposende Sociedade Anónima RL_B TA_B PL_B Pequena 6 Paredes Sociedade Anónima RL_A TA_D PL_D Média 4 Maia Companhia Limitada (proprietário único) RL_A TA_C PL_A Pequena 1 Matosinhos Sociedade Anónima RL_A TA_D PL_B Pequena 1 Amares Companhia Limitada RL_B TA_B PL_A Pequena 2 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_D TA_D PL_D Pequena 1 Paredes Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 1 122 Guimarães Companhia Limitada RL_C TA_D PL_D Média 5 Vila Nova de Gaia Sociedade Anónima RL_A TA_C PL_D Pequena 2 Marco de Canaveses Sociedade Anónima RL_B TA_D PL_D Média 4 Valongo Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 1 Porto Sociedade Anónima RL_B TA_C PL_D Pequena 27 Vizela Companhia Limitada RL_B TA_C PL_D Pequena 1 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_A TA_D PL_D Média 1 Santo Tirso Companhia Limitada RL_A TA_B PL_B Pequena 23 Barcelos Companhia Limitada RL_B TA_D PL_C Pequena 3 Porto Companhia Limitada RL_A TA_C PL_C Pequena 8 Matosinhos Companhia Limitada RL_B TA_C PL_B Pequena 22 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 6 Santo Tirso Cooperativa RL_B TA_D PL_D Pequena 1 Paços de Ferreira Companhia Limitada RL_A TA_C PL_A Pequena 1 Maia Companhia Limitada RL_C TA_D PL_D Média 4 Paredes Sociedade Anónima RL_B TA_C PL_B Pequena 1 Trofa Companhia Limitada RL_B TA_D PL_D Média 5 Póvoa de Varzim Sociedade Anónima RL_A TA_D PL_B Média 1 Vila Nova de Famalicão Companhia Limitada RL_C TA_D PL_D Média 3 Vila Nova de Gaia Entidade Estrangeira RL_B TA_B PL_B Pequena 3 Barcelos Sociedade Anónima RL_B TA_D PL_D Grande 1 Fafe Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 9 Santo Tirso Companhia Limitada RL_A TA_D PL_A Pequena 2 Póvoa de Lanhoso Sociedade Anónima RL_B TA_B PL_C Pequena 3 Matosinhos Sociedade Anónima RL_B TA_D PL_D Pequena 24 Barcelos Sociedade Anónima RL_A TA_A PL_A Pequena 2 Penafiel Companhia Limitada RL_B TA_B PL_C Pequena 18 Felgueiras Companhia Limitada RL_A TA_C PL_B Pequena 3 Póvoa de Lanhoso Sociedade Anónima RL_B TA_C PL_D Média 1 Vila Verde Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 10 Santo Tirso Companhia Limitada RL_C TA_D PL_D Média 1 Póvoa de Varzim Companhia Limitada RL_A TA_C PL_D Pequena 3 Santo Tirso Companhia Limitada RL_A TA_D PL_B Média 1 Fafe Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 3 Barcelos Companhia Limitada RL_B TA_D PL_D Média 8 Felgueiras Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 2 Matosinhos Companhia Limitada RL_B TA_B PL_C Pequena 74 Paços de Ferreira Companhia Limitada RL_B TA_A PL_B Pequena 422 Maia Sociedade Anónima RL_A TA_D PL_A Média 1 Santo Tirso Companhia Limitada (proprietário único) RL_A TA_A PL_A Média 2 Guimarães Sociedade Anónima RL_A TA_D PL_D Grande 2 Trofa Companhia Limitada RL_A TA_B PL_B Pequena 21 123 Barcelos Companhia Limitada RL_B TA_C PL_D Pequena 16 Esposende Companhia Limitada RL_B TA_A PL_B Pequena 261 Matosinhos Sociedade Anónima RL_A TA_D PL_D Pequena 15 Braga Sociedade Anónima RL_B TA_B PL_B Pequena 21 Porto Companhia Limitada (proprietário único) RL_D TA_D PL_D Média 1 Matosinhos Companhia Limitada RL_B TA_A PL_A Pequena 130 Fafe Companhia Limitada RL_B TA_C PL_D Média 1 Paços de Ferreira Companhia Limitada RL_A TA_D PL_B Pequena 1 Santo Tirso Sociedade Anónima RL_A TA_D PL_D Grande 2 Matosinhos Sociedade Anónima RL_A TA_C PL_C Pequena 2 Vila Nova de Gaia Companhia Limitada RL_A TA_D PL_A Pequena 5 Maia Sociedade Anónima RL_B TA_B PL_D Pequena 4 Santo Tirso Sociedade Anónima RL_B TA_D PL_D Pequena 9 Paços de Ferreira Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 12 Maia Sociedade Anónima RL_C TA_D PL_D Pequena 4 Cabeceiras de Basto Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 1 Vila Nova de Famalicão Sociedade Anónima RL_A TA_D PL_A Pequena 1 Penafiel Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 1 Celorico de Basto Sociedade Anónima RL_A TA_D PL_D Grande 1 Cabeceiras de Basto Companhia Limitada RL_B TA_B PL_B Média 1 Gondomar Companhia Limitada RL_B TA_B PL_B Pequena 173 Porto Companhia Limitada (proprietário único) RL_B TA_C PL_B Pequena 5 Maia Cooperativa RL_D TA_D PL_D Média 1 Vizela Companhia Limitada RL_A TA_B PL_B Média 1 Penafiel Companhia Limitada RL_C TA_D PL_D Média 1 Fafe Companhia Limitada RL_A TA_D PL_D Média 1 Valongo Sociedade Anónima RL_A TA_D PL_A Média 1 Amarante Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 2 Lousada Sociedade Anónima RL_B TA_D PL_D Grande 1 Penafiel Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 15 Braga Sociedade Anónima RL_A TA_D PL_C Média 3 Lousada Companhia Limitada RL_A TA_A PL_B Média 2 Braga Companhia Limitada RL_D TA_D PL_D Média 1 Maia Companhia Limitada RL_B TA_B PL_A Média 3 Felgueiras Companhia Limitada RL_B TA_D PL_D Média 14 Póvoa de Varzim Companhia Limitada RL_A TA_C PL_A Pequena 2 Matosinhos Companhia Limitada RL_B TA_A PL_B Pequena 1549 Fafe Sociedade Anónima RL_B TA_B PL_B Média 1 Santo Tirso Companhia Limitada RL_B TA_D PL_D Pequena 7 Valongo Sociedade Anónima RL_A TA_D PL_C Pequena 1 Paços de Ferreira Sociedade Anónima RL_B TA_C PL_B Pequena 2 Barcelos Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 5 Valongo Sociedade Anónima RL_C TA_D PL_D Pequena 3 Porto Sociedade Anónima RL_D TA_C PL_D Pequena 1 124 Barcelos Sociedade Anónima RL_C TA_D PL_D Média 5 Porto Companhia Limitada RL_A TA_C PL_A Média 2 Maia Sociedade Anónima RL_A TA_D PL_B Média 2 Barcelos Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 104 Matosinhos Companhia Limitada RL_A TA_B PL_A Pequena 22 Maia Companhia Limitada RL_B TA_A PL_B Média 4 Braga Companhia Limitada RL_A TA_C PL_A Média 2 Vila do Conde Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 64 Porto Companhia Limitada RL_B TA_C PL_D Pequena 47 Santo Tirso Companhia Limitada RL_A TA_C PL_A Pequena 1 Felgueiras Companhia Limitada (proprietário único) RL_B TA_D PL_D Pequena 1 Vila do Conde Companhia Limitada RL_A TA_A PL_A Pequena 162 Matosinhos Companhia Limitada RL_B TA_D PL_D Pequena 13 Valongo Sociedade Anónima RL_B TA_B PL_D Pequena 1 Porto Entidade Estrangeira RL_A TA_D PL_A Pequena 1 Guimarães Sociedade Anónima RL_A TA_B PL_A Pequena 4 Felgueiras Companhia Limitada RL_B TA_D PL_C Média 4 Porto Companhia Limitada RL_C TA_B PL_D Pequena 1 Matosinhos Companhia Limitada RL_B TA_B PL_B Pequena 290 Gondomar Companhia Limitada RL_B TA_B PL_D Pequena 11 Amares Companhia Limitada RL_D TA_D PL_D Média 1 Lousada Companhia Limitada RL_A TA_B PL_A Média 1 Porto Companhia Limitada RL_C TA_D PL_D Pequena 1 Vila Verde Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 1 Paços de Ferreira Companhia Limitada RL_B TA_B PL_B Pequena 139 Guimarães Companhia Limitada RL_A TA_B PL_A Pequena 38 Paços de Ferreira Companhia Limitada RL_B TA_D PL_D Grande 1 Santo Tirso Sociedade Anónima RL_B TA_B PL_C Pequena 2 Lousada Companhia Limitada RL_C TA_D PL_D Média 1 Barcelos Sociedade Anónima RL_B TA_B PL_C Média 1 Santo Tirso Companhia Limitada RL_B TA_B PL_B Pequena 122 Trofa Companhia Limitada RL_A TA_B PL_A Pequena 3 Amarante Sociedade Anónima RL_C TA_D PL_D Média 2 Barcelos Companhia Limitada RL_A TA_A PL_B Pequena 277 Vila Verde Sociedade Anónima RL_B TA_D PL_D Média 6 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 301 Guimarães Companhia Limitada RL_A TA_C PL_D Pequena 4 Amares Companhia Limitada RL_B TA_C PL_C Pequena 1 Valongo Companhia Limitada (proprietário único) RL_B TA_D PL_C Pequena 1 Gondomar Companhia Limitada RL_B TA_A PL_A Pequena 94 Barcelos Companhia Limitada RL_B TA_D PL_C Média 1 Guimarães Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 166 Braga Companhia Limitada RL_B TA_D PL_D Pequena 36 Póvoa de Varzim Sociedade Anónima RL_B TA_B PL_C Pequena 2 Penafiel Sociedade Anónima RL_D TA_D PL_D Pequena 1 Guimarães Sociedade Anónima RL_A TA_C PL_A Pequena 2 Maia Sociedade em RL_D TA_D PL_D Média 1 Vila Nova Sociedade Anónima RL_C TA_B PL_C Pequena 1 125 Comandita de Gaia Santo Tirso Companhia Limitada (proprietário único) RL_B TA_D PL_D Pequena 2 Vila do Conde Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 14 Valongo Sociedade Anónima RL_B TA_B PL_B Pequena 8 Vila Nova de Gaia Companhia Limitada RL_B TA_A PL_B Média 2 Porto Sociedade Anónima RL_B TA_A PL_A Pequena 4 Barcelos Sociedade Anónima RL_B TA_A PL_B Média 1 Felgueiras Sociedade Anónima RL_B TA_D PL_C Média 1 Valongo Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 66 Esposende Companhia Limitada RL_A TA_C PL_B Média 1 Maia Companhia Limitada (proprietário único) RL_A TA_D PL_A Pequena 2 Gondomar Companhia Limitada RL_B TA_C PL_C Pequena 7 Guimarães Companhia Limitada RL_A TA_C PL_B Pequena 3 Santo Tirso Sociedade Anónima RL_C TA_D PL_D Pequena 2 Vila Nova de Famalicão Sociedade Anónima RL_A TA_D PL_B Média 1 Penafiel Companhia Limitada RL_B TA_D PL_C Média 1 Braga Companhia Limitada RL_A TA_D PL_A Pequena 5 Vila Nova de Famalicão Sociedade Anónima RL_B TA_D PL_D Pequena 16 Valongo Companhia Limitada RL_A TA_A PL_B Pequena 199 Amares Companhia Limitada RL_B TA_B PL_C Média 1 Maia Companhia Limitada RL_B TA_D PL_B Pequena 3 Braga Sociedade Anónima RL_B TA_D PL_C Pequena 8 Trofa Companhia Limitada RL_B TA_A PL_A Pequena 23 Vila Nova de Gaia Sociedade Anónima RL_A TA_D PL_B Pequena 3 Trofa Companhia Limitada RL_B TA_B PL_D Pequena 2 Santo Tirso Companhia Limitada RL_C TA_D PL_D Pequena 1 Braga Companhia Limitada (proprietário único) RL_A TA_C PL_C Pequena 2 Guimarães Sociedade Anónima RL_A TA_D PL_C Grande 1 Barcelos Companhia Limitada RL_A TA_B PL_A Pequena 13 Braga Companhia Limitada RL_B TA_D PL_D Grande 1 Vila do Conde Companhia Limitada RL_B TA_B PL_A Pequena 5 Lousada Sociedade Anónima RL_A TA_D PL_A Média 1 Póvoa de Varzim Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 2 Paços de Ferreira Sociedade Anónima RL_B TA_D PL_D Média 4 Vila Nova de Gaia Companhia Limitada RL_A TA_D PL_D Pequena 3 Braga Companhia Limitada RL_B TA_C PL_C Média 7 Valongo Companhia Limitada (proprietário único) RL_A TA_C PL_B Pequena 1 Vila Nova de Gaia Companhia Limitada RL_B TA_B PL_B Pequena 420 Penafiel Companhia Limitada RL_A TA_B PL_B Pequena 22 Barcelos Companhia Limitada RL_B TA_C PL_B Pequena 12 Cabeceiras de Basto Companhia Limitada RL_A TA_A PL_A Pequena 25 126 Braga Sociedade Anónima RL_B TA_D PL_C Média 3 Esposende Companhia Limitada RL_A TA_B PL_B Pequena 14 Guimarães Sociedade Anónima RL_A TA_D PL_C Média 1 Gondomar Sociedade Anónima RL_B TA_C PL_B Pequena 1 Trofa Sociedade Anónima RL_A TA_D PL_B Média 1 Guimarães Sociedade Anónima RL_B TA_C PL_B Pequena 3 Guimarães Companhia Limitada RL_B TA_D PL_D Pequena 11 Vizela Companhia Limitada RL_B TA_B PL_D Pequena 1 Barcelos Sociedade Anónima RL_C TA_D PL_D Pequena 3 Paredes Sociedade Anónima RL_B TA_B PL_B Pequena 12 Paredes Companhia Limitada RL_B TA_D PL_C Pequena 3 Esposende Sociedade Anónima RL_B TA_D PL_B Pequena 1 Amares Companhia Limitada RL_A TA_D PL_D Média 1 Vila Verde Companhia Limitada RL_B TA_D PL_C Pequena 2 Vila Nova de Famalicão Companhia Limitada RL_B TA_B PL_D Pequena 6 Porto Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 414 Maia Companhia Limitada RL_B TA_C PL_D Pequena 27 Felgueiras Companhia Limitada RL_A TA_D PL_C Pequena 1 Porto Companhia Limitada (proprietário único) RL_A TA_D PL_C Média 1 Vila do Conde Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 196 Paços de Ferreira Companhia Limitada RL_B TA_C PL_D Média 3 Póvoa de Varzim Sociedade Anónima RL_B TA_B PL_B Média 1 Amares Sociedade Anónima RL_D TA_D PL_D Grande 1 Paços de Ferreira Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 54 Guimarães Companhia Limitada RL_A TA_C PL_A Média 2 Amarante Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 1 Amarante Sociedade Anónima RL_B TA_D PL_D Média 10 Penafiel Sociedade Anónima RL_A TA_A PL_A Pequena 1 Paredes Sociedade Anónima RL_C TA_D PL_D Média 2 Matosinhos Sociedade Anónima RL_A TA_B PL_B Pequena 11 Gondomar Companhia Limitada RL_A TA_C PL_A Pequena 4 Braga Companhia Limitada (proprietário único) RL_B TA_C PL_B Pequena 3 Lousada Sociedade Anónima RL_B TA_D PL_C Média 1 Barcelos Companhia Limitada RL_A TA_B PL_D Média 1 Felgueiras Companhia Limitada (proprietário único) RL_B TA_C PL_B Pequena 2 Fafe Sociedade Anónima RL_B TA_B PL_C Pequena 2 Barcelos Companhia Limitada RL_B TA_C PL_D Média 9 Matosinhos Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 3 Braga Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 45 Santo Tirso Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 1 Esposende Companhia Limitada RL_C TA_D PL_D Pequena 1 Penafiel Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 43 Vila do Conde Entidade Estrangeira RL_B TA_D PL_D Pequena 1 Celorico de Basto Companhia Limitada RL_A TA_B PL_A Pequena 1 Matosinhos Companhia Limitada RL_B TA_D PL_B Média 1 Porto Entidade Estrangeira RL_B TA_A PL_B Pequena 5 127 Penafiel Sociedade Anónima RL_B TA_D PL_D Pequena 5 Matosinhos Companhia Limitada RL_A TA_B PL_B Média 1 Valongo Sociedade Anónima RL_B TA_D PL_D Média 7 Barcelos Companhia Limitada (proprietário único) RL_B TA_C PL_D Pequena 1 Matosinhos Companhia Limitada RL_C TA_D PL_D Pequena 5 Valongo Companhia Limitada RL_A TA_B PL_B Pequena 30 Santo Tirso Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 16 Braga Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 165 Porto Sociedade Anónima RL_B TA_C PL_B Pequena 13 Gondomar Sociedade Anónima RL_B TA_B PL_C Média 1 Penafiel Companhia Limitada RL_B TA_D PL_D Média 3 Braga Sociedade Anónima RL_A TA_C PL_B Pequena 6 Póvoa de Lanhoso Sociedade Anónima RL_D TA_D PL_D Pequena 2 Santo Tirso Companhia Limitada RL_B TA_A PL_A Média 1 Barcelos Sociedade Anónima RL_B TA_D PL_D Pequena 11 Vizela Companhia Limitada RL_A TA_B PL_A Média 1 Guimarães Companhia Limitada RL_B TA_D PL_B Grande 1 Póvoa de Varzim Companhia Limitada RL_A TA_B PL_B Média 3 Vila Nova de Gaia Companhia Limitada RL_B TA_C PL_C Pequena 27 Lousada Sociedade Anónima RL_D TA_D PL_D Pequena 1 Santo Tirso Companhia Limitada RL_B TA_C PL_C Pequena 9 Vila Nova de Gaia Sociedade Anónima RL_A TA_D PL_C Pequena 2 Braga Companhia Limitada RL_B TA_C PL_D Pequena 33 Guimarães Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 9 Vila Nova de Famalicão Companhia Limitada RL_D TA_D PL_D Média 1 Vila Nova de Gaia Sociedade Anónima RL_A TA_A PL_B Pequena 12 Maia Sociedade Anónima RL_C TA_B PL_D Pequena 1 Amarante Companhia Limitada RL_A TA_B PL_A Pequena 2 Amarante Companhia Limitada RL_B TA_D PL_D Pequena 4 Vila Verde Sociedade Anónima RL_B TA_C PL_D Pequena 2 Gondomar Sociedade Anónima RL_B TA_D PL_D Pequena 11 Vila Nova de Gaia Sociedade Anónima RL_A TA_C PL_B Pequena 3 Marco de Canaveses Companhia Limitada RL_B TA_D PL_C Média 2 Trofa Companhia Limitada RL_A TA_C PL_C Pequena 2 Guimarães Companhia Limitada RL_B TA_B PL_B Pequena 320 Celorico de Basto Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 47 Porto Sociedade Anónima RL_C TA_D PL_D Pequena 19 Matosinhos Sociedade Anónima RL_A TA_A PL_B Pequena 18 Vila do Conde Companhia Limitada RL_B TA_B PL_C Pequena 36 Barcelos Companhia Limitada RL_B TA_A PL_A Pequena 85 Vila Nova de Gaia Companhia Limitada RL_A TA_B PL_B Pequena 80 Baião Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 1 Vila Nova Companhia Limitada RL_D TA_D PL_D Média 1 Porto Entidade Estrangeira RL_B TA_C PL_A Pequena 1 128 de Gaia (proprietário único) Matosinhos Sociedade Anónima RL_B TA_C PL_C Pequena 8 Póvoa de Varzim Sector empresarial Local RL_A TA_A PL_B Pequena 1 Felgueiras Sociedade Anónima RL_A TA_D PL_D Média 1 Santo Tirso Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 65 Penafiel Sociedade Anónima RL_B TA_D PL_D Média 9 Guimarães Sector empresarial Local RL_A TA_A PL_B Pequena 1 Felgueiras Companhia Limitada RL_B TA_C PL_C Pequena 8 Paredes Companhia Limitada RL_B TA_D PL_C Média 1 Maia Companhia Limitada RL_B TA_C PL_C Pequena 22 Penafiel Companhia Limitada RL_A TA_D PL_A Pequena 1 Maia Companhia Limitada (proprietário único) RL_C TA_D PL_D Pequena 3 Trofa Sociedade Anónima RL_D TA_B PL_D Pequena 1 Braga Companhia Limitada RL_C TA_D PL_D Média 1 Penafiel Companhia Limitada RL_A TA_A PL_B Média 1 Vila Nova de Famalicão Companhia Limitada RL_B TA_C PL_D Pequena 27 Barcelos Sociedade Anónima RL_D TA_D PL_D Pequena 1 Maia Companhia Limitada RL_B TA_C PL_B Pequena 14 Guimarães Sociedade Anónima RL_B TA_B PL_B Média 1 Felgueiras Sociedade Anónima RL_B TA_C PL_C Média 3 Paços de Ferreira Sociedade Anónima RL_B TA_B PL_B Pequena 3 Gondomar Companhia Limitada RL_B TA_B PL_C Pequena 38 Braga Sociedade Anónima RL_A TA_B PL_A Pequena 4 Felgueiras Sociedade Anónima RL_B TA_D PL_D Pequena 2 Porto Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 13 Matosinhos Sociedade Anónima RL_B TA_D PL_C Pequena 5 Amarante Sociedade Anónima RL_B TA_D PL_B Média 1 Vila do Conde Sociedade Anónima RL_C TA_D PL_D Pequena 2 Barcelos Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 1 Vila Verde Companhia Limitada RL_B TA_B PL_B Pequena 80 Trofa Sociedade Anónima RL_C TA_D PL_D Pequena 2 Guimarães Companhia Limitada RL_B TA_D PL_C Pequena 3 Esposende Companhia Limitada RL_A TA_A PL_B Pequena 73 Guimarães Companhia Limitada RL_B TA_B PL_C Média 7 Gondomar Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 2 Barcelos Sociedade Anónima RL_B TA_C PL_D Média 5 Vila Nova de Gaia Entidade Estrangeira RL_A TA_B PL_A Pequena 1 Amarante Companhia Limitada RL_B TA_B PL_B Pequena 85 Guimarães Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 4 Amarante Companhia Limitada RL_B TA_C PL_D Média 2 Valongo Sociedade Anónima RL_B TA_B PL_C Pequena 1 Barcelos Sociedade Anónima RL_A TA_D PL_D Pequena 3 Amarante Sociedade Anónima RL_A TA_C PL_C Pequena 1 Paredes Companhia Limitada RL_A TA_D PL_A Média 1 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 249 135 Matosinhos Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 3 Baião Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 40 Felgueiras Companhia Limitada RL_B TA_B PL_B Pequena 113 Póvoa de Varzim Companhia Limitada RL_A TA_B PL_A Pequena 9 Vila Nova de Famalicão Sociedade Anónima RL_B TA_C PL_D Pequena 5 Fafe Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 1 Santo Tirso Companhia Limitada RL_B TA_D PL_B Média 1 Gondomar Sociedade Anónima RL_A TA_B PL_B Pequena 3 Vila Nova de Gaia Sociedade Anónima RL_B TA_C PL_D Pequena 11 Matosinhos Entidade Estrangeira RL_B TA_D PL_B Pequena 1 Santo Tirso Sociedade Anónima RL_D TA_D PL_D Pequena 2 Vieira do Minho Companhia Limitada RL_B TA_B PL_B Média 2 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_C TA_D PL_D Pequena 1 Paredes Sociedade Anónima RL_A TA_C PL_C Pequena 3 Vila Nova de Famalicão Companhia Limitada RL_B TA_C PL_D Média 4 Cabeceiras de Basto Companhia Limitada RL_B TA_C PL_B Pequena 1 Marco de Canaveses Companhia Limitada RL_B TA_D PL_D Pequena 1 Barcelos Companhia Limitada RL_A TA_D PL_C Pequena 2 Valongo Companhia Limitada RL_B TA_C PL_C Pequena 14 Vieira do Minho Companhia Limitada RL_A TA_B PL_B Pequena 2 Felgueiras Companhia Limitada RL_A TA_B PL_B Pequena 18 Paredes Companhia Limitada RL_A TA_B PL_B Pequena 32 Vila Nova de Famalicão Sociedade Anónima RL_A TA_D PL_D Pequena 7 Paços de Ferreira Companhia Limitada RL_B TA_A PL_A Média 1 Paços de Ferreira Companhia Limitada RL_B TA_C PL_B Pequena 7 Fafe Sociedade Anónima RL_A TA_D PL_C Média 1 Vila Nova de Famalicão Companhia Limitada RL_B TA_C PL_C Pequena 20 Gondomar Companhia Limitada (proprietário único) RL_A TA_B PL_A Média 1 Braga Companhia Limitada RL_A TA_D PL_D Pequena 11 Penafiel Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 1 Penafiel Companhia Limitada RL_B TA_D PL_C Pequena 2 Lousada Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 2 Braga Sociedade Anónima Desportiva RL_D TA_D PL_A Média 1 Matosinhos Sociedade Anónima RL_C TA_B PL_C Pequena 1 Gondomar Companhia Limitada RL_B TA_A PL_B Pequena 1002 Vizela Companhia Limitada RL_A TA_A PL_A Média 1 Fafe Companhia Limitada RL_B TA_A PL_B Pequena 378 Braga Sector empresarial Local RL_B TA_C PL_C Pequena 1 136 Porto Sector empresarial Local RL_B TA_D PL_D Pequena 1 Maia Sociedade Anónima RL_A TA_C PL_A Pequena 4 Guimarães Sociedade Anónima RL_A TA_D PL_D Média 9 Vila Nova de Gaia Companhia Limitada RL_A TA_A PL_B Média 1 Porto Sociedade Anónima RL_A TA_D PL_C Média 1 Póvoa de Lanhoso Companhia Limitada RL_A TA_B PL_B Pequena 6 Felgueiras Companhia Limitada (proprietário único) RL_B TA_C PL_B Média 2 Paredes Companhia Limitada RL_A TA_A PL_A Pequena 120 Vila Nova de Gaia Sociedade Anónima RL_B TA_D PL_B Pequena 3 Valongo Companhia Limitada RL_A TA_A PL_A Pequena 180 Braga Sociedade Anónima RL_A TA_D PL_D Pequena 11 Celorico de Basto Companhia Limitada RL_B TA_B PL_B Média 1 Maia Sociedade Anónima RL_C TA_D PL_C Pequena 1 Penafiel Sociedade Anónima RL_A TA_C PL_C Pequena 2 Guimarães Sociedade Anónima RL_B TA_C PL_D Pequena 14 Braga Companhia Limitada RL_B TA_A PL_A Pequena 118 Felgueiras Companhia Limitada (proprietário único) RL_B TA_D PL_B Pequena 1 Guimarães Companhia Limitada (proprietário único) RL_B TA_B PL_A Média 1 Guimarães Companhia Limitada RL_B TA_C PL_B Média 4 Santo Tirso Companhia Limitada RL_B TA_A PL_B Média 1 Lousada Sociedade Anónima RL_D TA_D PL_D Média 1 Felgueiras Companhia Limitada RL_B TA_B PL_A Pequena 1 Vila do Conde Companhia Limitada (proprietário único) RL_A TA_D PL_D Pequena 1 Celorico de Basto Companhia Limitada RL_B TA_B PL_C Pequena 2 Barcelos Sociedade Anónima RL_B TA_B PL_B Média 2 Paredes Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 64 Porto Companhia Limitada RL_B TA_A PL_B Pequena 3471 Guimarães Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 213 Lousada Companhia Limitada RL_B TA_B PL_B Pequena 82 Felgueiras Companhia Limitada RL_B TA_A PL_B Média 2 Barcelos Sociedade Anónima RL_B TA_C PL_D Pequena 8 Maia Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 33 Terras de Bouro Sociedade Anónima RL_B TA_D PL_D Média 1 Póvoa de Varzim Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 3 Matosinhos Sociedade Anónima RL_B TA_C PL_D Média 3 Amares Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 62 Gondomar Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 142 Fafe Companhia Limitada RL_B TA_D PL_C Pequena 2 Vila do Conde Entidade Estrangeira RL_B TA_D PL_B Pequena 1 Felgueiras Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 1 Lousada Sociedade Anónima RL_B TA_D PL_D Pequena 5 Póvoa de Lanhoso Companhia Limitada RL_B TA_A PL_B Pequena 150 137 Maia Sociedade Anónima RL_B TA_D PL_C Média 1 Paredes Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 16 Matosinhos Companhia Limitada RL_A TA_D PL_C Pequena 1 Barcelos Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 1 Fafe Companhia Limitada RL_B TA_B PL_D Pequena 2 Baião Sociedade Anónima RL_B TA_A PL_B Pequena 1 Guimarães Companhia Limitada RL_B TA_D PL_C Média 2 Vila Nova de Gaia Companhia Limitada RL_A TA_D PL_C Pequena 1 Póvoa de Varzim Sociedade Anónima RL_B TA_B PL_B Pequena 10 Póvoa de Lanhoso Companhia Limitada RL_B TA_B PL_C Pequena 5 Marco de Canaveses Companhia Limitada RL_A TA_D PL_D Média 1 Baião Companhia Limitada RL_B TA_B PL_B Média 1 Póvoa de Varzim Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 16 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 8 Marco de Canaveses Companhia Limitada RL_C TA_D PL_D Pequena 1 Vila Verde Companhia Limitada RL_A TA_B PL_B Pequena 11 Matosinhos Sociedade Anónima RL_A TA_A PL_A Média 1 Santo Tirso Companhia Limitada RL_B TA_C PL_A Média 1 Vila Verde Companhia Limitada RL_B TA_D PL_D Pequena 4 Felgueiras Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 2 Barcelos Companhia Limitada RL_A TA_B PL_B Pequena 50 Felgueiras Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 58 Braga Companhia Limitada RL_B TA_C PL_C Pequena 27 Trofa Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 31 Porto Companhia Limitada RL_A TA_B PL_B Pequena 143 Fafe Sociedade Anónima RL_B TA_A PL_B Pequena 1 Porto Sociedade Anónima RL_C TA_C PL_C Pequena 3 Vila Nova de Famalicão Companhia Limitada RL_A TA_A PL_B Média 1 Trofa Sociedade Anónima RL_A TA_D PL_D Pequena 5 Fafe Companhia Limitada RL_A TA_A PL_A Pequena 94 Lousada Companhia Limitada RL_B TA_D PL_C Média 1 Marco de Canaveses Companhia Limitada RL_B TA_B PL_D Pequena 2 Barcelos Companhia Limitada RL_B TA_B PL_C Pequena 53 Paredes Companhia Limitada RL_A TA_B PL_C Pequena 4 Porto Sociedade Anónima RL_B TA_C PL_C Média 5 Amarante Sociedade Anónima RL_B TA_B PL_C Pequena 4 Valongo Sociedade Anónima RL_A TA_C PL_B Pequena 2 Paredes Companhia Limitada RL_A TA_D PL_B Média 1 Vila Nova de Famalicão Companhia Limitada RL_B TA_C PL_B Média 3 Felgueiras Companhia Limitada RL_A TA_B PL_A Pequena 3 Gondomar Sociedade Anónima RL_D TA_C PL_D Pequena 1 Barcelos Companhia Limitada RL_B TA_A PL_B Média 1 138 Braga Companhia Limitada (proprietário único) RL_B TA_D PL_D Média 2 Paços de Ferreira Companhia Limitada RL_A TA_B PL_A Pequena 9 Barcelos Companhia Limitada RL_C TA_D PL_D Pequena 1 Vila Nova de Famalicão Sociedade Anónima RL_A TA_C PL_D Pequena 3 Braga Sociedade Anónima RL_B TA_B PL_C Média 1 Paços de Ferreira Companhia Limitada (proprietário único) RL_B TA_C PL_D Pequena 1 Maia Companhia Limitada RL_D TA_D PL_D Pequena 1 Maia Entidade Estrangeira RL_A TA_B PL_B Pequena 1 Paredes Companhia Limitada RL_A TA_D PL_D Pequena 3 Guimarães Companhia Limitada RL_A TA_D PL_C Pequena 2 Paredes Companhia Limitada RL_B TA_D PL_D Média 9 Matosinhos Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 157 Porto Companhia Limitada RL_B TA_C PL_A Média 2 Guimarães Companhia Limitada RL_A TA_C PL_A Pequena 3 Maia Sector empresarial Local RL_B TA_C PL_D Média 1 Vizela Companhia Limitada RL_B TA_C PL_D Média 1 Gondomar Companhia Limitada RL_B TA_C PL_D Pequena 14 Penafiel Companhia Limitada RL_A TA_B PL_B Média 2 Vizela Companhia Limitada RL_B TA_C PL_C Pequena 2 Barcelos Sociedade Anónima RL_A TA_C PL_B Pequena 1 Marco de Canaveses Sociedade Anónima RL_D TA_D PL_D Pequena 3 Terras de Bouro Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 10 Matosinhos Companhia Limitada RL_A TA_D PL_D Pequena 4 Santo Tirso Companhia Limitada RL_B TA_A PL_A Pequena 37 Braga Sociedade Anónima RL_A TA_D PL_D Média 6 Paredes Sociedade Anónima RL_B TA_A PL_B Pequena 8 Fafe Companhia Limitada RL_B TA_B PL_B Pequena 74 Vila Nova de Gaia Companhia Limitada RL_B TA_B PL_A Pequena 10 Vila Nova de Gaia Companhia Limitada RL_B TA_D PL_C Pequena 6 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_B TA_B PL_A Pequena 2 Santo Tirso Sociedade Anónima RL_B TA_C PL_B Pequena 3 Santo Tirso Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 13 Maia Sociedade Anónima RL_A TA_D PL_C Média 1 Gondomar Sociedade Anónima RL_A TA_B PL_D Pequena 1 Porto Companhia Limitada (proprietário único) RL_B TA_C PL_D Média 1 Póvoa de Varzim Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 2 Vila Nova de Gaia Companhia Limitada RL_B TA_C PL_B Pequena 22 Marco de Canaveses Companhia Limitada RL_A TA_A PL_B Pequena 84 Gondomar Companhia Limitada RL_B TA_D PL_D Pequena 7 Vila Verde Companhia Limitada RL_A TA_B PL_A Média 1 Gondomar Companhia Limitada RL_B TA_B PL_A Pequena 7 Marco de Canaveses Companhia Limitada RL_A TA_D PL_D Pequena 1 Felgueiras Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 33 Póvoa de Varzim Companhia Limitada RL_B TA_A PL_B Média 2 139 Guimarães Companhia Limitada RL_B TA_B PL_B Média 3 Vila Nova de Gaia Companhia Limitada RL_B TA_A PL_A Pequena 195 Maia Sociedade Anónima RL_B TA_C PL_A Pequena 1 Fafe Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 1 Maia Sociedade Anónima RL_A TA_D PL_C Pequena 1 Marco de Canaveses Sociedade Anónima RL_B TA_B PL_C Pequena 1 Guimarães Companhia Limitada RL_B TA_B PL_C Pequena 66 Barcelos Sociedade Anónima RL_A TA_C PL_D Pequena 3 Vizela Sociedade Anónima RL_B TA_D PL_C Pequena 1 Braga Companhia Limitada RL_B TA_D PL_A Pequena 1 Fafe Sociedade Anónima RL_A TA_D PL_D Média 2 Amares Companhia Limitada RL_A TA_B PL_A Pequena 4 Guimarães Sociedade Anónima RL_A TA_C PL_C Média 1 Santo Tirso Sociedade Anónima RL_B TA_B PL_B Pequena 4 Vila Nova de Famalicão Sociedade Anónima RL_A TA_B PL_B Pequena 3 Esposende Companhia Limitada (proprietário único) RL_B TA_A PL_B Pequena 101 Santo Tirso Companhia Limitada RL_B TA_C PL_C Média 2 Lousada Companhia Limitada RL_A TA_C PL_C Pequena 2 Trofa Sociedade Anónima RL_B TA_D PL_C Pequena 2 Valongo Companhia Limitada RL_A TA_C PL_A Pequena 2 Paredes Companhia Limitada RL_B TA_C PL_B Pequena 8 Braga Sociedade Anónima RL_A TA_A PL_B Pequena 11 Porto Entidade Estrangeira RL_B TA_B PL_B Pequena 1 Marco de Canaveses Companhia Limitada RL_B TA_C PL_B Pequena 5 Vila Nova de Gaia Sociedade Anónima RL_A TA_C PL_A Pequena 3 Lousada Companhia Limitada RL_A TA_A PL_A Média 2 Vila do Conde Companhia Limitada RL_B TA_C PL_C Pequena 11 Porto Companhia Limitada RL_A TA_B PL_D Pequena 6 Barcelos Sociedade Anónima RL_B TA_C PL_C Pequena 5 Amares Companhia Limitada RL_A TA_B PL_B Pequena 1 Valongo Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 18 Amarante Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 1 Valongo Sociedade Anónima RL_B TA_C PL_D Pequena 2 Penafiel Companhia Limitada RL_B TA_A PL_B Média 2 Matosinhos Sociedade Anónima RL_B TA_B PL_B Média 6 Penafiel Companhia Limitada RL_A TA_A PL_A Pequena 107 Braga Companhia Limitada RL_B TA_D PL_B Pequena 5 Paços de Ferreira Companhia Limitada RL_B TA_A PL_A Pequena 23 Barcelos Companhia Limitada RL_A TA_B PL_B Média 2 Guimarães Sociedade Anónima RL_B TA_A PL_A Média 1 Fafe Companhia Limitada RL_B TA_C PL_C Média 4 Penafiel Sociedade Anónima RL_A TA_C PL_B Pequena 2 Paredes Companhia Limitada RL_B TA_B PL_C Pequena 28 Braga Companhia Limitada RL_A TA_C PL_A Pequena 4 Felgueiras Sociedade Anónima RL_B TA_B PL_B Pequena 11 Vila Nova de Companhia Limitada RL_B TA_A PL_A Pequena 78 140 Famalicão Marco de Canaveses Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 14 Maia Sociedade Anónima RL_A TA_A PL_A Pequena 7 Vila Nova de Famalicão Sociedade Anónima RL_B TA_B PL_C Pequena 9 Penafiel Companhia Limitada RL_B TA_A PL_A Pequena 31 Vila Nova de Gaia Sociedade Anónima RL_B TA_C PL_C Pequena 5 Barcelos Companhia Limitada RL_B TA_B PL_D Pequena 3 Porto Companhia Limitada (proprietário único) RL_B TA_D PL_D Média 1 Guimarães Sociedade Anónima RL_B TA_A PL_B Pequena 16 Felgueiras Sociedade Anónima RL_B TA_A PL_B Pequena 4 Marco de Canaveses Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 16 Penafiel Companhia Limitada RL_B TA_A PL_B Pequena 475 Terras de Bouro Companhia Limitada RL_B TA_B PL_B Pequena 2 Gondomar Companhia Limitada RL_A TA_D PL_C Pequena 2 Santo Tirso Companhia Limitada RL_A TA_B PL_B Média 1 Paredes Companhia Limitada RL_B TA_B PL_C Média 2 Trofa Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 2 Porto Companhia Limitada RL_B TA_D PL_C Média 1 Porto Sociedade Anónima RL_C TA_B PL_D Pequena 2 Matosinhos Sociedade Anónima RL_C TA_D PL_C Média 1 Guimarães Sociedade Anónima RL_A TA_B PL_B Pequena 6 Penafiel Sector empresarial Local RL_B TA_D PL_D Pequena 1 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 1 Vila do Conde Sociedade Anónima RL_B TA_C PL_D Pequena 3 Póvoa de Varzim Companhia Limitada RL_B TA_A PL_A Pequena 42 Barcelos Entidade Estrangeira RL_B TA_C PL_B Média 1 Amarante Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 1 Matosinhos Sociedade Anónima RL_B TA_C PL_D Pequena 9 Maia Entidade Estrangeira RL_B TA_B PL_C Pequena 1 Vila do Conde Entidade Estrangeira RL_A TA_D PL_A Pequena 1 Marco de Canaveses Sociedade Anónima RL_B TA_B PL_B Pequena 2 Paços de Ferreira Companhia Limitada (proprietário único) RL_B TA_D PL_D Pequena 1 Porto Companhia Limitada RL_D TA_C PL_D Pequena 1 Matosinhos Sociedade Anónima RL_B TA_C PL_B Pequena 4 Barcelos Sociedade Anónima RL_A TA_B PL_B Pequena 6 Amares Companhia Limitada RL_B TA_D PL_C Média 1 Felgueiras Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 16 Cabeceiras de Basto Sociedade Anónima RL_B TA_C PL_B Pequena 1 Vila Nova de Famalicão Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 120 Barcelos Companhia Limitada RL_B TA_C PL_B Média 3 Vila Nova Companhia Limitada RL_B TA_A PL_A Pequena 32 141 de Famalicão (proprietário único) Paredes Sociedade Anónima RL_D TA_D PL_D Média 1 Vizela Companhia Limitada RL_A TA_B PL_C Pequena 2 Valongo Companhia Limitada RL_B TA_B PL_A Média 1 Felgueiras Companhia Limitada RL_A TA_C PL_C Pequena 2 Maia Sociedade Anónima RL_B TA_C PL_B Média 1 Baião Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 15 Vila Nova de Gaia Companhia Limitada RL_B TA_D PL_B Média 1 Lousada Companhia Limitada (proprietário único) RL_A TA_A PL_A Média 1 Braga Companhia Limitada RL_C TA_D PL_D Pequena 2 Maia Companhia Limitada (proprietário único) RL_B TA_C PL_B Pequena 1 Lousada Companhia Limitada RL_B TA_A PL_B Pequena 297 Vizela Companhia Limitada RL_A TA_A PL_B Pequena 29 Valongo Companhia Limitada RL_B TA_D PL_D Média 2 Guimarães Companhia Limitada (proprietário único) RL_B TA_C PL_D Pequena 1 Barcelos Sociedade Anónima RL_B TA_C PL_B Pequena 1 Paços de Ferreira Companhia Limitada RL_A TA_C PL_D Pequena 1 Vila do Conde Companhia Limitada RL_A TA_B PL_A Pequena 15 Barcelos Companhia Limitada (proprietário único) RL_B TA_D PL_B Pequena 1 Felgueiras Sociedade Anónima RL_B TA_C PL_B Média 1 Penafiel Companhia Limitada (proprietário único) RL_A TA_A PL_A Média 1 Braga Sociedade Anónima RL_B TA_C PL_D Pequena 18 Vila Nova de Gaia Companhia Limitada RL_A TA_B PL_B Média 1 Matosinhos Sociedade Anónima RL_B TA_B PL_B Grande 1 Braga Companhia Limitada RL_A TA_B PL_C Pequena 9 Braga Sociedade Anónima RL_A TA_D PL_B Pequena 5 Esposende Companhia Limitada RL_B TA_A PL_A Pequena 21 Guimarães Companhia Limitada (proprietário único) RL_B TA_B PL_B Média 3 Vila Nova de Gaia Sociedade Anónima RL_A TA_B PL_A Pequena 5 Lousada Companhia Limitada (proprietário único) RL_B TA_C PL_C Pequena 1 Paredes Companhia Limitada RL_A TA_A PL_B Pequena 169 Paços de Ferreira Sociedade Anónima RL_B TA_D PL_D Pequena 1 Porto Sociedade Anónima RL_A TA_C PL_A Pequena 5 Esposende Sector empresarial Local RL_B TA_D PL_D Média 1 Esposende Sector empresarial Local RL_B TA_B PL_B Pequena 1 Lousada Companhia Limitada (proprietário único) RL_B TA_B PL_B Média 2 Amares Sociedade Anónima RL_A TA_C PL_D Média 1 Paços de Ferreira Sociedade Anónima RL_B TA_D PL_C Pequena 1 Lousada Companhia Limitada (proprietário único) RL_A TA_C PL_D Pequena 1 Vila Nova de Famalicão Companhia Limitada RL_B TA_B PL_B Média 6 Gondomar Companhia Limitada RL_A TA_D PL_A Pequena 1 142 Maia Companhia Limitada (proprietário único) RL_A TA_D PL_C Pequena 1 Vizela Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 40 Porto Sociedade Anónima RL_B TA_B PL_D Pequena 14 Matosinhos Companhia Limitada RL_A TA_C PL_C Pequena 3 Amarante Companhia Limitada RL_B TA_D PL_D Média 2 Paredes Companhia Limitada RL_B TA_A PL_A Pequena 31 Lousada Companhia Limitada RL_A TA_A PL_A Pequena 61 Paços de Ferreira Companhia Limitada RL_B TA_B PL_D Pequena 3 Vila do Conde Companhia Limitada (proprietário único) RL_B TA_C PL_B Média 1 Paredes Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 60 Paredes Sociedade Anónima RL_B TA_D PL_C Pequena 2 Paredes Companhia Limitada RL_B TA_A PL_B Média 2 Braga Companhia Limitada RL_A TA_C PL_C Pequena 6 Valongo Companhia Limitada RL_A TA_A PL_B Média 1 Vizela Companhia Limitada RL_B TA_C PL_B Média 2 Paços de Ferreira Companhia Limitada RL_A TA_B PL_A Média 2 Matosinhos Companhia Limitada (proprietário único) RL_C TA_D PL_D Pequena 1 Póvoa de Lanhoso Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 27 Vila Nova de Gaia Companhia Limitada RL_B TA_B PL_C Média 3 Vieira do Minho Companhia Limitada RL_B TA_B PL_A Pequena 1 Maia Companhia Limitada RL_A TA_C PL_B Média 1 Santo Tirso Companhia Limitada RL_A TA_C PL_B Pequena 2 Porto Sociedade Anónima RL_B TA_D PL_B Média 1 Esposende Sociedade Anónima RL_A TA_C PL_D Pequena 1 Maia Sociedade Anónima RL_A TA_C PL_D Média 1 Santo Tirso Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 63 Baião Companhia Limitada RL_B TA_C PL_B Pequena 1 Maia Sector empresarial Local RL_A TA_B PL_A Pequena 1 Porto Entidade Estrangeira RL_B TA_C PL_D Pequena 1 Vila do Conde Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 18 Vila do Conde Sociedade Anónima RL_A TA_D PL_D Pequena 3 Braga Companhia Limitada (proprietário único) RL_B TA_B PL_D Pequena 2 Penafiel Sociedade Anónima RL_C TA_D PL_D Pequena 3 Matosinhos Entidade Estrangeira RL_B TA_A PL_B Pequena 2 Celorico de Basto Sociedade Anónima RL_C TA_B PL_D Média 1 Baião Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 10 Felgueiras Companhia Limitada RL_B TA_A PL_B Pequena 415 Braga Companhia Limitada RL_A TA_C PL_D Média 1 Maia Sociedade Anónima RL_B TA_D PL_B Pequena 2 Amarante Companhia Limitada RL_B TA_B PL_D Pequena 2 Gondomar Sociedade Anónima RL_B TA_C PL_D Pequena 10 Vieira do Minho Companhia Limitada RL_B TA_B PL_C Pequena 1 Matosinhos Companhia Limitada (proprietário único) RL_B TA_B PL_C Pequena 8 Póvoa de Varzim Companhia Limitada RL_A TA_B PL_C Pequena 7 Maia Companhia Limitada RL_A TA_B PL_A Pequena 34 Trofa Sociedade Anónima RL_C TA_D PL_C Pequena 1 143 Penafiel Sociedade Anónima RL_B TA_C PL_B Pequena 1 Trofa Companhia Limitada (proprietário único) RL_A TA_B PL_A Pequena 3 Gondomar Sociedade Anónima RL_B TA_B PL_B Pequena 13 Felgueiras Companhia Limitada RL_B TA_A PL_A Pequena 26 Póvoa de Lanhoso Companhia Limitada RL_B TA_C PL_C Pequena 4 Fafe Sociedade Anónima RL_B TA_D PL_C Pequena 1 Vila Nova de Famalicão Companhia Limitada RL_A TA_D PL_D Pequena 6 Paços de Ferreira Companhia Limitada RL_A TA_B PL_B Pequena 29 Braga Sociedade Anónima RL_B TA_C PL_B Pequena 8 Vila do Conde Companhia Limitada RL_A TA_D PL_A Pequena 1 Maia Companhia Limitada RL_A TA_C PL_B Pequena 11 Braga Sociedade Anónima RL_D TA_D PL_B Pequena 1 Vizela Sociedade Anónima RL_B TA_D PL_D Média 1 Braga Companhia Limitada (proprietário único) RL_A TA_C PL_B Pequena 1 Vila Nova de Gaia Companhia Limitada RL_A TA_C PL_D Pequena 10 Esposende Companhia Limitada RL_A TA_A PL_A Pequena 68 Matosinhos Sociedade Anónima RL_C TA_C PL_D Média 1 Fafe Companhia Limitada RL_B TA_B PL_A Pequena 3 Vizela Companhia Limitada RL_B TA_C PL_C Média 1 Vila Nova de Gaia Companhia Limitada RL_A TA_B PL_D Pequena 5 Póvoa de Varzim Companhia Limitada RL_B TA_B PL_B Pequena 105 Terras de Bouro Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 1 Santo Tirso Sociedade Anónima RL_A TA_D PL_D Pequena 4 Maia Companhia Limitada RL_A TA_C PL_A Pequena 8 Marco de Canaveses Companhia Limitada RL_B TA_D PL_B Média 1 Penafiel Companhia Limitada RL_A TA_B PL_C Pequena 2 Trofa Companhia Limitada RL_B TA_D PL_B Pequena 2 Penafiel Companhia Limitada RL_B TA_B PL_A Pequena 3 Paços de Ferreira Sociedade Anónima RL_B TA_C PL_C Média 1 Vila Nova de Famalicão Companhia Limitada (proprietário único) RL_A TA_A PL_B Pequena 113 Vila Nova de Gaia Sociedade Anónima RL_B TA_C PL_C Média 2 Vila Nova de Famalicão Companhia Limitada RL_A TA_C PL_A Pequena 2 Penafiel Companhia Limitada RL_A TA_C PL_D Média 1 Trofa Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 14 Vila do Conde Companhia Limitada RL_B TA_C PL_D Pequena 13 Santo Tirso Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 3 Matosinhos Companhia Limitada (proprietário único) RL_B TA_D PL_D Pequena 3 Vila Nova de Famalicão Companhia Limitada (proprietário único) RL_B TA_A PL_B Média 2 144 Marco de Canaveses Companhia Limitada RL_B TA_C PL_D Pequena 6 Amares Companhia Limitada (proprietário único) RL_B TA_B PL_B Pequena 4 Guimarães Companhia Limitada RL_B TA_C PL_B Pequena 12 Guimarães Companhia Limitada (proprietário único) RL_A TA_C PL_B Pequena 3 Braga Sociedade Anónima RL_A TA_B PL_B Pequena 14 Gondomar Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 3 Marco de Canaveses Companhia Limitada RL_A TA_B PL_B Média 2 Baião Companhia Limitada RL_B TA_A PL_A Média 1 Matosinhos Companhia Limitada (proprietário único) RL_A TA_C PL_D Pequena 1 Póvoa de Lanhoso Companhia Limitada RL_A TA_A PL_A Média 1 Porto Companhia Limitada RL_A TA_A PL_A Pequena 1332 Valongo Companhia Limitada (proprietário único) RL_A TA_B PL_C Pequena 1 Maia Companhia Limitada RL_C TA_D PL_D Pequena 4 Vila Verde Sociedade Anónima RL_B TA_A PL_B Pequena 1 Felgueiras Sociedade Anónima RL_B TA_C PL_D Média 1 Vizela Companhia Limitada (proprietário único) RL_B TA_A PL_A Média 1 Braga Sociedade Anónima RL_A TA_A PL_A Pequena 6 Braga Companhia Limitada (proprietário único) RL_A TA_B PL_B Pequena 3 Vila Nova de Gaia Companhia Limitada (proprietário único) RL_B TA_B PL_C Média 1 Celorico de Basto Companhia Limitada RL_B TA_A PL_A Pequena 8 Porto Sociedade Anónima RL_A TA_D PL_C Pequena 1 Fafe Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 70 Felgueiras Sociedade Anónima RL_B TA_B PL_B Média 1 Vila Verde Companhia Limitada (proprietário único) RL_B TA_A PL_A Pequena 7 Porto Sociedade Anónima RL_A TA_C PL_C Pequena 5 Vila Nova de Gaia Sociedade Anónima RL_A TA_C PL_C Pequena 2 Santo Tirso Sociedade Anónima RL_B TA_D PL_B Média 1 Braga Sociedade Anónima RL_C TA_D PL_C Pequena 1 Felgueiras Companhia Limitada (proprietário único) RL_A TA_B PL_A Média 1 Vila Nova de Famalicão Companhia Limitada (proprietário único) RL_A TA_A PL_A Média 1 Amarante Sociedade Anónima RL_B TA_C PL_D Média 1 Lousada Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 56 Matosinhos Companhia Limitada RL_B TA_D PL_C Pequena 2 Braga Companhia Limitada RL_A TA_C PL_D Pequena 3 Vizela Companhia Limitada RL_A TA_B PL_A Pequena 6 Valongo Sociedade Anónima RL_A TA_B PL_B Pequena 5 Braga Sociedade Anónima RL_A TA_D PL_D Grande 1 Santo Tirso Sociedade Anónima RL_A TA_D PL_B Pequena 1 Vila Verde Sociedade Anónima RL_A TA_D PL_D Média 1 Paredes Companhia Limitada (proprietário único) RL_A TA_A PL_A Média 1 Porto Companhia Limitada (proprietário único) RL_B TA_C PL_D Pequena 2 Paços de Ferreira Companhia Limitada (proprietário único) RL_A TA_A PL_A Pequena 44