Protocol - SBSI2026

Protocolo SLR Mapeamento Sistemático do Estado da Arte sobre ferramentas e métodos que permitem que desenvolvedores apliquem ética a cada estágio do desenvolvimento de um sistema de IA. 1. Objetivo da Pesquisa Este estudo tem como objetivo principal levantar e apresentar o estado atual de conhecimento (i.e., estado da arte) sobre ferramentas e métodos que permitem que desenvolvedores "apliquem" ética a cada estágio do desenvolvimento de um sistema de IA. Para alcançar este objetivo, será realizada uma revisão sistemática da literatura (SLM – Systematic Literature Mapping) [Kitchenham, 2004][Kitchenham et al., 2009][Petersen et al., 2015], estendendo a revisão realizada por Morley et al. (2019), obtendo assim uma atualização da sua tipologia, refletindo os artefatos disponibilizados nos últimos 5 anos para ajudar desenvolvedores, engenheiros e designers de sistemas de IA a refletirem e aplicarem ética durante o desenvolvimento desse tipo de sistema. Por meio dessa SLM, será possível explicitar: (1) a quais princípios éticos tais artefatos estão relacionados, (2) quais são as questões éticas tratadas por esses artefatos, (3) em qual(is) estágio(s) de desenvolvimento esses artefatos podem ser utilizados, e (4) quais são os tipos de abordagens utilizadas. Esse tipo de revisão é importante para que seja possível apresentar uma visão geral sobre como a ética vem sendo abordada no desenvolvimento de sistemas de IA e fornecer orientações atualizadas aos profissionais da área. Este documento apresenta o protocolo SLM que descreve as definições, bem como o processo de condução e análise da revisão sistemática. 2. Questão de Pesquisa Para definição da questão de pesquisa, foram utilizados os critérios PICOC (KITCHENHAM E CHARLES, 2007), onde (P) refere-se à População que será investigada; (I) refere-se à Intervenção que será aplicada aos estudos primários identificados; (C) refere-se à Comparação entre os estudos que será considerada; (O) refere-se aos Resultados/Outcome, que consistem no efeito que será investigado; e, por fim, (C) refere-se ao Contexto onde ocorre a investigação. Assim, a questão de pesquisa principal (QP) foi definida como segue: o [QP] - Que artefatos (O) estão disponíveis para auxiliar desenvolvedores, engenheiros e designers a refletirem e aplicarem ética (I) no desenvolvimento de sistemas (P) de IA (C) O atributo “Comparação” não foi utilizado na definição da questão de pesquisa tendo em vista que o objetivo é identificar ferramentas e métodos para auxiliar desenvolvedores, engenheiros e designers a refletirem e aplicarem ética no desenvolvimento de sistemas de IA, e não compará-los. 2.1. Questões Específicas: ▪ [QE1] Tais artefatos consistem em que categorias de abordagens? ▪ [QE2] Tais artefatos estão relacionados a quais princípios éticos? ▪ [QE3] Tais artefatos são voltados para tratar que questões éticas? ▪ [QE4] Em qual(is) estágio(s) do ciclo de vida do sistema de IA tais artefatos podem ser utilizados? ▪ [QE5] O uso do artefato foi avaliado? Se sim, que tipo de avaliação foi realizada? ▪ [QE6] Qual o volume total e por ano de publicações que apresentam artefatos voltados para consideração de aspectos éticos no projeto de sistemas de IA? ▪ [QE7] Em quais veículos (eventos/fóruns científicos/periódicos) as iniciativas sobre artefatos voltados para consideração de aspectos éticos no projeto de sistemas de IA têm sido publicadas? ▪ [QE8] Quais são as instituições e países que publicam sobre artefatos voltados para consideração de aspectos éticos no projeto de sistemas de IA? 3. Especificação da Busca (Critérios da Busca) 3.1. Identificação (Definição) da String de Pesquisa Para a realização de uma revisão sistemática da literatura é importante que a string de pesquisa (SP) seja bem definida. A SP é definida por meio dos seguintes passos: (1)identificação das SPs candidatas, (2) testes das SPs candidatas nos repositórios de busca, de modo a identificar quais delas retornam o maior volume de artigos relevantes e (3) definição da SP da SLR [Kitchenham, 2004][Kitchenham et al., 2009]. Considerando esses passos, as SPs candidatas foram formadas. Na sequência, elas foram testadas nos repositórios de busca ACM Digital Library, IEEE Xplore Digital Library e Springer, três dos principais repositórios de publicações relevantes relacionadas a Computação, além do arXiv, que reúne artigos não revisados por pares. Definidos os repositórios para os testes das SPs candidatas, foi necessário definir os critérios para avaliar a qualidade dos resultados retornados por cada SP testada. Como sugerido por Kitchenham et al. (2009), Granatto et al. (2016), Coelho et al. (2017) e Strey et al. (2018), Meyer von Wolff et al. (2019) em SLRs anteriores, os critérios utilizados para indicar a qualidade da SP foram (1) o volume de artigos relacionados ao tema retornados nas duas primeiras páginas de resultados e (2) o retorno de dois artigos relevantes para o SLM na primeira página de resultados. Os dois artigos considerados relevantes para o SLM proposto são: ● Barbosa, S. D. J., Barbosa, G. D. J., Souza, C. S. D., & Leitão, C. F. (2021, March). A semiotics-based epistemic tool to reason about ethical issues in digital technology design and development. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 363-374). ● Shneiderman, B. (2020). Bridging the gap between ethics and practice: guidelines for reliable, safe, and trustworthy human-centered AI systems. ACM Transactions on Interactive Intelligent Systems (TiiS), 10(4), 1-31. 3.1.1. Testes com a String Candidata Inicialmente, foi testada a mesma string usada por Morley et al. (2019) (SPC01). String Candidata 01 (SPC01): “( "Ethic*" OR "Public perception" OR "Intellectual property" OR "Business model" OR "Evaluation" OR "Data sharing" OR "Impact assessment" OR "Privacy" OR "Harm" OR "Legislation" OR "Regulation" OR "Data minimisation" OR "Transparency" OR "Bias" OR "Data protection" ) AND ( "machine learning" OR "Artificial Intelligence" )” Repositório TOTAL SPC01* ACM Digital Library (https://dl.acm.org/) 145,782 IEEE Xplore (http://ieeexplore.ieee.org) 67,073 arXiv 301,328 SpringerLink (https://link.springer.com/) 267.334 TOTAL *Resultado das Buscas sem filtrar por período A partir dos testes com a string candidata SP01, que retornou um número excessivamente alto de resultados, foi decidido usar os critérios PICOC (KITCHENHAM E CHARLES, 2007), descritos anteriormente, para definir a String de Pesquisa (SP) a ser utilizada na SLR. A Tabela 1 apresenta o processo de identificação de termos relacionados, para a criação da string de pesquisa. Decidiu-se usar apenas o termo “ethic*" para considerar o escopo da ética nas publicações. Isso porque, conforme demonstrado nos testes com a string candidata, usar outros termos que podem indiretamente remeter a questões e princípios éticos, como "Public perception", "Intellectual property" OR "Business model" e "Evaluation", por exemplo, retorna um número extremamente alto de publicações, que muitas vezes não vão abordar diretamente questões éticas. Foram usados os termos "Machine Learning" e "Artificial Intelligence", como sinônimos, para limitar o escopo para softwares que consistem em soluções de IA. Tabela 1. Identificação de termos aplicando os critérios PICOC Critério Termo base Sinônimos Artigos base População (P) Sistema software algorithmic ● Shneiderman (2020) Intervenção (I) Ética ethic* ● Barbosa et al. (2021) ● Shneiderman (2020 Comparação (C) Não aplicável Não aplicável ● Não aplicável Resultado (O) Artefatos development ● Shneiderman (2020 Contexto (C) IA machine learning artificial intelligence ● Barbosa et al. (2021) ● Shneiderman (2020) 3.1.2. String de Pesquisa (SP) utilizada na SLR A partir dos termos mostrados na tabela 1, decidiu-se juntar os termos "software" e "algorithmic" com o termo "development", e assim usar os termos "software development" e "algorithmic development" como sinônimos, para restringir os resultados que trazem a ética ao escopo do desenvolvimento de software. Assim, foi utilizada a seguinte string de busca: ( ethic* ) AND ( "software development" OR "algorithmic development" ) AND ( "Machine Learning" OR "Artificial Intelligence" ) 3.2. Tipos de Publicações Definida a questão de pesquisa, bem como a string de busca, é preciso selecionar os tipos de estudos que serão analisados por meio da SLR [Kitchenham, 2004][Kitchenham et al., 2009]. A revisão de literatura aqui proposta teve seu escopo delimitado a artigos completos publicados em anais de eventos e em periódicos, além de capítulos de livros internacionais e nacionais. Isso porque, embora os outros tipos de publicações (e.g., dissertações e teses) reportem importantes resultados, foi necessário limitar o escopo da análise. Além disso, publicações em formato de artigos completos, bem como capítulos de livros, apresentam resultados sólidos com contribuições evidentes para uma área de interesse [Kitchenham et al., 2009][Rzepka and Berger, 2018][Strey et al., 2018][Meyer von Wolff et al., 2019]. 3.3. Período da SLR Proposta Serão considerados nos resultados da busca e nas análises os estudos publicados nos últimos 05 anos (i.e., entre 2019 e 2023) relacionados a SLR proposta. A limitação do ano inicial da busca em 2019 justifica-se pelo fato de que Morley et al. (2019) realizou uma revisão sistemática com propósito semelhante, que considerou trabalhos publicados até meados de 2019. 3.4. Bibliotecas/Repositórios e Parâmetros de Pesquisa As buscas foram realizadas nos seguintes repositórios: ACM Digital Library, IEEE Xplore Digital Library, Springer, Scopus e arXiv. Os três primeiros correspondem a alguns dos principais repositórios que armazenam trabalhos relevantes para a área da Computação, incluindo iniciativas focadas na Interação Humano Computador (IHC) [Coelho et al., 2017][Strey et al. 2018][Meyer von Wolff et al., 2019][Esterwood and Robert, 2020]. A Scopus é uma máquina de busca que fornece alta flexibilidade na execução de operações de pesquisa e possui uma das maiores bases de dados indexadas [Kitchenham e Charters, 2007]. Por fim, decidiu-se incluir o arXiv, uma base de dados que reúne artigos da literatura cinzenta, dado que o seu processo de publicação é bem mais rápido que os artigos revisados por pares. Essa agilidade na publicação é interessante de ser considerada, dado o caráter atual e emergente do tema da pesquisa. A Tabela 01 apresenta os parâmetros e a forma como as buscas foram conduzidas em cada repositório Repositório/Evento Parâmetros Como buscar String de pesquisa específica da fonte ACM Digital Library (https://dl.acm.org/) Publication Type: Proceedings and Journals (eliminated: Books, Magazines, Newsletters, Reports, CHI Oral Histories) Search Within: Anywhere Publication Date - Custom range – From: January 2019 to: May 2024 Automática [All: ethic*] AND [[All: "software development"] OR [All: "algorithmic development"]] AND [[All: "machine learning"] OR [All: "artificial intelligence"]] AND [E-Publication Date: (01/01/2019 TO 05/31/2024)] IEEE Xplore Digital Library (http://ieeexplore.iee e.org) Publication Type: Conferences, Journals and Magazines Search in: All Metadata Specify Year Range: 2019 – 2024 Automática ("All Metadata":ethic*) AND ("All Metadata":"software development" OR "All Metadata":"algorithmic development") AND ("All Metadata":"Machine Learning" OR "All Metadata":"Artificial Intelligence") arxiv (https ://arxiv .org/) Search Within: All fields Subject: Computer Science, Electrical Engineering and Systems Science Date range – From: 2019 to: 2024 Automática SpringerLink (https://link.springer.c om/) Content Type: Chapter, Article, Research Article, Conference Paper Custom dates: Start year: 2019 and End year: 2024 Language: English and Portuguese Discipline: Computer Science and Engineering Automática ( ethic* ) AND ( "software development" OR "algorithmic development" ) AND ( "Machine Learning" OR "Artificial Intelligence" ) Scopus (http://www.scopus.c om/) Search within: All fields Year: From 2019 to 2024 Subject area: Computer Science and Engineering Document type: Article, Conferece paper and Book chapter Language: English and Portuguese Automática ALL ( ( ethic* ) AND ( "software development" OR "algorithmic development" ) AND ( "Machine Learning" OR "Artificial Intelligence" ) ) AND PUBYEAR > 2018 AND PUBYEAR < 2025 AND ( LIMIT-TO ( SUBJAREA , "COMP" ) OR LIMIT-TO ( SUBJAREA , "ENGI" ) ) AND ( LIMIT-TO ( DOCTYPE , "ar" ) OR LIMIT-TO ( DOCTYPE , "cp" ) OR LIMIT-TO ( DOCTYPE , "ch" ) ) AND ( LIMIT-TO ( LANGUAGE , "English" ) OR LIMIT-TO ( LANGUAGE , "Portuguese" ) ) 3.5. Pesquisa Inicial Antes de iniciar o processo de seleção dos artigos, é realizada a pesquisa inicial com a SP definida para a SLR, considerando o período especificado para a SLR proposta. Nessa etapa, é registrada a quantidade de publicações retornadas nos repositórios a partir da String de busca. Para diminuir as chances de eliminar trabalhos relevantes para a pesquisa, a string de busca (SP) não se restringirá a busca por título, a busca será feita em todo o texto. Isso porque existe a possibilidade de trabalhos relevantes para a SLR não utilizarem os termos da string de busca nos títulos e, ao invés disso, utilizá-los no corpo do texto [Kitchenham, 2004][Kitchenham et al., 2009] [Coelho et al., 2017] [Rzepka and Berger, 2018][Strey et al., 2018][Meyer von Wolff et al., 2019] [Esterwood and Robert, 2020]. A busca foi realizada no dia 09/05/2024 e os resultados da pesquisa inicial são exibidos a seguir. Repositório Total (09/05/2024) ACM Digital Library (https://dl.acm.org/) 1138 IEEE Xplore Digital Library (http://ieeexplore.ieee.org) 44 Springer Link (https://link.springer.com/) 971 arxiv (https ://arxiv .org/) 20 Scopus (http://www.scopus.com) 1386 TOTAL 3529 *Resultado das Buscas considerando o período entre o ano de 2019 e 2024 4. Metodologia para Seleção dos Artigos e Análise dos Dados Esta seção descreve a metodologia para a seleção das publicações e a análise dos dados. Similar aos trabalhos que realizaram SLR para apresentar um panorama ou mapeamento de iniciativas relacionadas a um determinado fenômeno (e.g., [Kitchenham, 2004][Kitchenham et al., 2009] [Coelho et al., 2017] [Rzepka and Berger, 2018][Strey et al., 2018][Meyer von Wolff et al., 2019] [Esterwood and Robert, 2020]), o presente SLM será realizado em quatro etapas, conforme apresentado na Figura 1: Figura 1. Metodologia de Pesquisa 4.1. Etapa 1 (1º filtro) – Seleção por meio do Título, Resumo e Palavras-chave Esta etapa consiste na leitura dos títulos, resumos e palavras-chave dos artigos, com o propósito de analisar se o artigo está associado ao objetivo/escopo da pesquisa. Serão aplicados os critérios de seleção estabelecidos para a pesquisa, mostrados na Seção 5, com a remoção dos artigos que forem considerados irrelevantes e duplicados. Nesta etapa ainda não devemos observar/analisar as questões de pesquisa. Em caso de dúvida quanto à remoção de um artigo, ou no caso de artigo que não tiver resumo, o mesmo deverá permanecer na lista para que possa ser analisado na próxima etapa (Leitura Diagonal). 4.2. Etapa 2 (2º filtro) – Seleção por meio de Leitura Diagonal Esta etapa consiste na leitura diagonal (introdução, tópicos principais e conclusão) das publicações selcionadas para esta etapa, com o propósito de analisar se o artigo está associado às questões de pesquisa. Aqui também serão aplicados os critérios de inclusão e exclusão estabelecidos para a pesquisa, mostrados na Seção 5, com a remoção dos que forem considerados irrelevantes. Em caso de dúvida quanto à remoção de um artigo, o mesmo deverá permanecer na lista para que possa ser analisado na próxima etapa (Leitura Completa). Observação: Nesta etapa as publicações deverão ser categorizadas quanto: ● nacionalidade (i.e., nacional ou internacional) ● abordagem(ns) proposta(s) (e.g.: noções; procedimentos; código; infraestrutura, educação; avaliação e acordo ex-post) - pode classificar a publicação em mais de uma abordagem e, se for possível, pode identificar a sub-categoria da abordagem ● princípio(s) ético(s) considerado(s) (e.g.: beneficência; não-maleficência; autonomia; justiça; explicabilidade) - pode classificar a publicação em mais de um princípio ● (opcional) questão(ões) ética(s) relacionadas ao(s) princípio(s) ético(s) (e.g. aspectos éticos gerais; privacidade; equidade (fairness); explicabilidade; responsabilidade; transparência; corretude e acurácia; diversidade; robustez; reprodutibilidade; participação de stakeholders) 4.3. Etapa 3 (3º filtro) – Leitura Completa para Coleta dos Dados Esta etapa consiste na leitura completa dos artigos selecionados na etapa anterior, visando avaliar se realmente atendem ao critério de inclusão, ou se estão fora do escopo da revisão (i.e., atendem a pelo menos um critério de exclusão). Para verificar se uma publicação atende ao critério de inclusão, ela deverá ser pontuada de acordo com os critérios de qualidade (listados na seção 6). Desse modo, apenas as publicações lidas completamente, que atingirem a pontuação mínima de qualidade estabelecida, serão selecionadas para a coleta dos dados, conforme os itens listados na seção “Coleta de Dados (Ficha de Extração de Dados)”. Isso porque, na etapa de Análise, serão considerados para o mapeamento proposto apenas os dados coletados de publicações que atendem a pontuação mínima de qualidade. 4.4. Etapa 4 – Análise da Pesquisa Depois de extraídos, os dados coletados serão analisados e caracterizados para que seja possível apresentar um panorama sobre as abordagens propostas na literatura que podem ser aplicadas para considerar ética durante todo o ciclo de vida do projeto de um sistema de IA. Para isso, os dados levantados por meio do SLM serão analisados e discutidos a partir das questões específicas (QE) anteriormente apresentadas e, na sequência, a questão de pesquisa (QP) será respondida, por meio da discussão dos resultados. As pesquisas analisadas serão caracterizadas de modo a: (1) fornecer uma visão geral das abordagens existentes para tratar questões éticas em sistemas de IA; (2) apresentar as questões e princípios éticos considerados por tais abordagens; e (3) sumarizar os momentos do ciclo de vida do software (etapa do processo de desenvolvimento) em que tais abordagens podem ser aplicadas. Rzepka, C., and Berger, B. (2018). User interaction with AI-enabled systems: A systematic review of IS research. In International Conference on Information Systems (ICIS) 2018. 17 pages. Strey, Mateus Rambo; Pereira, Roberto, and Salgado, Luciana C. de Castro. 2018. Human Data-Interaction: A Systematic Mapping. In Proceedings of the 17th Brazilian Symposium on Human Factors in Computing Systems (IHC 2018). Association for Computing Machinery, New York, NY, USA, Article 27, 1–12. DOI:https://doi-org.ez27.periodicos.capes.gov.br/10.1145/3274192.3274219 Xavier, S. I. R., Barbosa, G. A. R. e Prates, R. O. 2012. Caracterização das Pesquisas de Acessibilidade Digital depois dos Grandes Desafios da SBC 2006-2016: Uma Revisão Sistemática da Literatura. In Proc. of SEMISH’12, pp. 426-432.