P o ocolo SLR
Mapeamen o Sis emá ico do Es ado da A e sob e e amen as e mé odos que
pe mi em que desen ol edo es apliquem é ica a cada es ágio do
desen ol imen o de um sis ema de IA.
1. Obje i o da Pesquisa
Es e es udo em como obje i o p incipal le an a e ap esen a o es ado a ual de conhecimen o (i.e.,
es ado da a e) sob e e amen as e mé odos que pe mi em que desen ol edo es "apliquem" é ica a
cada es ágio do desen ol imen o de um sis ema de IA. Pa a alcança es e obje i o, se á ealizada
uma e isão sis emá ica da li e a u a (SLM – Sys ema ic Li e a u e Mapping) [Ki chenham,
2004][Ki chenham e al., 2009][Pe e sen e al., 2015], es endendo a e isão ealizada po Mo ley e
al. (2019), ob endo assim uma a ualização da sua ipologia, e le indo os a e a os disponibilizados
nos úl imos 5 anos pa a ajuda desen ol edo es, engenhei os e designe s de sis emas de IA a
e le i em e aplica em é ica du an e o desen ol imen o desse ipo de sis ema. Po meio dessa SLM,
se á possí el explici a : (1) a quais p incípios é icos ais a e a os es ão elacionados, (2) quais são as
ques ões é icas a adas po esses a e a os, (3) em qual(is) es ágio(s) de desen ol imen o esses
a e a os podem se u ilizados, e (4) quais são os ipos de abo dagens u ilizadas.
Esse ipo de e isão é impo an e pa a que seja possí el ap esen a uma isão ge al sob e como a
é ica em sendo abo dada no desen ol imen o de sis emas de IA e o nece o ien ações a ualizadas
aos p o issionais da á ea. Es e documen o ap esen a o p o ocolo SLM que desc e e as de inições,
bem como o p ocesso de condução e análise da e isão sis emá ica.
2. Ques ão de Pesquisa
Pa a de inição da ques ão de pesquisa, o am u ilizados os c i é ios PICOC (KITCHENHAM E
CHARLES, 2007), onde (P) e e e-se à População que se á in es igada; (I) e e e-se à In e enção
que se á aplicada aos es udos p imá ios iden i icados; (C) e e e-se à Compa ação en e os
es udos que se á conside ada; (O) e e e-se aos Resul ados/Ou come, que consis em no e ei o
que se á in es igado; e, po im, (C) e e e-se ao Con ex o onde oco e a in es igação. Assim, a
ques ão de pesquisa p incipal (QP) oi de inida como segue:
o [QP] - Que a e a os (O) es ão disponí eis pa a auxilia desen ol edo es, engenhei os e
designe s a e le i em e aplica em é ica (I) no desen ol imen o de sis emas (P) de IA (C)
O a ibu o “Compa ação” não oi u ilizado na de inição da ques ão de pesquisa endo em is a
que o obje i o é iden i ica e amen as e mé odos pa a auxilia desen ol edo es, engenhei os
e designe s a e le i em e aplica em é ica no desen ol imen o de sis emas de IA, e não
compa á-los.
2.1. Ques ões Especí icas:
▪ [QE1] Tais a e a os consis em em que ca ego ias de abo dagens?
▪ [QE2] Tais a e a os es ão elacionados a quais p incípios é icos?
▪ [QE3] Tais a e a os são ol ados pa a a a que ques ões é icas?
▪ [QE4] Em qual(is) es ágio(s) do ciclo de ida do sis ema de IA ais a e a os
podem se u ilizados?
▪ [QE5] O uso do a e a o oi a aliado? Se sim, que ipo de a aliação oi ealizada?
▪ [QE6] Qual o olume o al e po ano de publicações que ap esen am a e a os
ol ados pa a conside ação de aspec os é icos no p oje o de sis emas de IA?
▪ [QE7] Em quais eículos (e en os/ ó uns cien í icos/pe iódicos) as inicia i as
sob e a e a os ol ados pa a conside ação de aspec os é icos no p oje o de
sis emas de IA êm sido publicadas?
▪ [QE8] Quais são as ins i uições e países que publicam sob e a e a os ol ados
pa a conside ação de aspec os é icos no p oje o de sis emas de IA?
3. Especi icação da Busca (C i é ios da Busca)
3.1. Iden i icação (De inição) da S ing de Pesquisa
Pa a a ealização de uma e isão sis emá ica da li e a u a é impo an e que a s ing de pesquisa
(SP) seja bem de inida. A SP é de inida po meio dos seguin es passos: (1)iden i icação das SPs
candida as, (2) es es das SPs candida as nos eposi ó ios de busca, de modo a iden i ica quais
delas e o nam o maio olume de a igos ele an es e (3) de inição da SP da SLR [Ki chenham,
2004][Ki chenham e al., 2009].
Conside ando esses passos, as SPs candida as o am o madas. Na sequência, elas o am
es adas nos eposi ó ios de busca ACM Digi al Lib a y, IEEE Xplo e Digi al Lib a y e Sp inge , ês
dos p incipais eposi ó ios de publicações ele an es elacionadas a Compu ação, além do a Xi ,
que eúne a igos não e isados po pa es.
De inidos os eposi ó ios pa a os es es das SPs candida as, oi necessá io de ini os c i é ios pa a
a alia a qualidade dos esul ados e o nados po cada SP es ada. Como suge ido po
Ki chenham e al. (2009), G ana o e al. (2016), Coelho e al. (2017) e S ey e al. (2018), Meye
on Wol e al. (2019) em SLRs an e io es, os c i é ios u ilizados pa a indica a qualidade da SP
o am (1) o olume de a igos elacionados ao ema e o nados nas duas p imei as páginas de
esul ados e (2) o e o no de dois a igos ele an es pa a o SLM na p imei a página de
esul ados. Os dois a igos conside ados ele an es pa a o SLM p opos o são:
● Ba bosa, S. D. J., Ba bosa, G. D. J., Souza, C. S. D., & Lei ão, C. F. (2021, Ma ch). A
semio ics-based epis emic ool o eason abou e hical issues in digi al echnology design
and de elopmen . In P oceedings o he 2021 ACM Con e ence on Fai ness,
Accoun abili y, and T anspa ency (pp. 363-374).
● Shneide man, B. (2020). B idging he gap be ween e hics and p ac ice: guidelines o
eliable, sa e, and us wo hy human-cen e ed AI sys ems. ACM T ansac ions on
In e ac i e In elligen Sys ems (TiiS), 10(4), 1-31.
3.1.1. Tes es com a S ing Candida a
Inicialmen e, oi es ada a mesma s ing usada po Mo ley e al. (2019) (SPC01).
S ing Candida a 01 (SPC01): “( "E hic*" OR "Public pe cep ion" OR "In ellec ual p ope y" OR
"Business model" OR "E alua ion" OR "Da a sha ing" OR "Impac assessmen " OR "P i acy" OR
"Ha m" OR "Legisla ion" OR "Regula ion" OR "Da a minimisa ion" OR "T anspa ency" OR "Bias"
OR "Da a p o ec ion" ) AND ( "machine lea ning" OR "A i icial In elligence" )”
Reposi ó io
TOTAL SPC01*
ACM Digi al Lib a y (h ps://dl.acm.o g/)
145,782
IEEE Xplo e (h p://ieeexplo e.ieee.o g)
67,073
a Xi
301,328
Sp inge Link (h ps://link.sp inge .com/)
267.334
TOTAL
*Resul ado das Buscas sem il a po pe íodo
A pa i dos es es com a s ing candida a SP01, que e o nou um núme o excessi amen e al o
de esul ados, oi decidido usa os c i é ios PICOC (KITCHENHAM E CHARLES, 2007), desc i os
an e io men e, pa a de ini a S ing de Pesquisa (SP) a se u ilizada na SLR. A Tabela 1 ap esen a
o p ocesso de iden i icação de e mos elacionados, pa a a c iação da s ing de pesquisa.
Decidiu-se usa apenas o e mo “e hic*" pa a conside a o escopo da é ica nas publicações. Isso
po que, con o me demons ado nos es es com a s ing candida a, usa ou os e mos que
podem indi e amen e eme e a ques ões e p incípios é icos, como "Public pe cep ion",
"In ellec ual p ope y" OR "Business model" e "E alua ion", po exemplo, e o na um núme o
ex emamen e al o de publicações, que mui as ezes não ão abo da di e amen e ques ões
é icas. Fo am usados os e mos "Machine Lea ning" e "A i icial In elligence", como sinônimos,
pa a limi a o escopo pa a so wa es que consis em em soluções de IA.
Tabela 1. Iden i icação de e mos aplicando os c i é ios PICOC
C i é io
Te mo base
Sinônimos
A igos base
População (P)
Sis ema
so wa e
algo i hmic
● Shneide man (2020)
In e enção (I)
É ica
e hic*
● Ba bosa e al.
(2021)
● Shneide man (2020
Compa ação (C)
Não aplicá el
Não aplicá el
● Não aplicá el
Resul ado (O)
A e a os
de elopmen
● Shneide man (2020
Con ex o (C)
IA
machine lea ning
a i icial in elligence
● Ba bosa e al.
(2021)
● Shneide man (2020)
3.1.2. S ing de Pesquisa (SP) u ilizada na SLR
A pa i dos e mos mos ados na abela 1, decidiu-se jun a os e mos "so wa e" e
"algo i hmic" com o e mo "de elopmen ", e assim usa os e mos "so wa e de elopmen " e
"algo i hmic de elopmen " como sinônimos, pa a es ingi os esul ados que azem a é ica ao
escopo do desen ol imen o de so wa e. Assim, oi u ilizada a seguin e s ing de busca:
( e hic* ) AND ( "so wa e de elopmen " OR "algo i hmic de elopmen " ) AND ( "Machine
Lea ning" OR "A i icial In elligence" )
3.2. Tipos de Publicações
De inida a ques ão de pesquisa, bem como a s ing de busca, é p eciso seleciona os ipos de
es udos que se ão analisados po meio da SLR [Ki chenham, 2004][Ki chenham e al., 2009].
A e isão de li e a u a aqui p opos a e e seu escopo delimi ado a a igos comple os publicados
em anais de e en os e em pe iódicos, além de capí ulos de li os in e nacionais e nacionais.
Isso po que, embo a os ou os ipos de publicações (e.g., disse ações e eses) epo em
impo an es esul ados, oi necessá io limi a o escopo da análise. Além disso, publicações em
o ma o de a igos comple os, bem como capí ulos de li os, ap esen am esul ados sólidos com
con ibuições e iden es pa a uma á ea de in e esse [Ki chenham e al., 2009][Rzepka and
Be ge , 2018][S ey e al., 2018][Meye on Wol e al., 2019].
3.3. Pe íodo da SLR P opos a
Se ão conside ados nos esul ados da busca e nas análises os es udos publicados nos úl imos 05
anos (i.e., en e 2019 e 2023) elacionados a SLR p opos a. A limi ação do ano inicial da busca
em 2019 jus i ica-se pelo a o de que Mo ley e al. (2019) ealizou uma e isão sis emá ica com
p opósi o semelhan e, que conside ou abalhos publicados a é meados de 2019.
3.4. Biblio ecas/Reposi ó ios e Pa âme os de Pesquisa
As buscas o am ealizadas nos seguin es eposi ó ios: ACM Digi al Lib a y, IEEE Xplo e Digi al
Lib a y, Sp inge , Scopus e a Xi . Os ês p imei os co espondem a alguns dos p incipais
eposi ó ios que a mazenam abalhos ele an es pa a a á ea da Compu ação, incluindo
inicia i as ocadas na In e ação Humano Compu ado (IHC) [Coelho e al., 2017][S ey e al.
2018][Meye on Wol e al., 2019][Es e wood and Robe , 2020]. A Scopus é uma máquina de
busca que o nece al a lexibilidade na execução de ope ações de pesquisa e possui uma das
maio es bases de dados indexadas [Ki chenham e Cha e s, 2007]. Po im, decidiu-se inclui o
a Xi , uma base de dados que eúne a igos da li e a u a cinzen a, dado que o seu p ocesso de
publicação é bem mais ápido que os a igos e isados po pa es. Essa agilidade na publicação é
in e essan e de se conside ada, dado o ca á e a ual e eme gen e do ema da pesquisa. A
Tabela 01 ap esen a os pa âme os e a o ma como as buscas o am conduzidas em cada
eposi ó io
Reposi ó io/E en o
Pa âme os
Como busca
S ing de pesquisa especí ica
da on e
ACM Digi al Lib a y
(h ps://dl.acm.o g/)
Publica ion Type: P oceedings
and Jou nals (elimina ed:
Books, Magazines, Newsle e s,
Repo s, CHI O al His o ies)
Sea ch Wi hin: Anywhe e
Publica ion Da e - Cus om
ange – F om: Janua y 2019 o:
May 2024
Au omá ica
[All: e hic*] AND [[All: "so wa e
de elopmen "] OR [All:
"algo i hmic de elopmen "]]
AND [[All: "machine lea ning"]
OR [All: "a i icial in elligence"]]
AND [E-Publica ion Da e:
(01/01/2019 TO 05/31/2024)]
IEEE Xplo e Digi al
Lib a y
(h p://ieeexplo e.iee
e.o g)
Publica ion Type: Con e ences,
Jou nals and Magazines
Sea ch in: All Me ada a
Speci y Yea Range: 2019 –
2024
Au omá ica
("All Me ada a":e hic*) AND
("All Me ada a":"so wa e
de elopmen " OR "All
Me ada a":"algo i hmic
de elopmen ") AND ("All
Me ada a":"Machine Lea ning"
OR "All Me ada a":"A i icial
In elligence")
a xi
(h ps ://a xi .o g/)
Sea ch Wi hin: All ields
Subjec : Compu e Science,
Elec ical Enginee ing and
Sys ems Science
Da e ange – F om: 2019 o:
2024
Au omá ica
Sp inge Link
(h ps://link.sp inge .c
om/)
Con en Type: Chap e , A icle,
Resea ch A icle, Con e ence
Pape
Cus om da es: S a yea : 2019
and End yea : 2024
Language: English and
Po uguese
Discipline: Compu e Science
and Enginee ing
Au omá ica
( e hic* ) AND ( "so wa e
de elopmen " OR "algo i hmic
de elopmen " ) AND ( "Machine
Lea ning" OR "A i icial
In elligence" )
Scopus
(h p://www.scopus.c
om/)
Sea ch wi hin: All ields
Yea : F om 2019 o 2024
Subjec a ea: Compu e
Science and Enginee ing
Documen ype: A icle,
Con e ece pape and Book
chap e
Language: English and
Po uguese
Au omá ica
ALL ( ( e hic* ) AND ( "so wa e
de elopmen " OR "algo i hmic
de elopmen " ) AND ( "Machine
Lea ning" OR "A i icial
In elligence" ) ) AND PUBYEAR >
2018 AND PUBYEAR < 2025
AND ( LIMIT-TO ( SUBJAREA ,
"COMP" ) OR LIMIT-TO (
SUBJAREA , "ENGI" ) ) AND (
LIMIT-TO ( DOCTYPE , "a " ) OR
LIMIT-TO ( DOCTYPE , "cp" ) OR
LIMIT-TO ( DOCTYPE , "ch" ) )
AND ( LIMIT-TO ( LANGUAGE ,
"English" ) OR LIMIT-TO (
LANGUAGE , "Po uguese" ) )
3.5. Pesquisa Inicial
An es de inicia o p ocesso de seleção dos a igos, é ealizada a pesquisa inicial com a SP de inida
pa a a SLR, conside ando o pe íodo especi icado pa a a SLR p opos a. Nessa e apa, é egis ada a
quan idade de publicações e o nadas nos eposi ó ios a pa i da S ing de busca. Pa a diminui
as chances de elimina abalhos ele an es pa a a pesquisa, a s ing de busca (SP) não se
es ingi á a busca po í ulo, a busca se á ei a em odo o ex o. Isso po que exis e a
possibilidade de abalhos ele an es pa a a SLR não u iliza em os e mos da s ing de busca nos
í ulos e, ao in és disso, u ilizá-los no co po do ex o [Ki chenham, 2004][Ki chenham e al.,
2009] [Coelho e al., 2017] [Rzepka and Be ge , 2018][S ey e al., 2018][Meye on Wol e al.,
2019] [Es e wood and Robe , 2020]. A busca oi ealizada no dia 09/05/2024 e os esul ados da
pesquisa inicial são exibidos a segui .
Reposi ó io
To al
(09/05/2024)
ACM Digi al Lib a y (h ps://dl.acm.o g/)
1138
IEEE Xplo e Digi al Lib a y (h p://ieeexplo e.ieee.o g)
44
Sp inge Link (h ps://link.sp inge .com/)
971
a xi (h ps ://a xi .o g/)
20
Scopus (h p://www.scopus.com)
1386
TOTAL
3529
*Resul ado das Buscas conside ando o pe íodo en e o ano de 2019 e 2024
4. Me odologia pa a Seleção dos A igos e Análise dos Dados
Es a seção desc e e a me odologia pa a a seleção das publicações e a análise dos dados. Simila aos
abalhos que ealiza am SLR pa a ap esen a um pano ama ou mapeamen o de inicia i as
elacionadas a um de e minado enômeno (e.g., [Ki chenham, 2004][Ki chenham e al., 2009]
[Coelho e al., 2017] [Rzepka and Be ge , 2018][S ey e al., 2018][Meye on Wol e al., 2019]
[Es e wood and Robe , 2020]), o p esen e SLM se á ealizado em qua o e apas, con o me
ap esen ado na Figu a 1:
Figu a 1. Me odologia de Pesquisa
4.1. E apa 1 (1º il o) – Seleção po meio do Tí ulo, Resumo e
Pala as-cha e
Es a e apa consis e na lei u a dos í ulos, esumos e pala as-cha e dos a igos, com o p opósi o
de analisa se o a igo es á associado ao obje i o/escopo da pesquisa. Se ão aplicados os
c i é ios de seleção es abelecidos pa a a pesquisa, mos ados na Seção 5, com a emoção dos
a igos que o em conside ados i ele an es e duplicados. Nes a e apa ainda não de emos
obse a /analisa as ques ões de pesquisa. Em caso de dú ida quan o à emoção de um a igo,
ou no caso de a igo que não i e esumo, o mesmo de e á pe manece na lis a pa a que
possa se analisado na p óxima e apa (Lei u a Diagonal).
4.2. E apa 2 (2º il o) – Seleção po meio de Lei u a Diagonal
Es a e apa consis e na lei u a diagonal (in odução, ópicos p incipais e conclusão) das
publicações selcionadas pa a es a e apa, com o p opósi o de analisa se o a igo es á associado
às ques ões de pesquisa. Aqui ambém se ão aplicados os c i é ios de inclusão e exclusão
es abelecidos pa a a pesquisa, mos ados na Seção 5, com a emoção dos que o em
conside ados i ele an es. Em caso de dú ida quan o à emoção de um a igo, o mesmo de e á
pe manece na lis a pa a que possa se analisado na p óxima e apa (Lei u a Comple a).
Obse ação: Nes a e apa as publicações de e ão se ca ego izadas quan o:
● nacionalidade (i.e., nacional ou in e nacional)
● abo dagem(ns) p opos a(s) (e.g.: noções; p ocedimen os; código; in aes u u a,
educação; a aliação e aco do ex-pos ) - pode classi ica a publicação em mais de uma
abo dagem e, se o possí el, pode iden i ica a sub-ca ego ia da abo dagem
● p incípio(s) é ico(s) conside ado(s) (e.g.: bene icência; não-male icência; au onomia;
jus iça; explicabilidade) - pode classi ica a publicação em mais de um p incípio
● (opcional) ques ão(ões) é ica(s) elacionadas ao(s) p incípio(s) é ico(s) (e.g. aspec os
é icos ge ais; p i acidade; equidade ( ai ness); explicabilidade; esponsabilidade;
anspa ência; co e ude e acu ácia; di e sidade; obus ez; ep odu ibilidade;
pa icipação de s akeholde s)
4.3. E apa 3 (3º il o) – Lei u a Comple a pa a Cole a dos Dados
Es a e apa consis e na lei u a comple a dos a igos selecionados na e apa an e io , isando
a alia se ealmen e a endem ao c i é io de inclusão, ou se es ão o a do escopo da e isão (i.e.,
a endem a pelo menos um c i é io de exclusão). Pa a e i ica se uma publicação a ende ao
c i é io de inclusão, ela de e á se pon uada de aco do com os c i é ios de qualidade (lis ados na
seção 6). Desse modo, apenas as publicações lidas comple amen e, que a ingi em a pon uação
mínima de qualidade es abelecida, se ão selecionadas pa a a cole a dos dados, con o me os
i ens lis ados na seção “Cole a de Dados (Ficha de Ex ação de Dados)”. Isso po que, na e apa de
Análise, se ão conside ados pa a o mapeamen o p opos o apenas os dados cole ados de
publicações que a endem a pon uação mínima de qualidade.
4.4. E apa 4 – Análise da Pesquisa
Depois de ex aídos, os dados cole ados se ão analisados e ca ac e izados pa a que seja possí el
ap esen a um pano ama sob e as abo dagens p opos as na li e a u a que podem se aplicadas
pa a conside a é ica du an e odo o ciclo de ida do p oje o de um sis ema de IA. Pa a isso, os
dados le an ados po meio do SLM se ão analisados e discu idos a pa i das ques ões
especí icas (QE) an e io men e ap esen adas e, na sequência, a ques ão de pesquisa (QP) se á
espondida, po meio da discussão dos esul ados. As pesquisas analisadas se ão ca ac e izadas
de modo a: (1) o nece uma isão ge al das abo dagens exis en es pa a a a ques ões é icas
em sis emas de IA; (2) ap esen a as ques ões e p incípios é icos conside ados po ais
abo dagens; e (3) suma iza os momen os do ciclo de ida do so wa e (e apa do p ocesso de
desen ol imen o) em que ais abo dagens podem se aplicadas.
Rzepka, C., and Be ge , B. (2018). Use in e ac ion wi h AI-enabled sys ems: A sys ema ic
e iew o IS esea ch. In In e na ional Con e ence on In o ma ion Sys ems (ICIS) 2018. 17 pages.
S ey, Ma eus Rambo; Pe ei a, Robe o, and Salgado, Luciana C. de Cas o. 2018. Human
Da a-In e ac ion: A Sys ema ic Mapping. In P oceedings o he 17 h B azilian Symposium on Human
Fac o s in Compu ing Sys ems (IHC 2018). Associa ion o Compu ing Machine y, New Yo k, NY, USA,
A icle 27, 1–12. DOI:h ps://doi-o g.ez27.pe iodicos.capes.go .b /10.1145/3274192.3274219
Xa ie , S. I. R., Ba bosa, G. A. R. e P a es, R. O. 2012. Ca ac e ização das Pesquisas de Acessibilidade
Digi al depois dos G andes Desa ios da SBC 2006-2016: Uma Re isão Sis emá ica da Li e a u a. In
P oc. o SEMISH’12, pp. 426-432.
