0.1 P o ocolo da MLR
0.2 Me odologia de Pesquisa
Uma e isão sis emá ica da li e a u a - SLR - é “um meio de a alia e in e p e a odas as
pesquisas disponí eis ele an es pa a uma ques ão de pesquisa especí ica, á ea de ópico
ou enômeno de in e esse” (Ki chenham, 2004) [4]. Es e abalho ado a a me odologia
da e isão mul i ocal da li e a u a - MLR sendo es a um ipo de e isão sis emá ica da
li e a u a que conside a an o a li e a u a acadêmica e a cinza em seu es udo. Pa a a
execução des a abo dagem u ilizou-se o p ocesso de MLR, con o me di e izes de inidas
po Mendoza e al. [1], com algumas adap ações e a adoção das es a égias de pesquisa
Snowballing e Snowballing e e so. Na pesquisa Snowballing iden i ica-se a igos que
ci am um a igo incluído an e io men e no conjun o de es udo enquan o a pesquisa de
Snowballing e e so iden i ica no os a igos a pa i das e e ências de um a igo incluído
an e io men e no conjun o [5].
As e apas de pesquisa ado adas nes e abalho são ap esen adas na Figu a 1 em que EO
ep esen a a quan idade de es udos iniciais, E1 a quan idade de es udos após o esul ado
do p imei o il o, E2 o esul ado após o segundo e E3 a quan idade inal de es udos
selecionados.
0.3 Planejamen o
A e isão mul i ocal da li e a u a (MLR) é uma o ma de e isão sis emá ica (es udo que
analisa e sin e iza in o mações de es udos exis en es ge ando no os esul ados e conclu-
sões) que p oduz dados quali a i os e quan i a i os pe mi indo uma isão mais ampla do
es ado a ual do assun o pesquisado a pa i da conside ação da li e a u a cinza [6]. Assim
como as e isões sis emá icas da li e a u a, MLRs são usadas pa a en en a o p oblema
do iés do pesquisado p ocu ando encon a o máximo possí el de pesquisas ele an es
usando mé odos explíci os pa a e i ica an eceden es e e isa a li e a u a de ma e iais
e pesquisas an e io es [6][7]. Pa a que a e isão da lei u a seja e icien e a mesma de e
ga an i que o campo abo dado seja co e amen e comp eendido o necendo assim uma
boa base pa a u u as pesquisas.
0.3.1 C i é io de inclusão
Pa a que um es udo seja incluído, ele de e es a esc i o em Po uguês ou Inglês e abo da
sucin amen e a emá ica de e amen as de ge ação de es es. O p ocesso de inclusão dos
1
Figu a 1: Me odologia de pesquisa ado ada [1]
es udos oi ealizado em ês e apas em que um a igo apenas é quali icado a segui pa a
a seguin e caso o mesmo cump a o c i é io de inclusão da a ual. As e apas são:
1. Iden i icação de abalhos a pa i dos p ocessos de Snowballing e Snowballing e-
e so: O a igo a aliado de e e sido publicado a pa i do ano de 2012.
2. Lei u a do abs ac , í ulo e pala as cha es: A lei u a das sessões ci adas pe mi e
uma ápida comp eensão do assun o abo dado e concede uma ideia ge al do escopo
do a igo pe mi indo assim e i ica se o es udo em ques ão abo da os emas dese-
jados pa a a pesquisa e o ápido desca e do mesmo caso a espos a seja nega i a.
3. Lei u a do abalho na ín eg a: O a igo a aliado de e demons a que sua inclusão
ao conjun o da pesquisa az ce a no idade e con ibui de alguma o ma pa a a
esolução de no mínimo uma pe gun a de pesquisa. Dessa o ma, ado ou-se que o
es udo de e abo da ao menos um dos ópicos:
•Fe amen as de ge ação de es e disponí eis;
2
•Van agens e Desa ios ao u iliza e amen as de ge ação de es es;
•Relação en e desen ol edo e e amen as de ge ação de es es.
A Tabela 1 ap esen a o p ocedimen o da aplicação dos c i é ios de inclusão:
E apa C i é ios de inclusão
Iden i icação de abalhos a pa i do
p ocesso de Snowballing e Snowballing
in e so
Documen os publicados a pa i de 2012
Lei u a dos esumos e echos que o-
am ci ados ou que ci am
Ade ência às emá icas p opos as
Lei u a do abalho na ín eg a Abo da ao menos um dos ópicos menciona-
dos
Tabela 1: C i é ios de inclusão ado ados no Snowballing
0.3.2 C i é io de exclusão
Além de ma e iais que não se quali icam nos c i é ios de inclusão como documen os pu-
blicados an es de 2012, o am excluídos li e a u a inacessí el, ou seja não disponí el pa a
a comunidade, esul ados que a pesquisa do Google conside a semelhan es, anúncios de
e amen as de o necedo es.
0.3.3 A aliação de qualidade
Segundo Ga ousi e al. [3], a a aliação de qualidade dos es udos consis e em de e mina
a é que pon o um es udo é alido e li e de iés. A li e a u a o mal ge almen e segue
um p ocesso con olado de e isão e publicação, como a li e a u a cinza é mais a iada e
menos con olada a qualidade dessa li e a u a é mais di e sa e possi elmen e complicada
de a alia sendo necessá io abo da um modelo pa a a aliação de sua qualidade. Pa a
a alia a qualidade de es udos da li e a u a cinza Ga ousi e al. [3] suge e aplica e
adap a ce os c i é ios de a aliação sendo eles: au o idade do p odu o , me odologia,
obje i idade, da a, no idade e ipos de qualidade, os quais o am adap ados pa a esse
es udo, a a és das seguin es pe gun as:
1. Au o idade do p odu o : A o ganização ou indi íduo que publicou o es udo pos-
sui c edibilidade? ou seja, possuiu uma boa epu ação, publicou ou os abalhos na
á ea e/ou possui expe iência na á ea? Po exemplo: So wa e Enginee ing Ins i u e
(SEI).
3
2. Me odologia: O es udo em um obje i o cla amen e decla ado? O es udo é apoi-
ada po on es e e e ências con iá eis? O es udo esponde alguma das pe gun as de
pesquisa es abelecidas?
3. Obje i idade: As a i mações do es udo são as mais obje i as possí eis ou são de
opiniões subje i as? ou seja, as in o mações p o idas pelo es udo são ap esen adas
e apoiados po dados conc e os?
4. Da a de publicação: O es udo possui uma da a de publicação cla amen e indi-
cada?
5. No idade: O es udo adiciona algo no o e único a pesquisa? e i ica ou a i ica
algum ou o es udo da li e a u a?
6. Tipos de qualidade:
•1ºní el: Con ole de saída al a/Al a c edibilidade: Li os, e is as, eses,
ela ó ios go e namen ais
•2ºní el: Con ole de saída mode ado/ C edibilidade mode ada: ela ó ios
anuais, a igos de no ícias, ap esen ações, ídeos, si es de pe gun as e espos as,
a igos wiki
•3ºní el: Con ole de saída baixo/ Baixo c edibilidade: blogs, e-mails, wee s
Ga ousi e al. [3].
Cada es udo de li e a u a cinza é a aliado pelas pe gun as mencionadas e ecebe um
pon o pa a cada espos a "sim"podendo ob e um o al de 10 pon os de aco do com os
c i é ios au o idade do p odu o , me odologia, obje i idade, da a e no idade. Adicional-
men e, cada on e ecebe 0, 0,5 ou 1 pon o caso seja ní el 3, 2 ou 1 espec i amen e.
De o ma a es abelece uma a aliação de qualidade sis emá ica pa a odas as on es de
li e a u a cinza, oi de inido que a pon uação de qualidade de 6 é o “limia ”. Qualque
on e acima disso é incluída no es udo enquan o as demais com pon uação abaixo dela são
excluídas. A Tabela 2 exempli ica uma análise de qualidade conside ando ês li e a u as
cinzas ic ícias sendo elas: GL1: Pos agem em um blog, GL2: Re is a e GL3: Vídeo do
You ube.
Ao analisa a Checklis e i ica-se que GL1 oi excluído enquan o GL2 e GL3 o am
incluídos no p ocesso.
0.4 Execução da pesquisa
Após a de inição do p o ocolo a se seguido, deu-se inicio a execução da e isão mul i ocal
e aquisição de ma e iais de pesquisa. O p ocesso de iden i icação e seleção de no os es udos
4
C i é io Ques ões GL1 GL2 GL3
Au o idade do p odu o A o ganização ou indi íduo que
publicou o es udo possui c edibi-
lidade? ou seja, possuiu uma boa
epu ação e/ou possui expe iên-
cia na á ea?
0 1 0
A o ganização ou indi íduo publi-
cou ou os es udos nessa mesma
á ea de conhecimen o?
1 1 1
Me odologia O es udo em um obje i o cla a-
men e decla ado?
0 1 1
O es udo é apoiado po on es e
e e ências con iá eis?
1 1 0
O es udo esponde alguma das
pe gun as de pesquisa es abeleci-
das?
0 0 1
Obje i idade As a i mações do es udo são as
mais obje i as possí eis ou são de
opiniões subje i as?
0 1 0
As conclusões são apoiadas pelos
dados?
0 1 0
Da a de lançamen o O es udo possui uma da a de lan-
çamen o cla amen e indicada?
1 1 1
No idade O es udo adiciona algo no o e
único a pesquisa?
0 0 1
O es udo e i ica ou a i ica algum
ou o es udo da li e a u a?
0 1 1
Tipo de qualidade 0 1 0.5
Soma o al 3 9 6.5
Tabela 2: Checklis de análise de qualidade da li e a u a cinza [3]
5
a se em incluídos nes e abalho oi ealizada po meio das abo dagens de snowballing
o wa d e in e se snowballing em um conjun o inicial de a igos selecionados. O conjun o
inicial nes e caso consis e em apenas um único documen o sendo esse o a igo de Li e Yang
[8]. A abo dagem de bola de ne e seguida oi abo dada seguindo o es udo de Wohlin e
al. [2]:
O p ocesso de Snowballing e e so consis e em usa a lis a de e e ências pa a iden-
i ica no os a igos a se em incluídos. O p imei o passo dessa abo dagem é pe co e
a lis a de e e ências e exclui a igos que não a endam a c i é ios es abelecidos, e em
seguida, emo e os papéis da lis a que já o am examinados nes a ou em uma i e ação
an e io . As duas p imei as e apas na bola de ne e pa a ás o am u ilizadas pa a ex-
ai o máximo de in o mações possí eis do documen o que es a a sendo examinado não
ha endo ans e ência pa a no os a igos a é que não ha ia mais in o mações disponí eis
no es udo que es á sendo examinado. Po ou o lado, Snowballing pa a en e e e e-se
à iden i icação de no os a igos com base naqueles a igos que ci am o a igo que es á
sendo examinado con udo, possui uma abo dagem pa a examina os papéis semelhan e à
abo dagem u ilizada pela bola de ne e pa a ás [2].
Ao iden i ica um es udo que ao se subme ido aos c i é ios de inclusão se o nou qua-
li icado a aden a a pesquisa, o mesmo oi lido in eg almen e. P imei amen e, leu-se o
esumo e as pa es mais ele an es do a igo após b e e na egação pelo documen o pa a
pode oma uma decisão sob e inclusão ou exclusão de manei a e icien e. Após o snow-
balling e o snowballing e e so, os no os a igos iden i icados na i e ação são colocados
em uma pilha pa a i pa a a p óxima i e ação, como uma i e ação oi ealizada po ez, oi
possí el ob e as eabilidade en e os documen os [2]. A Figu a 2 ilus a as abo dagens
de Snowballing ado adas.
Segundo Ga ousi e al.[3], a condição de pa ada do p ocesso de busca de li e a u a
cinza não é ão cla a quan o a da pesquisa o mal que segue uma cadeia de pesquisa. Os
au o es suge em ês di e en es c i é ios de pa ada sendo elas:
1. Sa u ação eó ica: Quando nenhum no o concei o eme ge dos esul ados da pesquisa
2. Es o ço limi ado: Inclui apenas os p incipais N esul ados do mecanismo de pes-
quisa
3. Esgo amen o de e idências: Ex ai odas as e idências
Es e abalho ado a a abo dagem 1, ou seja, o p ocesso de busca oi ence ado quando
ao pesquisa po no os es udos não ob e e-se nenhum con eúdo no o e ele an e ace ca
de e amen as de es es pa a adiciona a es e abalho que já não enha sido incluído
an e io men e.
6
Figu a 2: E apas do p ocedimen o de snowballing pa a en e e pa a ás [2]
7
Re e ências
[1] Mendoza-Gonzalez, Rica do, Se gio Luján-Mo a, Sal ado O ón, Ma y Sánchez-
Go dón, Ma io Rod íguez-Díaz e Rica do Reyes-Acos a: Guidelines o es ablish an
o ice o s uden accessibili y se ices in highe educa ion ins i u ions. Sus ainabili y,
14:2635, e e ei o 2022. iii, 1, 2
[2] Wohlin, Claes: Guidelines o snowballing in sys ema ic li e a u e s udies and a epli-
ca ion in so wa e enginee ing. Em Sheppe d, Ma in J., T acy Hall e Ingunn My ei
(edi o es): 18 h In e na ional Con e ence on E alua ion and Assessmen in So wa e
Enginee ing, EASE ’14, London, England, Uni ed Kingdom, May 13-14, 2014, pági-
nas 38:1–38:10. ACM, 2014. h ps://doi.o g/10.1145/2601248.2601268. iii, 6,
7
[3] Ga ousi, Vahid, Michael Felde e e Mika V Män ylä: Guidelines o including g ey
li e a u e and conduc ing mul i ocal li e a u e e iews in so wa e enginee ing. In o -
ma ion and so wa e echnology, 106:101–121, 2019. ix, 3, 4, 5, 6
[4] B e e on, Pea l, Ba ba a A Ki chenham, Da id Budgen, Ma k Tu ne e Mohamed
Khalil: Lessons om applying he sys ema ic li e a u e e iew p ocess wi hin he so -
wa e enginee ing domain. Jou nal o sys ems and so wa e, 80(4):571–583, 2007. 1
[5] Linåke , Johan, E i Papa heocha ous e Thomas Olsson: How o cha ac e ize he heal h
o an open sou ce so wa e p ojec ? a snowball li e a u e e iew o an eme ging p ac-
ice. Em P oceedings o he 18 h In e na ional Symposium on Open Collabo a ion,
páginas 1–12, New Yo k, NY, Uni ed S a es, 2022. Associa ion o Compu ing Ma-
chine y. 1
[6] Calde ón, Alejand o, Me cedes Ruiz e Ro y V O’Conno : A mul i ocal li e a u e e iew
on se ious games o so wa e p ocess s anda ds educa ion. Compu e S anda ds &
In e aces, 57:36–48, 2018. 1
[7] Pa i, Debajyo i e Lesa N Lo usso: How o w i e a sys ema ic e iew o he li e a u e.
HERD: Heal h En i onmen s Resea ch & Design Jou nal, 11(1):15–30, 2018. 1
[8] Li, Yuanchun, Ziyue Yang, Yao Guo e Xiangqun Chen: D oidbo : a ligh weigh ui-
guided es inpu gene a o o and oid. Em Uchi el, Sebas ián, Alessand o O so e
Ma in P. Robilla d (edi o es): P oceedings o he 39 h In e na ional Con e ence on
So wa e Enginee ing, ICSE 2017, Buenos Ai es, A gen ina, May 20-28, 2017 - Com-
panion Volume, páginas 23–26, Buenos Ai es, 2017. IEEE Compu e Socie y. 6
8
