Um Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa

Estas informações podem ser utilizadas, copiadas e adaptadas livremente para fins não comerciais, desde que a fonte seja citada. MAIO DE 2025 Esta publicação está licenciada sob a Creative Commons Attribution-Noncommercial CC BY-NC. em Organizações Realizadoras de Pesquisa Um Guia Prático para Implementar uma Avaliação Responsável de Pesquisa Índice Prefácio 4 Recursos e referências 65 Anexo: Agradecimentos 69 1 INTRODUÇÃO 6 1.1 Como utilizar o Guia 7 1.2 O objetivo e os princípios da 9 Avaliação Responsável de Pesquisa 2 ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA 13 ESTRATÉGIA DE ARP 2.1 Envolvendo a liderança da organização 16 2.2 Trabalhando com a comunidade da sua organização 18 2.3 Mobilizando recursos para desenvolver e 20 implementar uma estratégia de ARP 2.4 Constituindo um grupo de trabalho/força-tarefa 22 2.5 Explorando o panorama da ARP 24 2.6 Revisando as práticas atuais de avaliação 26 2.7 Desenvolvendo uma visão estratégica para a ARP 28 2.8 Desenvolvendo planos de engajamento 30  ecomunicaçãoeficazes 2.9 Monitorando e atualizando sua estratégia 32 3 MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE 35 PESQUISADORES 3.1 Decisões de recrutamento, contratação e progressão 38 3.2 Prêmios institucionais e bolsas internas 42 3.3 Avaliação de unidades internas de pesquisa 46 3.4 Desenvolvimento da comunicação institucional 52 4 INICIATIVAS GLOBAIS E EXEMPLOS RELEVANTES PARA A ARP 55 4.1 Liderança e orientação sobre aspectos da ciência aberta 56 4.2 Impulsionando a reforma da avaliação de pesquisa 59 4.3 Incentivando uma visão holística e inclusiva da pesquisa 62 4.4 Possibilitando políticas baseadas em evidências e integridade 64 na pesquisa GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 4 PREFÁCIO Quando a Declaração de São Francisco sobre Avaliação de Pesquisa (DORA – San Francisco Declaration on Research Assessment) foi anunciada em 2013, seu objetivo era aumentar a conscientização sobre as métricas problemáticas utilizadas para avaliar pesquisas e pesquisadores e anunciar uma nova era na avaliação de pesquisa – uma era em que os pesquisadores são avaliados com base em uma ampla gama de contribuições para o conhecimento, a pesquisa e sociedade, com foco na qualidade e no impacto. A Declaração fornecia 18 recomendações para os diferentes atores do sistema de pesquisa considerarem ao realizar processos e práticas de avaliação de pesquisa1. Essas recomendações visavam aumentar a transparência das métricas utilizadas para avaliar a pesquisa em diferentes contextos e expandir o foco para além do que pode ser facilmente contabilizado. Em termos práticos, ao longo da última década, o foco da DORA tem sido aumentar a conscientização sobre a necessidade de uma reforma na avaliação de pesquisa e apoiar as organizações no desenvolvimento e implementação de políticas e práticas que promovam os objetivos orientados para a sua missão. A equipe DORA criou estudos de caso e coordena um repositório pesquisável, o Reformscape, para destacar exemplos de inovação e mudança nas políticas e práticas de avaliação de pesquisa que ocorrem em todo o mundo2,3,4. Com base em nossa experiência de trabalho com muitas organizações na última década, sabemos que introduzir novas abordagens e fazer mudanças nas práticas estabelecidas de avaliação de pesquisa é invariavelmentedesafiadorerequeracontribuição de muitas partes interessadas que trabalham em organizações complexas de pesquisa Ao longo da última década, aprendemos que existemfatorescomunsqueinfluenciameimpactam a reforma da avaliação de pesquisa em todas as organizações. Este Guia tem como objetivo aproveitar esse aprendizado e fornecer orientações práticas e dicas para organizações que realizam pesquisas e desejam tomar medidas para revisar ou reformar a maneira como avaliam pesquisas e pesquisadores. Atualmente, com mais de 26.000 assinaturas – de indivíduos e instituições em todo o mundo – é crescente a conscientização sobre a necessidade de uma reforma para Avaliação Responsável de Pesquisa (ARP). GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 5 Nosso público-alvo é formado por pessoas que trabalham em organizações de ensino e pesquisa e que buscam promover mudanças positivas nas práticas de avaliação acadêmica e de pesquisa, incluindo, mas certamente não se limitando àqueles em cargos de liderança em pesquisa (por exemplo, reitoras e reitores, pró-reitoras e pró-reitores, decanos e decanaas), docentes, assistentes acadêmicos e administrativos, funcionários, bem como aquelesresponsáveispeladefiniçãodepolíticas organizacionais e práticas de recrutamento, equipe de comunicação e divulgação de pesquisa e outras equipesquepossamestarenvolvidasnadefinição de iniciativas relacionadas à cultura de pesquisa. Sabemos que não existe uma solução única para a avaliação de pesquisa. Cada organização e jurisdiçãoenfrentaseupróprioconjuntodedesafios complexos. O Guia foi feito para ser usado de forma flexívele,semprequepossível,éindependente dedisciplinasoulocalizaçãogeográfica. Incentivamos as organizações a usar este Guia da maneira que melhor se adapte ao seu contexto. Usem-no na íntegra ou aproveitem as partes que mais lhes interessam, sempre adaptando-o e compartilhando-o com suas comunidades. Esta é a primeira versão do Guia, e prevemos que ele sejamodificado,atualizadoaolongodotempoe, especialmente, enriquecido com exemplos reais e comentários das organizações e instituições que realizam pesquisas à medida que estas passarem a utilizá-lo. OGuiarefleteotrabalhoárduodemuitos colaboradores. Gostaríamos de reconhecer e agradecer especialmente aos participantes de uma reunião de trabalho realizada em janeiro de 2025 em Washington, DC, EUA, que forneceram reflexõesecontribuiçõesvaliosasparaajudara moldá-lo. Gostaríamos de agradecer à Arcadia Foundation,queforneceufinanciamentoparaapoiar odesenvolvimentodestedocumento.Porfim, gostaríamos de agradecer ao comitê diretor e ao conselho executivo da DORA, bem como às equipes presentes e passadas da DORA, sem os quais a criação do Guia não teria sido possível. Ginny Barbour, Kelly Cobey, Rebecca Lawrence Copresidentes e vice-presidente da DORA Maio de 2025 Este Guia tem como objetivo aproveitar esse aprendizado e fornecer orientações práticas e dicas para organizações que realizam pesquisas e desejam tomar medidas para revisar ou reformar a maneira como avaliam a pesquisa e pesquisadores. GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 6 GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs Introdução 1 Este guia fornece orientações práticas, recursos e exemplos ilustrativos para organizações realizadoras de pesquisa e inovação (ORPs) que desejam moldar e implementar práticas de avaliação responsável de pesquisa (ARP). Isso inclui organizações que estão desenvolvendo uma estratégia de ARP, reformando políticas e práticas existentes ou simplesmente desejando tomar medidas para abordagens mais holísticas e inclusivas da avaliação de pesquisa. Sabemos que muitas ORPs estão interessadas em reformar suas práticas de avaliação de pesquisa, mas não têm tempo, espaço e/ou conhecimento para refletir sobre como fazer isso e não sabem por onde começar ou simplesmente desistem porque realizar mudanças pode parecer muito difícil. As instituições também existem dentro de um sistema de pesquisa e, muitas vezes, há atores e influências externas (incluindo processos de avaliação nacionais e diretrizes de organizações financiadoras) que afetam a forma como as ORPs podem agir. O Guia apresenta uma série de atividades e sugestões que, por meio do trabalho com a comunidade DORA, sabemos que podem fazer uma diferença real na promoção de mudanças na avaliação de pesquisa. São fornecidos exemplos práticos para mostrar como as organizações lidaram com as oportunidades e osdesafiosencontradosaolongo do caminho. 1.1 Como utilizar o Guia 1.2 O objetivo e os princípios da ARP 6 7 1 OGuianãotemcomoobjetivoapresentarumaabordagemdefinitivapara a avaliação responsável de pesquisa; na verdade, cada instituição é única e o que funciona em uma organização pode não funcionar em outra. O Guia está organizado em capítulos; cada capítulo é independente, e oferecemos várias opções para saltar entre capítulos e seções relevantes. Leitores podem aproveitar os elementos que mais lhes interessam e que são mais relevantes para o contexto de suas organizações. O Capítulo 1 contextualiza e apresenta alguns princípios fundamentais que normalmente informam as abordagens responsáveis de avaliação de pesquisa. O Capítulo 2 apresenta nove atividades que podem ajudar a catalisar a reforma da avaliação de pesquisa, e esperamos que forneçam ideias e inspiração para outras. Essas atividades são: 1. Envolvendo a liderança da organização 2. Trabalhar com a comunidade da sua organização 3. Mobilizando recursos para desenvolver e implementar uma estratégia de ARP 4. Constituindo um grupo de trabalho/força-tarefa 5. Explorando o panorama da ARP 6. Revisando as práticas atuais de avaliação 7. Desenvolvendo uma visão estratégica para a ARP 8. Desenvolvendo planos de engajamento e    comunicaçãoeficazes 9. Monitorando e atualizando sua estratégia O destaque sobre a rubrica SPACE neste capítulo fornece orientações sobre como usar a rubrica para apoiar a ARP. CAPÍTULO 1: INTRODUÇÃO Como utilizar o Guia CAPÍTULO 1.1 8 O Capítulo 3 fornece dicas práticas sobre como as organizações podem incorporar avaliação responsável de pesquisa (ARP) a políticas e práticas que podem impactar diretamente a carreira dos pesquisadores,especificamente: 1. Decisões de recrutamento, contratação e progressão 2. Prêmios institucionais e bolsas internas 3. Avaliação de unidades internas de pesquisa 4. Desenvolvimento da comunicação institucional O destaque sobre currículos narrativos detalha como essa abordagem descritiva oferece uma visão mais holística da carreira de um pesquisador. O destaque sobre pesquisadores em início de carreira embasa o desejo dessa população por abordagens de avaliação de pesquisa que valorizem a diversidade de resultados e contribuições. O Capítulo 4 apresenta uma série de iniciativas e estruturas globais que se alinham com a ARP. Encerramos o Guia com referências e recursos mencionados. Agradecemos os comentários sobre o Guia — na verdade, ele se destina a ser “propriedade” da comunidade ARP. Paraessefim,pretendemosdesenvolveroGuiaaolongodo tempo e adicionar exemplos, casos de uso e conselhos com base em percepções, comentários e aprendizados reais. Se você criar novos materiais, políticas, práticas ou ferramentas relacionadas à ARP, considere compartilhá-los com a DORA e com a comunidade em geral por meio do Reformscape, o repositório digital online da DORA de materiais de ARP que reúne critérios e padrões que as instituições estão usando para contratação, avaliação, progressão e permanência. Mantenha contato e envie perguntas e comentários para a equipe DORA em: [email protected]g CAPÍTULO 1: INTRODUÇÃO CAPÍTULO 1.1 Como utilizar o Guia 9 Antes de nos aprofundarmos nas principais atividades de desenvolvimento e implementação de uma estratégia de ARP, gostaríamos primeiro de reiterar a importância da ARP, seus objetivos e princípios fundamentais. O termo “avaliação responsável de pesquisa” surgiu para tratar de forma abrangente das abordagens de avaliaçãoqueincentivam,refletemerecompensamas características plurais da pesquisa de alta qualidade, em apoioaculturasdepesquisadiversificadaseinclusivas5,6. A avaliação é “responsável” na medida em que, ao aderir a um conjunto de princípios amplos e colocá-los em prática, também incentiva e estimula os tipos de comportamento de pesquisa que trazem benefícios em termos de resultados, desfechos e impacto tanto para as instituições quanto para o sistema de pesquisa de forma mais ampla. O objetivo da ARP é apoiar e incentivar abordagens para avaliar o desempenho e o impacto da pesquisa, com foco em uma visão holística dos pesquisadores, dos processos de pesquisa, dos resultados, dos desfechos e de seus impactos. A ARP adota uma abordagem orientada por valores que se alinha à missão e aos valores de uma organização, promovendo critérios claros, transparentes, abertos e justos na avaliação de pesquisa, garantindo práticas não discriminatórias. CAPÍTULO 1: INTRODUÇÃO O objetivo e os princípios da Avaliação Responsável de Pesquisa CAPÍTULO 1.2 16 Possivelmente, a atividade que pode ter o impacto mais significativo na mudança organizacional e na capacidade de desenvolver e implementar uma estratégia de ARP é garantir o comprometimento das lideranças. Isso pode ser via envolvimento com lideranças da organização, tais como reitoras e reitores, vice-reitoras e vice-reitores ou associados e/ou pró-reitores de pesquisa, mas também docentes e chefes de departamentos podemserigualmenteinfluentesnoreconhecimentoda necessidade de mudança dentro de um contexto local e, então, apoiar a causa de uma mudança mais ampla13,14. O apoio da liderança à ARP pode ajudar a mobilizar os recursos que provavelmente serão necessários para o desenvolvimento e a implementação de uma estratégia, incluindo, entre outros, tempo da equipe; desenvolvimento de textos e materiais; e planejamento e realização de atividades de engajamento para apoiar aimplementaçãoeficazdaestratégia(porexemplo, reuniões públicas, webinars, workshops). Procure membros da organização que possam ter se manifestado anteriormente sobre a necessidade de reforma da avaliação de pesquisa ou que possam ter se envolvido com iniciativas globais como a DORA, ou que sejam defensores de outras mudanças institucionais relevantes, como ciência aberta16, interdisciplinaridade, envolvimento da comunidade, impacto social17,18, integridade e reprodutibilidade da pesquisa, e que, portanto, possam estar motivados a se envolver nos esforços da ARP. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Envolvendo a liderança da organização ATIVIDADE 1 Descubra como o Departamento de Psicologia da Universidade de Maryland reformulou suas políticas de avaliação15. Universidade de Maryland ESTUDO DE CASO 17 CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP ENVOLVENDO A LIDERANÇA Pontos a considerar Como você pode articular a proposta de valor da ARP com sua liderança? Que oportunidades você pode propor para que a liderança se envolva e aprenda com outras instituições dentro de redes (inter)nacionais? Que medidas você pode tomar para entender as prioridades atuais e como você pode integrar os princípios da ARP a elas, em vez de tratá-los como uma iniciativa separada? Como você pode incentivar a liderança a envolver ativamente a comunidade de pesquisa mais ampla na definição dos princípios e práticas da ARP? Que papel você pode sugerir que a liderança desempenhe ao lidar com possíveis resistências? Embora alguns líderes organizacionais possam apoiar a necessidade de uma reforma na avaliação de pesquisa, muitos podem ter vivido e trabalhado em ambientes com abordagens de avaliação mais tradicionais e, portanto, podem não ver a necessidade de mudança ou podem não estar familiarizados com os argumentos para tal. Reservar um tempo para ouvir as perspectivas dos líderes pode ajudar a moldar os argumentos e construir as evidências e os casos de uso para a reforma dentro do contexto da própria organização. A DORA criou uma fichainformativaqueapresenta“cincomitoscomuns” sobre avaliação acadêmica e avaliação de pesquisa, com base em exemplos reais que podem ser úteis para iniciar conversas com líderes organizacionais. Enquadrar a ARP como “evolução em vez de revolução” pode ser útil para convencer lideranças. Uma abordagem incremental pode ser especialmente útil quando há ceticismo sobre os benefícios potenciais e/ou o impacto de tal mudança na competitividade nacional ou internacional da organização, ou quando há recursos limitados para implementar qualquer mudança. Descubra mitos comuns sobre a reforma da avaliação da pesquisa e como eles existem tanto dentro quanto fora da academia19. Cinco mitos comuns RECURSO ATIVIDADE 1 Envolvendo a liderança da organização 18 Há uma variedade de comunidades nas ORPs cuja participação e envolvimento nas iniciativas de ARP podem ser extremamente importantes para impulsionar a mudança. ORPsabrigamcomunidadesdiversificadas,queatuamem funçõesprofissionaisedepesquisa,capazesdeimpulsionar a reforma da avaliação da pesquisa, incluindo pesquisadores docentes, pesquisadores em início de carreira e estudantes, bibliotecários, assistentes acadêmicos e administrativos e coordenadores de comissões de pesquisa. Essas comunidades também estão trabalhando em trajetórias como ciência aberta, interdisciplinaridade, impacto social, para citar algumas, e unir forçaspodeserbenéfico. Os membros do corpo docente, que trabalham em diversas áreas disciplinares e em todas as fases da carreira, podem ser importantes defensores da ARP. Os pesquisadores em início de carreira (ECRs - Early Career Researchers) podem estar particularmente envolvidos em conversas e iniciativas que podem ter um impacto muito real na progressão de suas carreiras20. Como tal, os ECRs podem trazer novas perspectivas para os debates organizacionais em torno dos incentivos acadêmicos e seu impacto na progressão da carreira (ver Destaque para os pesquisadores em início de carreira na página 50). Bibliotecários, gestores e administradores de pesquisa ajudam a moldar e implementar políticas institucionais que podem orientarestruturasdeavaliação,incluindoadefiniçãodos critérios e informações que podem ser incluídos. Também pode ser útil engajar indivíduos ou grupos externos à sua organização, incluindo grupos comunitários que possam estabelecer parcerias e ex-alunos da organização que possam estar trabalhando em várias funções em diferentes setores e indústrias. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Trabalhando com a comunidade da sua organização ATIVIDADE 2 TRABALHANDO COM A COMUNIDADE Pontos a considerar Quais são as diferentes comunidades e seus líderes (in) formais que têm incentivado discussões sobre a ARP em sua instituição? Como você pode adaptar suas estratégias de engajamento para alcançar e envolver efetivamente as diferentes comunidades interessadas e afetadas pela ARP, incluindo aquelas que deixaram a academia? Como você pode criar oportunidades para que pesquisadores docentes se tornem defensores da ARP em suas áreas disciplinares e de especialização? Como você garantirá que os ECRs e os parceiros sociais, que podem trazer novas perspectivas sobre incentivos e impactos acadêmicos, tenham oportunidades significativas para influenciar os princípios e práticas da ARP? De que maneiras você pode capacitar bibliotecários, gerentes de pesquisa e administradores para que contribuam com seus conhecimentos especializados? Explore como a comunidade de impacto social dos EUA está transformando as universidades para alinhar a pesquisa às necessidades sociais21. Avançando os impactos da pesquisa RECURSO 19 TRABALHANDO COM A COMUNIDADE Pontos a considerar ATIVIDADE 2 Trabalhando com a comunidade da sua organização Envolver a comunidade em geral em discussões sobre o valor da pesquisa pode ajudar a garantir que os benefícios reais e tangíveis para a sociedade, a inovação e a economia sejam considerados nas abordagens de avaliação de pesquisa. Assim, para garantir que a estrutura da ARP seja autêntica, relevante e amplamente aceita, é aconselhável um processo consultivo abrangente envolvendo pesquisas, fórunsabertosemecanismosdefeedback,afimdereunir contribuições e distribuir a propriedade entre as diversas comunidades dentro da instituição. O objetivo é incluir suas perspectivas e garantir seu apoio e engajamento — talvez como parte de um grupo de trabalho ou força-tarefa (atividade 4)—,oquesignificaqueeles estarão preparados, comprometidos e capacitados para defender a reforma da avaliação de pesquisa. Aorefletirsobresuaestratégiadeengajamento com a comunidade (atividade 8), considere se são necessários comunicação, treinamento e recursos personalizados para professores, ECRs, bibliotecários, coordenadores e assistentes de pesquisa para garantir que eles compreendam os princípios da ARP e suas respectivas funções na implementação. Esteja ciente dos desequilíbrios de poder decorrentes do estágio da carreira, dos diferentes níveis de autonomia para implementação central versus local, das resistências disciplinares e da priorização histórica das funções acadêmicas nos esforços de reforma da avaliação de pesquisa. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Saiba como a Universidade de Tóquio se envolveu com a comunidade de pesquisa em geral em vários níveis em sua organização22. Universidade de Tóquio ESTUDO DE CASO 20 Garantir que você tenha os recursos — pessoas, tempo, materiais — para desenvolver uma estratégia de ARP é tão importante para o seu sucesso quanto garantir o apoio inicial e o compromisso para desenvolver a estratégia. Apesar das boas intenções, muitas abordagens ou estratégias não têm o potencial para causar o impacto pretendido porque foram mal implementadas. Ao pensar em desenvolver uma estratégia que possa exigirrecursossignificativos,considerecomeçartestando uma abordagem para ajudá-lo a entender os recursos potenciais e as implicações mais amplas de uma nova abordagem ou mudanças. Os testes-piloto podem ajudá-lo a fornecer evidências reais dos impactos prováveis e garantir a adesão a uma nova abordagem, mitigando os riscos e permitindo que você faça ajustes antes de considerar a ampliação. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Mobilizando recursos para desenvolver e implementar uma estratégia de ARP ATIVIDADE 3 Saiba como a Universidade de Glasgow mobilizou recursos para apoiar a implementação de sua estratégia de ARP23. Universidade de Glasgow ESTUDO DE CASO MOBILIZANDO RECURSOS Pontos a considerar De que recursos preciso, quanto custará e em que período de tempo? Que argumentos convincentes você pode apresentar para garantir os recursos (financeiros) necessários? Atualmente, existem em sua organização recursos ou redes que você possa reutilizar ou aproveitar para apoiar os esforços da ARP? O que você pode implementar para apoiar e valorizar aqueles que estão envolvidos na revisão de critérios, no desenvolvimento de ferramentas e na participação em iniciativas de treinamento? Olhando além da fase inicial de implementação, como você garantirá o compromisso continuado de recursos e a atenção da liderança? 21CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Coisas para as quais você pode precisar de recursos incluem: Aproveitamento de oportunidades para falar sobre o que você está fazendo e por quê Recrutamento e reconhecimento de membros de um grupo de trabalho ou força-tarefa Revisão e alinhamento das políticas e processos institucionais existentes Criação de materiais de treinamento, apoio contínuo e orientação Adaptação dos sistemas de TI para ARP (por exemplo, contribuições diversas, currículos narrativos) Desenvolvimento do mandato do grupo de trabalho e do tempo de dedicação esperado Elaboração e redação da estratégia e orientações associadas Monitoramento e avaliação contínuos da implementação geral da ARP Envolvimento com redes nacionais e internacionais para aprendizagem e colaboração ATIVIDADE 3 Mobilizando recursos para desenvolver e implementar uma estratégia de ARP Capítulo 2, Atividade 1 Capítulo 2, Atividade 4 Capítulo 2, Atividade 4 Capítulo 2, Atividade 5 Capítulo 2, Atividade 6 Capítulo 2, Atividade 7 Capítulo 3 Capítulo 3 Capítulo 3 Capítulo 2, Atividade 9 Fases ou testes-piloto das abordagens da ARP e análise do impacto Capítulo 2, Atividade 8 Desenvolvimento e execução de um plano de comunicação e implementação 22 Reunir um grupo que possua conhecimentos especializados, experiência e possa proporcionar uma ampla representação em toda a organização para impulsionar a mudança pode levar a uma maior sensibilização e compromisso com a estratégia de ARP. Idealmente, o grupo deve incluir indivíduos que sejam motivados pela ARP e tenham competência (e tempo!) para realizar as tarefas. Se possível, tente garantir um representante da organização (por exemplo, um defensor da ARP da liderança da organização) para apoiar o grupo e ajudar a dar visibilidade ao seu trabalho entre os líderes da instituição. Desenvolva um “Termos de Referência” para o grupo de trabalho que descreva as responsabilidades dos membros do grupo de trabalho, incluindo tarefas como participar de reuniões, fornecer conhecimentos especializados para atividadesespecíficas(comoumplanodecomunicação, mecanismos de feedback) e ajudar a desenvolver e implementar a própria estratégia. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Constituindo um grupo de trabalho/força-tarefa Atribuir funções específicas aos indivíduos dentro do grupo de trabalho pode ser útil, especialmente se eles tiverem habilidades profissionais relevantes, como coordenação com a alta administração, gestão financeira, criação de planos de comunicação ou supervisão de esforços de monitoramento e avaliação. Os membros do grupo também precisarão de acesso a recursos para realizar o trabalho necessário — e, conforme observado na (atividade 8), é aqui que o apoio da alta liderança pode ser especialmente útil se, por exemplo, forem necessários fundos ou capacidade administrativa para apoiar as atividades necessárias. CONSTITUINDO UMA FORÇA-TAREFA Pontos a considerar Como você pode garantir que perspectivas diversas (pesquisadores em todas as fases da carreira, administradores e sua comunidade em geral) sejam incluídas de forma significativa? Existem especialistas em ARP que poderiam se juntar ou aconselhar seu grupo/forçatarefa? Com quais comitês ou grupos de trabalho existentes você pode se conectar para garantir o alinhamento e a sustentabilidade/transferência de competências a longo prazo? Que argumentos e evidências você pode apresentar aos líderes para garantir que eles defendam ativamente o trabalho da força-tarefa? Que mecanismos (por exemplo, consultas, fóruns abertos - town halls -, pesquisas) você usará para manter a transparência no processo? Como você garantirá que os membros contribuam de forma significativa sem serem sobrecarregados, equilibrando a liderança formal com a responsabilidade distribuída? ATIVIDADE 4 23 Considere cuidadosamente como você seleciona ou recruta indivíduos que possam atuar em um grupo de trabalho e tente aderir a princípios alinhados com a ARP, como o de realizar um processo de candidatura transparente. Da mesma forma, considere como a missão da sua organização e da sua comunidade podem ser representados na composição do grupo de trabalho (por exemplo, pesquisadores em início de carreira; pacientes e público; envolvimento indígena). Lembre-se de que o engajamento em ARP em toda a organização pode não recair apenas sobre aqueles que normalmente estão envolvidos em ARP. Indivíduos envolvidos em iniciativas de cultura e diversidade da pesquisa, integridade da pesquisa, ciência e práticas de pesquisa abertas provavelmente serão proponentes ativos dos princípios da ARP e aliados importantes! Porfim,àmedidaqueogruposeforma,considerese o treinamento relacionado à ARP pode ser útil, como eliminação de preconceitos ou monitoramento de Equidade, Diversidade e Inclusão (EDI). CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP RETHINKING RESEARCH ASSESSMENT UNINTENDED BIASES COGNITIVE SYSTEM & Hatch, A and R. Schmidt. (2020) Rethinking Research Assessment: Unintended Cognitive and System Biases. DORA.This is Open Access content distributed in accordance with the Creative Commons Attribution 4.0 International License Judgment and decision-making biases that impact how we weigh options and make choices have been shown to result in inequitable review, promotion, and hiring practices. While recognizing these biases at a personal level is important, creating new structural and institutional conditions to reduce bias can be even more valuable. Matthew effect Campbell’s law Anchoring Availability Halo effect Confirmation bias Status quo bias We let positive impressions of individual attributes influence our overall opinions Example: A candidate from a prestigious institution is thought to have more potential than one from a lesser known university Why it’s problematic: Giving preferential treatment to people based on inherited attributes may reinforce inequitable norms, which can lock out otherwise worthy candidates and fails to consider individuals equally. Resources often flow to those who already have them Examples: Highly cited references may be more cited in part because researchers see that they’re highly cited. Researchers with a long track record of grants receive a disproportionate amount of new funding. Why it’s problematic: When people lack the time or motivation to vet results, this can make access to resources even less equitable. Once metrics are accepted as a way to gauge value, they start to lose meaning as objective measures Example: Reward systems that rely on easily measurable qualities — like citations and publishing in high-JIF publications — can lead people to “game” the system. Why it’s problematic: When quantitative measures have an outsize impact on how people are rewarded, it can increase the temptation to focus on a narrow set of activities and reduce investment in other meaningful, but less rewarded, achievements. Anecdotal, top-of-mind, or easily recalled data can inadvertently skew what we prioritize Example: Prioritizing individual or memorable anecdotes, both pro or con, like getting a well known grant. Why it’s problematic: Overweighting information that more readily comes to mind may result in failing to consider other important evidence, missing the bigger picture. The first piece of data we see or hear tends to set the bar against which we judge subsequent pieces of information Example: Negatively comparing post-COVID-19 research productivity to pre-COVID-19, or using one’s own personal life as a gauge to judge others’ experiences Why it’s problematic: Initial anchor data defines the “normal” against which all other data is compared, which can skew our reference points by emphasizing relative comparisons between options rather than their actual value. People tend to dismiss evidence that doesn’t fit their initial judgments or preconceptions Example: Cherry-picking information from a CV to confirm the view one already has, or dismissing potential warning signs because a candidate has already been accepted as a good fit. Why it’s problematic: Our initial conceptions are often based on subjective experiences and limited data. Failing to gather and consider counter-evidence makes us more likely to fall into old ways of thinking. We often take the path of least resistance unless there are strong reasons not to Example: Continuing to use citations from academic journals as a primary indicator of impact or quality, rather than considering alternate quantitative indicators of real-world value. Why it’s problematic: People often stick with recognizably flawed processes because the effort to fix them or adopt new ones is perceived as too much effort. “Objective” comparisons are not necessarily equitable Qualities that can be measured or ranked are tempting because they feel less subjective, but can feed a false sense of precision. What can institutions do? • Balance the use of quantitative metrics with qualitative inputs, like narrative CVs, that capture more intangible qualities • Select standards based on a wide set of inputs rather than a narrow or anecdotal set • Recognize where setting specific, quantifiable goals may be reinforcing some behaviors at the expense of others Incumbent processes and perceptions have the advantage Many institutions have deep legacy traditions that become normalized over time, but these organizational habits can also keep new ideas and people out. What can institutions do? • Make the benefits of new behaviors concrete, salient, and easy to grasp • Recognize where old assumptions may overly reward those who are more traditionally successful, at the expense of new or more diverse talent • Set, publicize, and adhere to measurable goals that look beyond traditional norms of success when reviewing potential candidates to broaden the pool of individuals under consideration We gauge value by association Highly rated or prominent institutions and journals (and those associated with them) often get the benefit of the doubt based on familiarity or reputation rather than reality. What can institutions do? • Use structured interview protocols to keep decision-makers focused on agreed-upon qualities, rather than on reputation • Explicitly articulate and consider long-term and qualitative values, as well as short-term or easily quantifiable needs • Have applicants highlight and articulate their most meaningful contributions to reduce reviewer reliance on journal names or quantifiable characteristics of productivity It’s hard to weigh all information equally, which can give initial or “shiny” data points and personal reference points an advantage. What can institutions do? • Assemble diverse teams — across gender, seniority, cultures, and under-represented minoritized populations — to bring a range of perspectives and experiences into decisions • Look outside your institution or discipline to broaden a sense of “normal” • Put reputation-based indicators like education at the end of applicant materials to reduce preconceived notions Individual data points can accidentally distract from the whole Tackling these infrastructural and institutional implications of common biases can help promote and support more equitable practices: RETHINKING RESEARCH ASSESSMENT COMMITTEE COMPOSITION AND DELIBERATIVE PROCESSES DEBIASING It is generally recognized that more diverse decision-making panels make better decisions: including more perspectives reduces bias, increases transparency, and exposes more individuals to how decisions are made. But old habits die hard, and increasing the diversity of committees demands behavioral change. Here are some strategies that can help. Schmidt, R. (2022) Rethinking Research Assessment: Debiasing Committee Composition and Processes. DORA.This is Open Access content distributed in accordance with the Creative Commons Attribution 4.0 International License This work was sponsored by Arcadia — a charitable fund of Lisbet Rausing and Peter Baldwin. Debiasing deliberative processes can also reduce “business as usual” decision-making tendencies Reducing leadership bias • Conduct and document “pre-briefs.” Spending time upfront to collectively craft the “rules of the road” for committee work can create alignment and serve as a shared touchpoint that everyone — no matter what their role of seniority — can point to if things go awry. • Make all votes count. Seeing how others are voting can sway where we put our own chips. Techniques like anonymous voting can help reduce tendencies to conform to others’ views or confirm safe choices rather than express true preferences. Reducing individual bias • Question what we think we know. Asking committee members to explicitly step through their thought processes and assumptions can surface and counteract “confirmation bias,” or the tendency to prioritize data that reinforces existing preconceptions 5 . • Even the playing field. Consider strategies to reduce advantages of circumstance; providing interview questions in advance can equalize candidates, and using relative measures — such as progress from a starting point rather than judging absolute accomplishments — can gauge applicant quality more fairly. Increasing systems thinking • Identify bias at a system level. Efforts to reduce personal bias can put the burden on individuals to change, and can ignore how systems themselves are often designed to reinforce “hidden in plain sight” biases. • Think downstream. Improving diversity through hiring will fall flat without equal investment in mentorship and retention. • Use structure to provide consistency. Structured approaches — like interview protocols and pre-determined criteria — can increase confidence in comparison without resorting to solely quantitative measures. 1 Chang, EH, D Chugh, M Akinola, and KL Milkman (2019) Diversity Thresholds: How Social Norms, Visibility, And Scrutiny Relate To Group Composition Academy of Management Journal, Vol. 62, No. 1, 144–171. https://doi. org/10.5465/amj.2017.0440 2 Chang, EH, EL Kirgios, A Rai, and KL Milkman (2020) The Isolated Choice Effect and Its Implications for Gender Diversity in Organizations. Management Science: 1-10 3 He, JC, SK Kangb and N Lacetera (2021) Opt-out choice framing attenuates gender differences in the decision to compete in the laboratory and in the field. PNAS 118 (42) e2108337118 | https://doi.org/10.1073/ pnas.2108337118 4 Crain, M, M Cherry, and W Poster (2016) Invisible Labor: Hidden Work in the Contemporary World. University of California Press 5 Hernandez, I and JL Preston. Disfluency disrupts the confirmation bias, Journal of Experimental Social Psychology (2012), http:// dx.doi.org/10.1016/j.jesp.2012.08.010 Transparency invites trust When decisions about who’s included (and who’s not) are decided upon behind closed doors, even well-meaning intent can seem mysterious. In contrast, transparent and consistently applied criteria create a baseline and build a foundation of credibility. Taking a portfolio view Keeping the bigger picture in mind can protect against the common tendency to make individual decisions, each reasonable in isolation — the socalled “isolated choice effect 2 ” — that collectively reinforces familiar norms or standards of decision-making. Fostering true diversity of opinion Non-traditional participants may fear judgment or feel a need to check themselves when making suggestions that run counter to established or commonly held views. More inclusive processes deliberately create space to consider all viewpoints, with shared goals in mind. Expanding a sense of what’s possible Traditions and historical norms are sticky in part due to status quo bias, but can also persist due to a perceived lack of other alternatives. Gaining exposure to new options by seeing what others have done can help overcome “the way things are done around here.” Question the norms about who is qualified to participate or contribute When traditional or overly narrow forms of inclusion and exclusion – like seniority or rank – are used as criteria too early, they may leave out individuals who can provide important alternative points of view. Relying on self-identification or selection by leadership can reinforce existing biases Research shows that making selection opt-out rather than opt-in can help boost inclusion of those who less comfortable with selfpromotion 3 , or those who may not seem like “obvious” choices. Diversify across characteristics to support a range of perspectives While increasing racial and gender representation is critically important, people from other less-represented groups – like first-generation or early career academics, or those with crossdisciplinary experience – can also invite new and valuable perspectives. Overcome “two-kenism 1 ” tendencies Research indicates that committees stop seeking diversity after selecting two underrepresented individuals, feeling like they’ve “checked the box.” Making diverse representation less like a quota to be filled can also reduce the perception that those individuals must represent entire segments rather than their personal expertise. Connect committee composition to outcomes through representation of those who will be affected Deliberately inviting perspectives from those who will be on the receiving end of policy or directly impacted by decisions ensures that issues which might otherwise go unseen have the chance to be addressed. Broadening who is exposed to processes can promote equity of opportunity The ability to see behind the curtain may be especially useful for first-generation researchers or those new to the field. But recognize when committees become a form of added burden in the form of “invisible labor 4 ” for those already expected to pull more than their fair share. Leia sobre como as implicações institucionais e infraestruturais dos preconceitospessoaisinfluenciamas decisões de contratação, progressão e permanência no cargo24. Viéses sistêmicos não intencionais RECURSOS Inspire-se nessas estratégias para incluir mais perspectivas e reduzir preconceitos nos processos de avaliação25. Composição do Comitê para Eliminar Preconceitos RECURSOS ATIVIDADE 4 Constituindo um grupo de trabalho/força-tarefa 24 Há um número crescente de iniciativas globais focadas em impulsionar a ARP, e alinhar suas propostas com esses movimentos pode fortalecer os argumentos a favor da mudança na avaliação da pesquisa. ConsiderarafiliaçõescomorganizaçõescomoaDORAe aquelas descritas no Capítulo 4 demonstra compromisso e intenção em relação à ARP e pode estimular discussões comaliderançaeoutrosgruposinfluentesdentrodasua organização, como pesquisadores em início de carreira. As organizações fazem parte de um sistema mais amplo, e ospesquisadoressãoinfluenciadospelaspolíticasdesuas organizações,bemcomopelasdeseusfinanciadores, instituições colaboradoras e requisitos internacionais, nacionaisouregionais.Aodefinirsuaprópriaabordagem para a ARP, é possível explorar como outras organizações gerenciam a avaliação de pesquisa. Pode ser conveniente alinhar as abordagens de ARP da sua instituição com as de outras organizações semelhantes ou influentes. Porexemplo,verifiqueaspolíticasdefinanciadorese universidades locais e nacionais e/ou se alguma política está sujeita a atualizações que possam afetar sua organização. CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Explorando o panorama da ARP ATIVIDADE 5 Descubraas11dimensõesdefinidas pelo Global Research Council para articularavisãodosfinanciadoressobre ARP e seu plano para incorporar os princípios de ARP26. Dimensões da ARP RECURSO EXPLORANDO O PANORAMA Pontos a considerar A quais iniciativas (inter) nacionais sua comunidade já está conectada – como associações universitárias e academias – que podem apoiar seus esforços de ARP? Os seus sistemas de avaliação nacionais ou regionais estão avançando no sentido de mais práticas de ARP? As políticas de outras instituições semelhantes estão mudando, ou as de suas maiores organizações colaboradoras? As agências de financiamento e avaliação incentivam a diversidade de resultados de pesquisa, têm mandatos de pesquisa abertos ou estão usando currículos narrativos em seus processos? Como você pode influenciar as iniciativas atuais com a experiência e o conhecimento de suas abordagens? 25 CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP O Capítulo 4 deste Guia fornece exemplos de algumas das organizações e iniciativas conhecidas por serem ativas na avaliação de pesquisa e áreas relacionadas. Ao longo da última década, a DORA construiu uma rica base de estudos de caso, kits de ferramentas e documentos de orientação para ajudar as organizações a compartilhar inovações e aprender umas com as outras. Além disso, a Reformscape reúne exemplos de práticas de ARP que estão sendo usadas particularmente para decisões de contratação, progressão e permanência em organizações que realizam pesquisas. Explore como instituições acadêmicas em todo o mundo estão repensando seus processos de contratação, avaliação, progressão e estabilidade4. Reformscape RECURSO ATIVIDADE 5 Explorando o panorama da avaliação responsável de pesquisa Explore estas histórias inovadoras que destacam elementos-chave da mudança institucional para melhorar a avaliação da carreira acadêmica2. Estudos de caso da DORA RECURSO 32 AsORPsprecisamdedadoseinformaçõesparaajudá-lasarefletireavaliara eficáciadesuaestratégia,identificarsucessoseabordaráreasqueprecisam ser melhoradas. AARPenfatizaareflexãoearevisãoregulares.Uma estratégia sólida de ARP deve, idealmente, incluir mecanismosdereflexão,usarevidênciasparaorientar as decisões e ser transparente sobre seu impacto, construindo credibilidade na avaliação de pesquisa. Reunir informações sobre a aceitação e o impacto de uma estratégia pode fornecer perspectivas úteis. Isso pode incluir o acompanhamento da participação no lançamento da estratégia, como a presença em eventos, e a coleta de feedback dos candidatos. Monitorar aspectos-chave do recrutamento e da progressão, como número de candidatos,dadosdemográficosouresultados,pode revelar áreas de mudança. Comparar dados de antes e depois da implementação, bem como entre departamentos ou organizações, também pode ajudá-lo a identificar os principais impactos da estratégia e promover comparações mais amplas à medida que as práticas de ARP se tornam mais comuns. Issotambémpodeajudarsuainstituiçãoaidentificar quaisquer consequências indesejadas e tomar medidas para mitigá-las, ajudando a melhorar os resultados e minimizar a resistência à mudança. A comunicação ativa e o envolvimento com os impactos da implementação das práticas de ARP – e com pesquisadores em diferentes estágios de carreira e em todaaorganização–podemajudaraconstruirconfiança nas mudanças e a obter mais adesão a elas em toda a organização (atividade 8). CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP Monitorando e atualizando sua estratégia ATIVIDADE 9 MONITORANDO SUA ESTRATÉGIA Pontos a considerar Como você utilizará seus planos de comunicação e divulgação para manter um processo de mudança aberto e interativo com suas comunidades? Que indicadores você pode usar para acompanhar o progresso e sua definição de sucesso? Quem será responsável por abordar o feedback e atualizar a estratégia? Como você se adaptará aos novos desenvolvimentos nacionais e internacionais em ARP? O que você fará para manter a liderança, os pesquisadores e a equipe engajados com a estratégia? 33 CAPÍTULO 2: ATIVIDADES-CHAVE NO DESENVOLVIMENTO DE UMA ESTRATÉGIA DE ARP As ferramentas e abordagens para capturar dados e feedback relevantes para apoiar o monitoramento e a avaliação incluem a incorporação de informações no sistema de gestão de pesquisa da sua organização, a criação de formulários de feedback e pesquisas simples vinculadosapráticasespecíficasdestinadasaimplementar a ARP (por exemplo, práticas de recrutamento, uso de currículos narrativos) e, talvez, através da crianção de um site e endereço de e-mail exclusivos ou caixa de feedback. Existem vários exemplos de estruturas que fornecem modelos úteis para as instituições que procuram moldarabordagensreflexivas(verRubrica SPACE11 e a estrutura SCOPE para avaliação da investigação34 criada pela INORMS). ATIVIDADE 9 Monitorando e atualizando sua estratégia Avalie o estado atual das condições de infraestrutura para apoiar iniciativas e intervenções de reforma usando a rubrica SPACE11. Rubrica SPACE RECURSOS Desenvolvida para avaliação de pesquisa, aabordagemreflexivadoSCOPEtambém podeajudarnasuareflexãosobrea avaliação da sua estratégia de ARP34. Estrutura SCOPE RECURSO FROM FOUNDATION... Core definitions and shared clarity of purpose TO EXPANSION... Increased traction and capability development TO SCALING Accelerated uptake and continuous improvement CULTURE WITHIN INSTITUTIONS How are assessment practices perceived and adopted both within and outside of formal evaluation activities? ACCOUNTABILITY How are individuals and institutions held liable for executing on new assessment practices? EVALUATIVE AND ITERATIVE FEEDBACK How are intervention outcomes and progress toward institutional values captured and continually improved upon? STANDARDS FOR SCHOLARSHIP How are new definitions of “quality scholarship” formulated and applied? PROCESS MECHANICS AND POLICIES How are new practices incorporated into review structures, processes, and institutional policies? THIS MIGHT LOOK LIKE... More diverse types of individuals are involved in both defining and participating in career advancement processes, such as including early career researchers on RPT committees Representation of minoritized applicants meets or exceeds equity goals for both new hires and researcher retention Career growth and mentoring systems are intentionally designed to provide ongoing support for underreprsented hires THIS MIGHT LOOK LIKE... Adoption of new assessment mechanisms is supported and advocated for by departmental and institutional leaders All individuals actively contribute to building more equitable practices — not just minoritized ones New research assessment norms are increasingly adopted as a default by faculty, administrators, and applicants THIS MIGHT LOOK LIKE... “Positive friction,” or intentional pause points to reflect on assessment practices and slow down business-as-usual processes is incorporated into both formal and informal assessment practices All participants in assessment activities feel processes achieve a balance of effectiveness and efficiency THIS MIGHT LOOK LIKE... Goals and success criteria for individual academic assessment interventions are well-defined and shared Use of leading indicators (e.g. increased diversity of inquiries for open positions) supplements lagging indicators (e.g. increased diversity of hires) when gauging intervention efficacy Goals and success criteria are automatically reviewed whenever institutional strategy is updated THIS MIGHT LOOK LIKE... Quantitative and qualitative data from interventions are captured in a standardized way Mechanisms that capture both quantitative and qualitative feedback are explicitly designed and embedded into assessment processes from the outset Best practices and examples of measurement and/or gathering feedback are codified and shared across disciplines within the institution THIS MIGHT LOOK LIKE... Interventions that don’t achieve desired outcomes are considered learning opportunities, not failures Outcomes and data are collected and monitored to ensure high standards of evaluation quality and identify unintended consequences or adverse effects Feedback and other indicators are refined and/or examined in aggregate to identify and investigate patterns or opportunities for course-correction THIS MIGHT LOOK LIKE... Standards are explicitly designed and articulated to align with institutional mission and values, such as increasing equity and support for traditionally underrepresented, minoritized groups New standards for scholarship consider the balance across research, teaching, and service contributions including training, mentoring and good citizenship Specific definitions and standards of “quality” with regard to scholarship are articulated and shared across disciplines and review/promotion committees THIS MIGHT LOOK LIKE... Scholarship is assessed using diverse indicators (e.g. societal impact), units of assessment (e.g. full body of work v. individual articles), and forms of output (e.g. non-journal contributions) Indicators of quality recognize non-individualized activities and accomplishments like team science New definitions of “scholarship” are deployed across the full range of institutional disciplines THIS MIGHT LOOK LIKE... Faculty have the ability to customize success measures to reflect their research interests and goals New standards, definitions, and criteria for evaluating the quality and impact of scholarship are integrated into the language and processes of new assessment practices Hatch, A and R. Schmidt. (2021) Rethinking Research Assessment: SPACE to Evolve Academic Assessment. DORA.This is Open Access content distributed in accordance with the Creative Commons Attribution 4.0 International License Research and researcher assessment is a systems challenge, suggesting that institutions that prioritize developing infrastructures to support their efforts may be better positioned to achieve their goals than those focused only on individual solutions. S.P.A.C.E. TO EVOLVE ACADEMIC ASSESSMENT A RUBRIC FOR ANALYZING INSTITUTIONAL PROGRESS INDICATORS AND CONDITIONS FOR SUCCESS RETHINKING RESEARCH ASSESSMENT THIS MIGHT LOOK LIKE... The goals, principles, and practices of academic assessment and review, promotion, and tenure (RPT) activities are transparent and clearly articulated, and agreed upon by all participants Institutions have clearly defined expectations for adherence to academic assessment practices Examples of “what good looks like” are collected and shared to more concretely illustrate target outcomes and behaviors THIS MIGHT LOOK LIKE... Research evaluators self-monitor adherence to academic assessment principles and practices Senior leaders and committee members actively stipulate equitable assessment practices during both formal and informal career development contexts Institutions model ecosystem-level accountability, such as ensuring that system-level incentives align with and support agreed-upon principles and practices THIS MIGHT LOOK LIKE... Individuals actively contribute to the development and review of new practices and principles Departments proactively broaden and conduct outreach activities to include new or minoitized applicants Faculty serve as “ambassadors” for new academic assessment practices, such as when serving as external committee members THIS MIGHT LOOK LIKE... Meaningful and appropriately rigorous qualitative structures for academic assessment, such as narrative CVs, are given due weight Structures and processes are applied consistently across assessment activities, taking into consideration alternate paths and starting points Use of new assessment mechanics extend beyond traditional evaluative contexts into ensuring equitable opportunities, mentoring, and retention to increase research and researcher diversity THIS MIGHT LOOK LIKE... Training on the goals and procedures of assessment processes and practices are accessible and continually maintained Institutions design processes take into account the resource capacity of committee members to effectively adopt new assessment practices, such as additional burdens on time Institutions have designated senior functions or offices to ensure faculty capacity for new assessment practices and principles THIS MIGHT LOOK LIKE... Assessment mechanics can be flexibly applied and adapted to accommodate diverse disciplines Mechanisms to support practices are codified and written into institutional policies New processes and practices are seamlessly integrated and widely adopted TRANSPARENCY AND CLARITY OF GOALS ADHERENCE THROUGH COMMITMENT PROACTIVITY IN ENGAGEMENT DEBIASING DELIBERATIVE JUDGMENTS CAPACITY TO SUPPORT NEW ACTIVITIES INTEGRATION INTO EXISTING SYSTEMS INCLUSION AND ACCESS ADVOCACY AT INSTITUTIONAL LEVELS REFLEXIVITY THROUGH REFLECTION ARTICULATION OF DIVERSE INDICATORS SYSTEMATIZATION TO GAIN CONSISTENCY IMPROVEMENT USING FEEDBACK LOOPS ADOPTION OF NEW PRACTICESDIVERSIFICATION OF STANDARDS ALIGNMENT ON VALUES AND GOALS A one-page overview of the five-stage SCOPE Framework SC OP E START WITH WHAT YOU VALUE CONTEXT CONSIDERATIONS PROBE DEEPLY OPTIONS FOR EVALUATING EVALUATE YOUR EVALUATION The SCOPE Principles The five stages of SCOPE operate under three main principles: 1. Evaluate only where necessary. Evaluation is not always the right strategy. When it comes to incentivising behaviours, for example, it may be more fruitful to enable them than to evaluate them. 2. Evaluate with the evaluated. Any evaluation should be co-designed and cointerpreted by the communities being evaluated. 3. Draw on evaluation expertise. We should apply the same rigour to our evaluations that we apply to our academic research. START with what you value •  Clearly articulate what you value about the entity being evaluated •  Not with what others’ value (external drivers) •  Not with available data sources (the ‘ Streetlight Effect’) CONTEXT considerations •  Ensure your evaluation is context-specific •  WHO are you evaluating? (Entity size and discipline) • WHY are you evaluating? OPTIONS for evaluating •  Consider both quantitative and qualitative options •  Be careful when using quantities to indicate qualities PROBE deeply •  WHO might your evaluation approach discriminate against? •  HOW might your evaluation approach be gamed? •  WHAT might the unintended consequences be? •  CONSIDER the cost-benefit of the evaluation EVALUATE your evaluation •  Did your evaluation achieve its aims? •  Was it formative as well as summative? •  Use SCOPE to evaluate your evaluation. Design and publishing partner: Emerald publishing. inorms.net/research-evaluation-group 34 35 GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs Momentos-chave na avaliação da pesquisa e de pesquisadores Este capítulo fornece dicas sobre como as organizações podem incorporar a ARP em políticas e práticas que afetam os pesquisadores em momentos cruciais de suas carreiras. Especificamenteduranteasdecisões de recrutamento e progressão, ao conceder prêmios e alocar subsídios, ao avaliar unidades de pesquisa e nas comunicações institucionais. 3.1 Decisões de recrutamento, contratação e progressão 3.2 Prêmios institucionais e bolsas internas 3.3 Avaliação de unidades internas de pesquisa 3.4 Desenvolvimento de comunicações institucionais 35 3 36CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Currículos Narrativos Os currículos narrativos são uma alternativa aos currículos acadêmicos tradicionais, permitindo que pesquisadores apresentem suas realizações, habilidades e contribuições por meio de um formato descritivo e contextualizado. Desde a introdução dos currículos narrativos como ferramenta de apoio à ARP, vários estudos avaliaram a diferença que o seu uso pode fazer. Embora as evidências sejam variáveis até o momento, há um consenso emergente de que os currículos narrativos podem reduzir o viés nos processos de avaliação de pesquisadores, ao mesmo tempo que destacam práticas abaixo do ideal37. A adoção de currículos narrativos visa promover a diversidade, a equidade e a inclusão na comunidade de pesquisa, reconhecendo experiências variadas e reduzindo os preconceitos inerentes aos métodos de avaliação convencionais, além de permitir que os pesquisadores “contem sua história”. Eles permitem que os candidatos descrevam suas principais contribuições na pesquisa e por que elas são importantes; além disso, os pesquisadores podem fornecer evidências deseupapelespecíficoemcadaresultado da pesquisa, descrever suas competências, suas experiências de mobilidade e suas trajetóriasprofissionais,proporcionandouma compreensãomaisricaequalitativadoperfil e do impacto de um pesquisador. Organizações como a UK Research and Innovation(UKRI),financiadoradoReino Unido, implementaram formatos de currículos narrativos35 (ver Résumé for Research and Innovation da UKRI) para apoiar uma cultura de pesquisa mais saudável e se alinhar aos princípios da ARP. Além disso, os currículos narrativosincentivamoscandidatosarefletir sobreseucrescimentopessoaleprofissional, promovendo uma abordagem mais holística do desenvolvimento de carreira36. IMPACTO JUSTIFICATIVA DESTAQUE 36 37 Em vez de se concentrarem exclusivamente em métricas como publicações e bolsas, os currículos narrativos normalmente permitem que pesquisadores forneçam informações em quatro áreas: Esta abordagem e muitas outras proporcionam uma visão mais holística da carreira de pesquisadores, enfatizando a qualidade e a importância do seu trabalho, em vez de apenas resultados quantitativos. Os currículos narrativos são cada vez mais utilizados em processos de financiamentodepesquisaecontratação para promover a equidade, a diversidade e uma avaliação mais abrangente das contribuições acadêmicas. Contribuições para o conhecimento Geração de novas ideias, ferramentas e metodologias Colaborações, trabalho em equipe e desenvolvimento de outras pessoas Contribuições para o trabalho em equipe e o desenvolvimento de outras pessoas Maior impacto da pesquisa Contribuições para a comunidade mais ampla de pesquisa e inovação Impacto social mais amplo Contribuições para usuários e públicos mais amplos de pesquisa/inovação e para benefícios sociais mais amplos CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES DESTAQUE PARA OS CURRÍCULOS NARRATIVOS Folha de dicas sobre como otimizar, avaliar e iterar o uso de CVs narrativos paradecisõesdefinanciamento38. Como usar currículos narrativos RECURSO 37 38 Há uma série de intervenções que as organizações podem implementar para se alinharem com a ARP ao longo do recrutamento, progressão e/ou titularidade. Reconhecer as diversas contribuições e talentos de pesquisadores, priorizar a avaliação qualitativa, evitar o uso inadequado de métricas e garantir um processo justo e transparente na contratação, avaliação, progressão e/ou permanência são os pilares da ARP. Os objetivos incluem promovertrajetóriasdecarreiradiversificadas,garantir a transparência nos processos de avaliação e envolver ativamente a comunidade acadêmica nessas reformas, conforme discutido no Capítulo 2. A Tabela 1 apresenta possíveis abordagens que as organizações podem adotar para garantir a ARP em momentos-chave dos processos de recrutamento, contratação e progressão. CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Decisões de recrutamento, contratação e progressão SEÇÃO 3.1 Umguiaparafinanciadoresque buscam promover uma abordagem mais holística para a avaliação de propostas40. Um guia prático para avaliadores RECURSO Descubra como a Open University criou uma nova carreira de progressão para pesquisadores que realizam trabalhos publicamente engajados39. Open University ESTUDO DE CASO A equipe DORA, em parceria com o Fundo Nacional de Pesquisa do Luxemburgo (FNR), criou um vídeo que apresenta uma visão geral útil para avaliadores de pesquisa envolvidos em recrutamento e progressão. 39 MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Criação de um comitê de contratação ou progressão Criação e publicação de anúncios de concursos e oportunidades de trabalho Ao criar anúncios de concursos e oportunidades de trabalho ou avisos de candidatura a progressão: • Garanta que os requisitos de elegibilidade de candidaturas não excluaminadvertidamentepotencialmentequalificáveis. • Certifique-sedequeosanúnciosdeconcursoseemprego transmitem claramente a missão da organização e o compromisso com a avaliação responsável de pesquisa e pesquisadores. • Enfatize a importância dada ao reconhecimento de uma ampla gamaderesultadosdepesquisa,experiênciasprofissionaise competências, incluindo contribuições sociais, trabalho em equipe e interdisciplinaridade. • Publique seu anúncio de concursos e oportunidades de trabalho em várias plataformas que permitam alcançar uma diversidade de indivíduos. • Sempre que possível, ofereça opções para que os candidatos possam fazer perguntas e receber apoio, quando apropriado. Ao formar sua comissão ou painel de contratação/ progressão, certifique-se de que os membros: • Estejam equipados com as ferramentas e informações adequadas para que possam praticar a ARP (por exemplo, estejam cientes de qualquer estratégia institucional de ARP e critérios de avaliação relacionados). • Estejam treinados para tomar decisões que evitem preconceitos e sejam alinhadas com a ARP (por exemplo, treinamento sobre preconceitos inconscientes ou eliminação de preconceitos). • Sejam mais inclusivos e representativos da comunidade acadêmica, para promover uma abordagem inclusiva na tomada de decisões. TABELA 1 Garantindo a ARP nos processos de recrutamento e progressão Abordagens que as organizações podem adotar para garantir a ARP em momentos-chave dos processos de recrutamento, contratação e progressão. 40 Avaliação e triagem de candidaturas Ao avaliar e triar candidaturas: • Crie um conjunto padrão de critérios para avaliar os candidatos. • Treine e informe a banca avaliadora para seguir os critérios e evitar qualquer desvio que possa introduzir preconceitos no processo de seleção (especialmente se a triagem não for feita por um membro do comitê). • Sevocêestivercoletandodadosdoscandidatosparafinsde monitoramento, como acompanhamento da diversidade ou tendênciasderecrutamento,certifique-sedequeosdadossejam anonimizados ou pseudo-anonimizados sempre que possível. • Sempre que possível, forneça um canal para que os candidatos recebam feedback, incluindo aqueles que não foram selecionados, especialmente após a entrevista. CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Garantindo a ARP nos processos de recrutamento e progressão Abordagens que as organizações podem adotar para garantir a ARP em momentos-chave dos processos de recrutamento, contratação e progressão. MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP Criação de material e critérios de candidatura Ao criar formulários de candidatura e instruções e/ou avisos relacionados: • Certifique-sedequesejamtransparentesefacilmenteencontrados por candidatos em potencial. • Forneça perguntas frequentes e/ou um ponto de contato para que as pessoas possam fazer perguntas que as ajudem a otimizar suas candidaturas. • Certifique-sedequeoscritériossãodiretamenterelevantespara a função e/ou o cargo e não solicite informações que não estejam alinhadas com os princípios da ARP (e com a estratégia institucional da ARP) ou que possam inadvertidamente excluir candidatos potencialmentequalificados. • Estruture-os de forma a permitir que os candidatos apresentem um espectro “equilibrado e amplo” de suas competências e realizações. • Considere exigir um currículo narrativo, memorial e/ou súmula curricular e/ou incluir perguntas sobre áreas de impacto que estejam alinhadas com os objetivos da sua instituição, como envolvimento com o público ou com pacientes e mobilização de conhecimento (consulte Destaque para currículos narrativos na página 36). TABELA 1 (continuação) 41 MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Integração e desenvolvimento de pesquisadores em novos cargos Avaliação do processo de contratação e progressão Entrevistas e arguição de candidatos Ao arguir e entrevistar os candidatos, as comissões e bancas podem: • Usar um conjunto padronizado de protocolos e perguntas fornecidos a todos os candidatos para evitar o potencial de parcialidade. • Oferecer aos candidatos uma visão prévia das áreas de perguntas aseremabordadas,dandotempopararespostasreflexivase reduzindo o viés linguístico. • Com antecedência ou no início da arguição e entrevista, informar os candidatos sobre o processo e a estrutura da entrevista e como eles serão avaliados. Ao dar as boas-vindas aos candidatos a novos cargos, considere: • Fornecer apoio pós-contratação, com planos de desenvolvimento individuais, reuniões e discussões regulares e avaliações periódicas paraidentificaráreasquenecessitamdeapoio,afimdegarantiro sucesso acadêmico. • Garantir que as informações sobre novos funcionários ou promoções sejam capturadas corretamente nos sistemas de gestão de pesquisa e informação, e que as informações capturadas estejam alinhadas com a ARP. • Oferecer treinamento, especialmente para chefes de departamento e coordenadores de comissões acadêmicas, para compartilhar a abordagem da organização em relação à ARP. • Coletar feedback regular dos funcionários sobre práticas de trabalho e práticas de avaliação de pesquisa no terreno. Tente criar maneiras de refletir sobre o processo da perspectiva do candidato e do recrutador. Por exemplo: • Introduzir um formulário de feedback pós-recrutamento e contratação, para candidatos/requerentes e membros da equipe de recrutamento. • Procure manter os formulários de feedback: ·Simples ·Anônimos, sempre que possível – inclua informações contextuais que possam ser usadas de forma agregada para garantir que você esteja ciente das tendências de acordo com características específicas(porexemplo,gênero,idadeprofissional). ·Aplicáveis a diferentes departamentos e faculdades para permitir comparações e referências. TABELA 1 (continuação) Garantindo a ARP nos processos de recrutamento e progressão Abordagens que as organizações podem adotar para garantir a ARP em momentos-chave nos processos de recrutamento, contratação e progressão. 48 CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Garantir a ARP nas avaliações das unidades de pesquisa Feedback pós-avaliação e reflexão Após as avaliações das unidades, as organizações podem: • Disponibilizar feedback detalhado às unidades, destacando pontos fortes, áreas a serem melhoradas e recomendações práticas. • Organizar workshops ou reuniões de acompanhamento para discutir os resultados da avaliação e compartilhar as melhores práticas. • Concentrar-seemverificaratéquepontoaspolíticasde avaliação promovem pesquisas de alta qualidade e consideram diversos aspectos da atividade acadêmica. • Estabelecer um cronograma para a revisão regular dos critérios, ferramentas e processos de avaliação. • Disponibilizar abertamente os dados para a coleta de evidências e pesquisas sobre avaliação de pesquisa. • Promover uma cultura de aprendizagem e aprimoramento contínuos, reconhecendo e recompensando as unidades que demonstramprogressoeinovaçãosignificativos. Enquanto os painéis de avaliação analisam as unidades, as organizações podem: • Facilitar uma comunicação aberta e transparente entre os avaliadores e as unidades que estão sendo avaliadas. • Verificaratéquepontoaspolíticasdeavaliaçãopromovema investigação de alta qualidade e consideram diversos aspectos daatividadeprofissional. • Dedicaratençãoaosconflitosdeinteresse,garantindoa prevenção de erros, transparência e correção. Abordagens que as organizações podem adotar para garantir a ARP em momentos-chave durante as avaliações das unidades de pesquisa. TABELA 3 (continuação) MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP Realização da avaliação 49 50 CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Pesquisadores em início de carreira Os programas de pós-graduação costumam ser altamente competitivos, com os alunos disputando um número limitado de vagas. Os alunos são normalmente avaliados formalmente pela instituição como parte da progressão do seu curso, geralmente por meio de uma comissão do corpo docente que avalia suateseoudissertaçãofinal.Embora, é claro, as avaliações individuais das teses precisem ser diferenciadas, há muitas coisas que as organizações podem fazer para alinhar o processo de avaliação com os princípios da ARP. Há uma abundância de evidências que mostram o desejo entre os pesquisadores em início de carreira (ECRs) por abordagens de avaliação de pesquisa que valorizem a diversidade de resultados e contribuições42,43. No entanto, se as organizações não aderirem a práticas progressivas de ARP, os ECRs podem se ver presos a um paradigma tradicional que cria uma "pressão para publicar"44, o que pode, em detrimento de aprendizados e experiências de pesquisa mais amplas,levaradesafiosdesaúde mental45. Existem muitas iniciativas sendo levadas a cabo para envolver totalmenteosECRsnadefiniçãodesua abordagem à avaliação de pesquisa, para garantir que ela atenda melhor aos seus interesses46. GARANTINDO A ARP COMO PARTE DO PROGRAMA DE PÓS-GRADUAÇÃO DESTAQUE 50 51 Considere se seus programas de pósgraduação incluem treinamento sobre avaliação responsável de pesquisa. Tópicos úteis para treinamento que incentivam a ARP podem incluir: Você exige que os alunos publiquem artigos para se formarem? Evite focar na quantidade em detrimento da qualidade. Considere privilegiar uma boa governança científica, por exemplo, incentivando os alunos de pósgraduação a tornar os resultados e dados de suas pesquisas acessíveis e facilmente reutilizáveis, como por meio da publicação de preprints e/ ou do uso de repositórios de dados. Sua organização é consistente na forma como avalia as teses? Você aplica critérios padrão? CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Saiba mais sobre como o Centro Médico Universitário de Utrecht redesenhou sua avaliação de candidatos a doutorado47. Centro Médico Universitário ESTUDO DE CASO DESTAQUE PARA PESQUISADORES EM INÍCIO DE CARREIRA Cultura de pesquisa Como ser um revisor construtivo e justo Integridade e ética na pesquisa Como projetar pesquisas para obter robustez e transparência, e como lidar com resultados negativos Uso responsável de métricas A melhor forma de usar indicadores quantitativos e qualitativos na avaliação de pesquisa e alguns dos perigos de diferentes indicadores e abordagens Compartilhando sua pesquisa com impacto Ciência aberta, divulgação de pesquisas e práticas de publicação Currículos narrativos Como contextualizar e comprovar suas contribuições em um formato narrativo 51 PESQUISADORES EM INÍCIO DE CARREIRA: Pontos a considerar 52 Acomunicaçãoeficazdaqualidadedapesquisaedeseusamplosimpactos ajuda a garantir que a ARP se torne parte da narrativa e da identidade interna e externa de uma instituição. É importante garantir que os colegas responsáveis pela comunicação em toda instituição estejam cientes e alinhados com o foco e os objetivos da estratégia de ARP e estejam posicionados para compartilhar as histórias e os sucessos de pesquisadores com foco em uma gama mais ampla de contribuições. A Tabela 4 apresenta possíveis abordagens que as organizações podem adotar para garantir as práticas da ARP ao moldar as comunicações institucionais internas e externas. Desenvolvimento da comunicação institucional SEÇÃO 3.4 CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES 53 MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Desenvolvimento de políticas institucionais e declarações de posição Atualizações e boletins informativos internos da liderança institucional Anunciar nomeações importantes e novas contratações Em comunicações regulares à comunidade, as organizações podem: • Valorize exemplos do impacto mais amplo da pesquisa e dos pesquisadores, em vez de apenas destacar artigos publicados emrevistasespecíficas. • Concentre-se em diversos caminhos para causar impacto, incluindo, entre outros, envolvimento social, comercialização, ciênciaparapolíticaspúblicasecomunicaçãocientífica. • Reconheça as diferentes competências e atividades empregadas para alcançar pesquisas de alta qualidade e impacto, incluindo robustez, reprodutibilidade, integridade, ética e abertura da pesquisa. Ao divulgar comunicações sobre novas nomeações: • Concentre-se nas habilidades gerais, na experiência e no potencial futuro que uma nova nomeação pode trazer e evite focarapenasemdefiniçõesrestritasdesucessoacadêmico(por exemplo, produção de publicações). • Reforceoaumentodoescopoedaflexibilidadedaqualidade da pesquisa e competência na avaliação dos procedimentos de recrutamento. Ao comunicar novas políticas ou atualizações, as organizações podem: • Garantir que as políticas e declarações de posição existentes e novas (por exemplo, em torno de DEI, contratação e progressão, uso de rankings, ciência aberta) estejam alinhadas com a estratégia da ARP e sejam transparentes para todas as partes interessadas. • Indique o alinhamento dos valores com a DORA, a CoARA e outros compromissos institucionais, aumentando a responsabilidade da comunidade. Possíveis abordagens que as organizações podem adotar para garantir práticas de ARP ao moldar suas comunicações internas e externas. TABELA 4 Garantindo práticas de ARP na comunicação institutional 54 MOMENTO-CHAVE INTERVENÇÃO SUGERIDA PARA APOIAR A ARP CAPÍTULO 3: MOMENTOS-CHAVE NA AVALIAÇÃO DA PESQUISA E DE PESQUISADORES Envolvimento da liderança com a comunidade Comentários sobre rankings nacionais e/ou institucionais Incentivar que a comunicação — tanto interna quanto externa — sobre a posição da instituição nos rankings nacionais e internacionais: • Concentra-se em apresentar uma visão holística dos pontos fortes e do desenvolvimento futuro de uma instituição. • Evitafocaremdefiniçõesrestritasdequalidadeeimpacto da pesquisa ou apenas nos sucessos. • Esclarece os dados a partir dos quais os rankings são derivados e o que eles representam. • Afirmaqueoscritériosdessesrankingsnãoserefletem na avaliação de equipes ou pesquisadores individuais. • Explica as limitações dos rankings. • Está alinhado com a iniciativa More Than Our Rank, que incentiva o uso responsável dos rankings institucionais (Capítulo 4). As organizações podem promover uma cultura de cocriação em ARP ao: • Promover o diálogo sobre as iniciativas de ARP à medida que elas são desenvolvidas e assim que uma abordagem for acordada. • Organizar reuniões públicas e seminários para facilitar discussões internas, bem como outras formas de ampla troca de informações intra-institucionais. • Utilizar vários canais de comunicação para envolver todas as unidades, disciplinas e estágios de carreira, incluindo doutorandoseprofissionaistécnicoseadministrativos. Abordagens possíveis que as organizações podem adotar para garantir práticas de ARP ao moldar suas comunicações internas e externas. TABELA 4 (continuação) Garantindo práticas de ARP na comunicação institucional 55 GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 55 Iniciativas globais e exemplos relevantes para a ARP Há uma série de iniciativas que oferecem referências e recursos que podem ajudar a informar práticas de avaliação responsável de pesquisa (ARP) e tópicos relacionados. 4.1 Iniciativas que visam fornecer liderança e orientação sobre aspectos da ciência aberta 4.3 Iniciativas que visam incentivar uma visão holística e inclusiva da pesquisa 4.2 Iniciativas que se concentram em impulsionar a reforma da avaliação de pesquisa 4.4 Iniciativas que se concentram em possibilitar políticas baseadas em evidências e integridade da pesquisa Ter conhecimento e integrar tópicos relacionados, tais como ciência aberta, impacto social, integridade da pesquisa, envolvimento da comunidade, interdisciplinaridade, e reprodutibilidade - juntamente com outros tópicos relevantes para o seu contexto - pode ser benéfico, uma vez que pode haver muitos esforços em andamento para apoiar mudanças em sua organização. Este capítulo inclui exemplos bem conhecidos; embora a lista de iniciativas não seja exaustiva, esperamos que ela forneça um ponto de partida útil. 4 56 A Recomendação da UNESCO sobre Ciência Aberta16 foi adotada na 41ª sessão da Conferência Geral da UNESCO, em novembro de 2021. A Recomendação prevê uma estrutura internacional para políticas e práticas de ciência aberta que reconhece as diferenças disciplinares e regionais nas perspectivas da ciência aberta. Acredita-se que a Recomendação da UNESCO ajude a criar as condições para uma visão holística da pesquisa e de todo o seu impacto dentro e entre os países. Um conjunto de princípios foi elaborado para ajudar os países a tornar a ciência aberta uma realidade em seu contexto. Os princípios estão em estreita consonância com os da ARP. • Transparência, escrutínio, crítica e reprodutibilidade – para reforçar origordosresultadoscientíficos,realçaroimpactopositivoda ciência na sociedade e aumentar a capacidade da sociedade de resolver problemas complexos e interligados. • Igualdade de oportunidades – garantir que todos os cientistas e aqueles que se interessam pela ciência tenham oportunidades iguaisdeacessar,contribuiresebeneficiardaciência, independentemente de sua origem ou circunstâncias. • Responsabilidade, respeito e prestação de contas – ser responsável econscientedaresponsabilidadepública,potenciaisconflitosde interesse, integridade intelectual e possíveis consequências sociais ou ecológicas das atividades de pesquisa. • Colaboração, participação e inclusão – garantir que as colaborações científicastranscendamasfronteirasgeográficas,linguísticasede recursos, e incluam o conhecimento de comunidades marginalizadas para resolver problemas de grande importância social. • Flexibilidade – reconhecer que não existe uma maneira única de praticar a ciência aberta e incentivar diferentes caminhos para praticá-la, mantendo os valores fundamentais. • Sustentabilidade–seromaiseficienteeimpactantepossível, com base em práticas, serviços, infraestruturas e modelos de financiamentodelongoprazo,paragarantiraparticipaçãode cientistas de países ou instituições menos privilegiadas. Recomendação da UNESCO sobre Ciência Aberta CAPÍTULO 4: INICIATIVAS GLOBAIS E EXEMPLOS RELEVANTES PARA A ARP Iniciativas que visam fornecer liderança e orientação sobre aspectos da ciência aberta SEÇÃO 4.1 CONTEXTO PRINCÍPIOS FUNDAMENTAIS IMPACTO 57 Fundada em 2022, a Iniciativa de Liderança do Ensino Superior para a Pesquisa Aberta48 (HELIOS Open) foi criada para promover a adoção de práticas de pesquisa aberta no ensino superior e é uma iniciativa do Grupo de Financiadores da Pesquisa Aberta49. Apesar de seu potencial transformador, a adoção de práticas abertas pode enfrentar barreiras, incluindoresistênciacultural,faltadefinanciamentoparaasinfraestruturas necessárias e incentivos desalinhados. O HELIOS Open foi criado para mobilizar as lideranças universitárias para defender os benefícios potenciais da pesquisa acadêmica aberta e ajudar a impulsionar mudanças sistêmicas. O HELIOS Open criou uma rede composta por líderes de instituições americanas e um Plano de Programa Aberto. Por meio dessa rede e de uma série de outros fóruns de discussão com a comunidade de pesquisa, o HELIOS Open espera impulsionar a pesquisa aberta. O foco na pesquisa aberta está intimamente alinhado com a ARP. O objetivo do HELIOS Open é promover um ecossistema de pesquisa mais transparente,inclusivo,equitativoeconfiável. Iniciativa de Liderança do Ensino Superior para a Pesquisa Aberta (HELIOS OPEN) CAPÍTULO 4: INICIATIVAS GLOBAIS E EXEMPLOS RELEVANTES PARA A ARP SEÇÃO 4.1 Iniciativas que visam fornecer liderança e orientação sobre aspectos da ciência aberta PRINCÍPIOS FUNDAMENTAIS CONTEXTO IMPACTO 64 Os Princípios de Hong Kong62 para a avaliação de pesquisadores foram desenvolvidos e aprovados na 6ª Conferência Mundial sobre Integridade na Pesquisa (WCRI), realizada em Hong Kong em 2019. Com foco em garantir a integridade da pesquisa, indivíduos63 e organizações64 são convidados a endossar os Princípios. Liderada pela The Pew Charitable Trusts e fundada em 2020, a Transforming Evidence Funders Network65 (TEFN)reúnefinanciadores públicos e privados que estão impulsionando mudanças na geração, mobilização e uso de evidências em uma ampla gama de áreas temáticas e setores políticos em todo o mundo. Por meio da rede, os participantes aprendemunscomosoutros,identificamprioridadescomunseagemem problemasdesafiadoresnainterseçãoentrepesquisa,políticaeprática. Maisde25organizaçõesinfluentes(incluindofinanciadoraserealizadoras de pesquisa) e muitos indivíduos endossaram os Princípios de HK. Destinadaaagênciasdefinanciamento,aTEFNvisaproporcionar benefícios sociais que abrangem sustentabilidade, redução das desigualdades educacionais, melhoria da saúde pública e muito mais. Os Princípios de Hong Kong (HK) foram selecionados para incentivar, reconhecer e recompensar explicitamente os pesquisadores por práticas quegarantampesquisasconfiáveiseumcomportamentoresponsável. O objetivo é que, ao endossar e implementar os Princípios HK, as organizações possam ajudar os pesquisadores a avançar em suas carreiras de maneiras que ajudem a garantir a integridade da pesquisa. A TEFN visa fortalecer o conhecimento e a prática; promover um ecossistema coordenado de evidências; catalisar mudanças institucionais; e impulsionar o momentum e a demanda. Rede de Financiadores para a Transformação de Evidências (TEFN) CAPÍTULO 4: INICIATIVAS GLOBAIS E EXEMPLOS RELEVANTES PARA A ARP Iniciativas que se concentram em possibilitar políticas públicas baseadas em evidências e integridade da pesquisa SEÇÃO 4.4 CONTEXTO PRINCÍPIOS FUNDAMENTAIS PRINCÍPIOS FUNDAMENTAIS IMPACTO IMPACTO Os Princípios de Hong Kong CONTEXTO 65 Recursos e referências GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 1. DORA. San Francisco Declaration on Research Assessment. https://sfdora.org/read/ 2. Saenen, B., Hatch, A., Curry, S., Proudman, V. , and Lakoduk, A. (2021). Reimagining Academic Career Assessment: Stories of innovation and change. European University Association. https://www.eua.eu/publications/reports/reimagining-academic-career-assessment-stories-ofinnovation-and-change.html 3. DORA. Reimagining academic assessment: stories of innovation and change. https://sfdora.org/dora-case-studies/ 4. DORA. Reformscape. https://sfdora.org/reformscape/ 5. Curry S, de Rijcke S, Hatch A, Pillay DG, van der Weijden I, Wilsdon J. (2018). The changing role of funders in responsible research assessment: progress, obstacles and the way ahead. https://doi.org/10.6084/m9.figshare.13227914.v1 6. Global Research Council. Responsible Research Assessment Working Group. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/ 7. Schmidt, R. (2022). Building Blocks for Impact. Zenodo. https://doi.org/10.5281/zenodo.7249187 8. Bowman S, Lima G. (2022). Researcher Impact Framework: Building Audience-Focused Evidence-Based Impact Narratives. https://doi.org/10.25546/98474 9. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. In Nature (Vol. 520, Issue 7548, pp. 429–431). Springer Science and Business Media LLC. https://doi.org/10.1038/520429a 10. DORA. (2024). DORA releases new guidance on research indicators. https://sfdora.org/2024/05/06/dora-releases-new-guidance-on-research-indicators/ 11. Hatch, A. & Schmidt, R. (2021). SPACE to evolve academic assessment: A rubric for analyzing institutional conditions and progress indicators. Zenodo. https://doi.org/10.5281/zenodo.4927605 12. Schmidt, R., & Hazlett, H. (2022, July 14). SPACE rubric workbook and workshop kit. DORA. https://doi.org/10.5281/zenodo.15389379 13. Damschroder, L.J., Reardon, C.M, Widerquist, M.A.O. & Lowery, J. (2022). The updated Consolidated Framework for Implementation Research based on user feedback. Implementation Science, 17(1) 75. https://doi.org/10.1186/s13012-022-01245-0 14. Bauer, M. S., Damschroder, L., Hagedorn, H., Smith, J. & Kilbourne, A. M. (2015). An introduction to implementation science for the non-specialist. BMC Psychology, 3(1), 32. https://doi.org/10.1186/s40359-015-0089-9 15. DORA. University of Maryland Department of Psychology. https://sfdora.org/case-study/university-of-maryland-department-of-psychology/ 16. UNESCO. Open science. https://www.unesco.org/en/open-science 17. Aguiar, O. (2022). Rethinking research assessment for the greater good: Findings from the RPT project. Scholarly Communications Lab. https://www.scholcommlab.ca/2022/05/04/findings-from-the-rpt-project/ 66 Recursos e referências GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 18. Aurbach, E. L., Kennedy, H., Redd, K., Bennett, J., & Gobstein, H. (2023). Modernizing Scholarship for the Public Good: An Action Framework for Public Research Universities. Center for Open Science. https://doi.org/10.31219/osf.io/uekpb 19. Hatch, A. & Schmidt, R. (2020). Rethinking Research Assessment: Ideas for Action. https://doi.org/10.5281/zenodo.15266830 20. Nicholas,D.,Watkinson,A.,Boukacem-Zeghmouri,C.,Rodríguez-Bravo,B.,Xu,J.,Abrizah,A.,Świgoń, M., Clark, D. & Herman, E. (2019). So, are early career researchers the harbingers of change? Learned Publishing, 32: 237-247. https://doi.org/10.1002/leap.1232 21. Heiser, R. E., Risien, J., Van Egeren, L., & Renoe, S. (2025). Mapping institutional pathways for advancing research impacts. Oregon State University. https://doi.org/10.5399/osu/1187 22. DORA. University of Tokyo. https://sfdora.org/case-study/university-of-tokyo/ 23. DORA. University of Glasgow. https://sfdora.org/case-study/university-of-glasgow/ 24. Hatch, A. & Schmidt, R. (2020). Rethinking Research Assessment: Unintended Cognitive and Systems Biases. https://doi.org/10.5281/zenodo.15266914 25. Schmidt, R. (2022). Debiasing Committee Composition and Deliverable Processes. Zenodo. https://doi.org/10.5281/zenodo.7249223 26. Benamara, A., Fahal, A., Kowaltowski, A., Trinh, A.-K., Cody, A., Firth, C., Fraser, C., Verónica Jeppesen, C., Youlden, D., Madeira, D., Estillore, G., Morris, J. P., Faure, J.-E., Clarkin, J., Looyen, J., Kiesselbach, M., Ahmad S. Al-Shamsi, M., Aubert bonn, N., Dube, N., … Li, W. (2024). Dimensions of Responsible ResearchAssessment(fullreportandsummary).figshare. https://doi.org/10.6084/M9.FIGSHARE.26064223.V3 27. Carter,R.G.(2020).PTIEfindings:Expandingpromotionandtenureguidelinestoinclusivelyrecognize innovation and entrepreneurial impact. Oregon State University. https://ir.library.oregonstate.edu/concern/defaults/jw827k251 28. Carter, R.G. et al. (2021). Innovation, entrepreneurship, promotion, and tenure. Science 373,1312-1314. https://doi.org/10.1126/science.abj2098 29. Dougherty, M. R., Carter, C., McKiernan, E., Tananbaum, G., Parker, Z., & García, C. (2024). Toolkit for Aligning Incentives 2.0. Center for Open Science. https://doi.org/10.31219/osf.io/8x4e9 30. DORA. Aalborg University. https://sfdora.org/case-study/aalborg-university/ 31. DORA. University of Calgary. https://sfdora.org/case-study/university-of-calgary/ 32. Queensland University of Technology. (2023). QUT Public Statement on Research Assessment. https://cms.qut.edu.au/__data/assets/pdf_file/0009/1265382/qut-public-statement-researchassessment.pdf 33. Concordia University. (2024). Concordia signs the San Francisco Declaration on Research Assessment (DORA). https://www.concordia.ca/cunews/main/stories/2024/12/17/concordia-signs-the-sanfrancisco-declaration-on-research-assessment.html 34. INORMS. (2021). SCOPE Framework for Research Evaluation. https://inorms.net/scope-framework-for-research-evaluation/ 67GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs Recursos e referências 35. UK Research and Innovation. Résumé for Research and Innovation (R4RI): guidance. https://www.ukri.org/apply-for-funding/develop-your-application/resume-for-research-and-innovationr4ri-guidance/ 36. Fritch, R., Garrard, S., Hatch, A., Hazlett, H., Noone, H., Quinn, L., Strinzel, M., Thomson, A. & Vinkenburg, C. (2024). Using Narrative CVs: Identifying shared objectives and monitoring effectiveness. https://doi.org/10.5281/zenodo.10845837 37. Bordignon, F., Chaignon, L., Egret, D. (2023). Promoting narrative CVs to improve research evaluation? A review of opinion pieces and experiments. Research Evaluation. 32(2):3320. https://doi.org/10.1093/reseval/rvad013 38. Fritch, R., Garrard, S., Hatch, A., Hazlett, H., Noone, H., Quinn, L., Strinzel, M., Thomson, A., & Vinkenburg, C. (2024). Using Narrative CVs: Identifying shared objectives and monitoring effectiveness (Version v1). Zenodo. https://doi.org/10.5281/zenodo.10845837 39. DORA. Open University. https://sfdora.org/case-study/open-university/ 40. DORA San Francisco Declaration on Research Assessment & Fonds National de la Recherche. (2021). Balanced, broad, responsible: A practical guide for research evaluators. DORA. https://doi.org/10.5281/zenodo.15267022 41. Hazlett H. (2024). Improving Pre-Award Processes for Equitable and Transparent Research Assessment. https://doi.org/10.5281/zenodo.11246257 42. Wróblewska,M.N.,Balaban,C.,Derrick,G.,Benneworth,P.(2024).Theconflictofimpactforearly career researchers planning for a future in the academy. Research Evaluation. 33. https://academic.oup.com/rev/article/doi/10.1093/reseval/rvad024/7440258 43. Smithers, K., Gibbs, L. (2024). Challenges and opportunities for early career researchers: using the theory of practice architectures to unpack enabling and constraining conditions. Professional Development in Education. https://doi.org/10.1080/19415257.2024.2386661 44. Nicholas,D.,Watkinson,A.,Boukacem-Zeghmouri,C.,Rodríguez-Bravo,B.,Xu,J.,Abrizah,A.,Świgoń, M., Clark, D., & Herman, E. (2019). So, are early career researchers the harbingers of change? Learned Publishing (Vol. 32, Issue 3, pp. 237–247). Wiley. https://doi.org/10.1002/leap.1232 45. Satinsky, E.N., Kimura, T., Kiang, M.V., et al. (2021) Systematic review and meta-analysis of depression, anxiety,andsuicidalideationamongPh.D.students.ScientificReports.11(1):14370. https://doi.org/10.1038/s41598-021-93687-7 46. Algra, A., Koopman, I., Snoek, R. (2020). How young researchers can re-shape the evaluation of their work. Nature Index. https://www.nature.com/nature-index/news/how-young-researchers-can-re-shape-research-evaluationuniversities 47. Koopman, I., Algra, A. (2023). Young researchers in action: the road towards a new PhD evaluation. https://sfdora.org/2023/02/16/young-researchers-in-action-the-road-towards-a-new-phd-evaluation/ 48. Higher Education Leadership Initiative for Open Scholarship (HELIOS). https://www.heliosopen.org 49. Open Research Funders Group. https://www.orfg.org 68GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs Recursos e referências 50. Barcelona Declaration on Open Research Information. https://barcelona-declaration.org/ 51. Latin American Forum on Research Assessment (FOLEC-CLACSO). https://www.clacso.org/en/folec/ 52. INORMS. (2022). More Than Our Rank. https://inorms.net/more-than-our-rank/ 53. Make Data Count. (2024). An Essential Infrastructure for Open Science. https://makedatacount.org/ 54. Dryad. Publish and preserve your data. https://datadryad.org/ 55. Figshare. Credit for all your research. https://figshare.com/ 56. Zenodo. https://zenodo.org/ 57. Coalition for Advancing Research Assessment (CoARA). https://coara.eu/ 58. CoARA. Sign the Agreement. https://coara.eu/sign/ 59. CoARA. The Commitments. https://coara.eu/agreement/the-commitments/ 60. CRediT. Contributor Role Taxonomy. https://credit.niso.org/ 61. EDI Caucus. EDICa. https://edicaucus.ac.uk/ 62. World Conferences on Research Integrity. (2025). Hong Kong Principles. https://www.wcrif.org/guidance/hong-kong-principles 63. World Conferences of Research Integrity. (2025). Form for individuals. https://www.wcrif.org/form-for-individuals 64. World Conferences of Research Integrity. (2025) Form for institutions. https://www.wcrif.org/form-for-institutions 65. Pew Charitable Trusts. The Transforming Evidence Funders Network. https://www.pewtrusts.org/en/research-and-analysis/fact-sheets/2022/04/the-transforming-evidencefunders-network Todos os recursos online foram acessados em maio de 2025. 69GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs Agradecemos e reconhecemos as contribuições úteis dos participantes do workshop do Projeto TARA, organizado pela Universidade de Maryland em 31 de janeiro de 2025, listados em ordem alfabética abaixo, bem como o feedback dos membros do Comitê Diretor da DORA, Sean Sapcariu e Bernd Pulverer. Agradecemos a Janet Catterall por sua ajuda na compilação e organização das referências e recursos de apoio mencionados no Guia. A tradução deste Guia para o português contou com a ajuda do Instituto de Ciências Biomédicas, do Projeto Métricas e da Rede Brasileira de Reprodutibilidade. Muito obrigada a Patrícia Gama, Justin Axel-Berg, Eduarda Centeno, Olavo Amaral, Ricardo Ceneviva, Isis Trajano e Juliana Fernandes. Liz Allen Jordana Armstrong Elyse Aurbach Stirling Bryan Kelly Cobey Erica Conte Katie Corker Alexandra D'Arcy Priya Doshi Michael Dougherty Abigael Eshete Kate Geddie Christian Gonzalez-Billault Helga Hallgrimsdottir Anna Hatch Stephen Jacobs Zubin Jelveh Patricio Korzeniewicz DORA University of Maryland Michigan State University Michael Smith Health Research British Columbia DORA, University of Ottawa Heart Institute Unity Health Toronto ASAPbio University of Victoria American University University of Maryland Association of Public & Land-Grant Universities Canadian Institute for Advanced Research Universidad de Chile University of Victoria HHMI Open @RIT University of Maryland University of Maryland Agradecimentos ANEXO NOME AFILIAÇÃO 70 Rebecca Lawrence Giovanna Lima Andres De Los Reyes Lisa Maillard Flora Massah Caleb McKinney David Mellor Emily Miller Ben Miyamoto David Moher Kacy Redd Sarah Rovito Ruth Schmidt Michael Skovdal Rathleff Jordan S. Sly Brian Tarrallo Stephanie Warner Kent Weigel Baron Wolf DORA, F1000 Research Ltd DORA University of Maryland The Pew Charitable Trusts Illinois Institute of Technology Georgetown University Medical Center Center for Open Science Association of American Universities The Pew Charitable Trusts Ottawa Hospital Research Institute, Ottawa, Canada Association of Public & Land-Grant Universities National Academies Illinois Institute of Technology Aalborg University, Denmark University of Maryland Graphic Facilitator University of Calgary University of Wisconsin-Madison University of Kentucky NOME AFILIAÇÃO ANEXO Agradecimentos GUIA PRÁTICO PARA IMPLEMENTAR A ARP EM ORPs 71 A PRACTICAL GUIDE TO IMPLEMENTING ARP Este Guia Prático tem como objetivo oferecer orientações práticas e dicas para moldar e implementar práticas responsáveis de avaliação de pesquisa (ARP) em organizações que realizam pesquisas (ORPs). Agradecemos à Arcadia Foundation pelo apoio financeiroaoProjetoFerramentasparaoAvanço da Avaliação da Pesquisa (TARA), do qual este Guia faz parte. A Arcadia ajuda as pessoas a registrar o patrimônio cultural, conservar e restaurar a natureza e promover o acesso aberto ao conhecimento. Desde 2002, a Arcadia já concedeu mais de US$ 1,2 bilhão a instituições em todo o mundo. Esta publicação está licenciada sob a Creative Commons Attribution-Noncommercial CC BY-NC. Tradução da Versão 1.0 em Inglês Maio 2025 Allen, L., Barbour, V., Cobey, K., Faulkes, Z., Hazlett, H., Lawrence, R., Lima, G., Massah, F., & Schmidt, R. (2025). Um Guia Prático para Implementar uma Avaliação Responsável de Pesquisa em Organizações Realizadoras de Pesquisa. Declaração sobre Avaliação da Pesquisa (DORA). https://doi.org/10.5281/zenodo.17783097 Os autores estão ordenados alfabeticamente pelo sobrenome. AGRADECIMENTO FINANCIAMENTO LICENCIAMENTO CITAR COMO