Mapa de la investigación realizada sobre evaluación de la investigación

1 Mapa de la investigación realizada sobre evaluación de la investigación Autores: Ernest Abadal Facultat d’Informació i Mitjans Audiovisuals Universitat de Barcelona, Barcelona. España [email protected] ORCID iD: https://orcid.org/0000-0002-9151-6437 Candela Ollé-Castellà Estudios de Ciencias de la Información y la Comunicación Universitat Oberta de Catalunya, Barcelona. España [email protected] ORCID iD: https://orcid.org/0000-0002-8302-4790 Palabras clave: evaluación de la investigación, reforma, evaluación responsable, ciencia abierta, políticas públicas, indicadores, impacto Introducción y objetivos La evaluación de la investigación es uno de los elementos fundamentales de la ciencia abierta. Sin un cambio del modelo tradicional de evaluación de la investigación y la utilización de nuevos indicadores será difícil incentivar las buenas prácticas relacionadas con la ciencia abierta (p.e. la compartición de datos de investigación o la revisión abierta por pares) y reducir las distorsiones del mercado de las revistas científicas que ha generado la introducción de las tasas para publicar (los denominados APC) en sustitución del modelo basado en la suscripción (precios abusivos en el cobro de APC, revisiones laxas y realización de números especiales para incrementar el número de artículos publicados, etc.). Son perfectamente conocidas las múltiples declaraciones y manifiestos que abogan por el abandono de las evaluaciones basadas exclusivamente en los índices de impacto: DORA (2012), Manifiesto de Leiden (2015), los principios de Hong-Kong (2020), etc. y que proponen un uso responsable de las métricas y una aproximación cualitativa a la evaluación de las publicaciones científicas, de los proyectos de investigación o de las carreras académicas. La creación de la Coalición para la Reforma de la Evaluación Científica (CoARA, 2025) y las reformas en la evaluación de las carreras académicas que se han llevado a cabo en diversos países europeos (Noruega, Finlandia, Reino Unido, Países Bajos, España, etc.) muestran variaciones sustanciales en la implementación de políticas y criterios de evaluación, lo cual refleja las prioridades y recursos específicos de cada contexto nacional. Consecuentemente, plantean retos importantes para la creación de un marco de evaluación de la investigación cohesionado europeo, pero también representa una oportunidad para el aprendizaje mutuo y la transferencia de buenas prácticas entre los países (Ollé et al, 2025). Además, ha dado un notable impulso a la exploración e implementación práctica de nuevos modelos de evaluación (López-Borrull et al, 2023). 2 Estos cambios explican que la evaluación de la investigación también se haya convertido en un campo de estudio y existan en estos momentos numerosos proyectos de investigación y publicaciones que versan sobre esta temática (Rushforth, 2025; Abramo, 2025; Rovelli, 2022). Dos son los términos que se están empezando a consolidar para referirse a este ámbito: research assessment reform y responsible research assessment (RRA), aunque aún no tienen un uso generalizado. Se trata de una especialización dentro de research assessment o research evaluation que son términos más amplios, con mucha tradición, que incluyen cualquier tipo de estudio sobre la evaluación de la investigación y disponen de revistas especializadas, entre las cuales destaca “Research evaluation”. Así pues, el objetivo de nuestro trabajo es presentar un mapa orientativo de la investigación que se está llevando a cabo a nivel internacional sobre la reforma de la evaluación de la investigación. Específicamente, se van a identificar los autores y centros de investigación más activos, las principales temáticas tratadas, así como las metodologías abordadas para ello, entre otros elementos. Metodología La metodología utilizada en este estudio descriptivo ha sido el análisis de contenido, que se ha aplicado a las publicaciones científicas y a los proyectos de investigación que tienen como temática principal la reforma de la evaluación de la investigación. Las fuentes de información utilizadas para seleccionar las publicaciones han sido las bases de datos Scopus (dispone de una cobertura internacional muy amplia, aunque basada fundamentalmente en artículos de revista) y Google Scholar (una amplia cobertura que incluye todo tipo de publicaciones, en especial las monografías, y de todos los ámbitos lingüísticos). Hemos realizado la consulta de los términos “reform” y “research assessment” en el título, resumen o palabras clave (el término “responsible research assessment” está aún poco extendido) en el caso de Scopus y “evaluación de la investigación” y “reforma”, en el caso de Google Scholar. El alcance temporal lo hemos acotado al periodo 2020-2025. Después de una depuración manual de los resultados hemos obtenido 51 referencias de Scopus y otras 9 de Google Scholar, conformando el total de 60 publicaciones que han constituido el cuerpo de nuestro análisis. En el caso de los proyectos de investigación, hemos consultado la base de datos CORDIS (que nos facilita el acceso a los proyectos europeos que versan sobre evaluación de la investigación) y la base de datos de la Agencia Estatal de Investigación (AEI) para los proyectos españoles. No hemos localizado ninguna base de datos similar para recopilar los proyectos latinoamericanos. En este caso, la consulta ha sido “research assessment” (CORDIS) y “evaluación de la investigación” (AEI) y se han tenido en cuenta los proyectos que actividad a partir de 2020. Se obtuvo una relación inicial de 25 proyectos que fueron analizados individualmente para descartar los que no trataban específicamente de la reforma de la evaluación y también descartamos las redes temáticas y de excelencia (agrupaciones de proyectos y/o de grupos con el fin de coordinarse). El resultado final han sido 11 proyectos (7 europeos y 4 españoles) que han tenido actividad en los últimos cinco años. El análisis de contenido lo hemos centrado en los indicadores siguientes: 3 - País e institución de los autores o investigadores (servirá para detectar los focos de investigación más activos) - Entidad financiadora de los proyectos - Temática (servirá para ver las orientaciones y enfoques mayoritarios dentro de la reforma de la evaluación) - Ámbito geográfico (al cual se refiere el estudio) - Metodología utilizada A partir de las referencias bibliográficas y de los resúmenes de las publicaciones hemos analizado el contenido, con la ayuda inicial de la herramienta de IA Consensus Pro y Gemini Pro, y seguidamente hemos contrastado y validado los resultados para proceder a su interpretación y redacción. En el caso de los proyectos nos hemos centrado fundamentalmente en la entidad financiadora y en la temática. Resultados Los resultados del análisis de contenido nos permiten disponer de un mapa de autoría (y sus instituciones), de las temáticas, de los ámbitos, y otros indicadores hacia los que se orienta la investigación en evaluación de la investigación, así como también detectar los países y las instituciones donde se ubican los grupos más activos en el estudio de esta línea. a) Autores Alex D. Rushforth es uno de los autores con mayor número de trabajos. Forma parte del centro de investigación CWTI (Univ Leiden) y también colabora con Research on Research (RoRI). Al mismo nivel de publicaciones se encuentran Giovanni Abramo, actualmente en la Università Mercatorum (Italia) pero con una dilatada trayectoria como experto en evaluación de la investigación, ya que fue director del Instituto para la Evaluación de la Investigación en el Consiglio Nazionale delle Ricerche (CNR Italia), y Ciriaco Andrea D’Angelo, de la Università degli Studi di Roma Tor Vergata, que colaboran conjuntamente. A continuación, aparece Tony Ross-Hellauer, que es investigador del grupo Open and Reproducible Research del Know Center (Austria). En América Latina, se debe destacar a Laura Rovelli coordinadora Foro Latinoamericano sobre Evaluación Científica (FOLEC-CLACSO) y a Pablo Vommaro, profesor e investigador en la Universidad de Buenos Aires y en el CONICET, y secretario académico de CLACSO. En España, se debe mencionar a Ismael Ràfols (CWTI, Leiden) y a Jordi Molas-Gallart (Ingenio, CSIC), dos expertos en reforma de la evaluación que tienen algunos trabajos en colaboración. En China también se encuentra un grupo de autores, entre los que destacamos a Jiali Li, de la Shanghai Normal University y Jing Li, de la Shanghai Jiao Tong University. b) Revistas utilizadas “Research evaluation” y “Scientometrics”, con siete artículos cada una, son las revistas que han publicado más trabajos de la muestra analizada. La primera tiene un carácter más cualitativo y está especializada en evaluación, mientras que “Scientometrics” publica estudios bibliométricos de todo tipo. Esta doble 4 aproximación muestra el interés respecto de esta temática por parte de títulos con orientaciones distintas pero complementarias. A continuación, vendrían el “Bulletin of Chinese Academy of Sciences”, “ECNU Review of Education”, “Scholarly Assessment Reports” y la colección editorial “Higher Education Dynamics” (Springer), diversos títulos que no están especializados en evaluación y que publican un menor número de trabajos. c) Evolución cronológica de la productividad A pesar de haber filtrado el análisis en los últimos seis años (2020 - 25) para recopilar la investigación más reciente, hemos podido detectar un incremento al alza por publicar investigaciones focalizadas en el objeto de estudio en los tres últimos años. Así pues, si en el año 2020 recopilamos 9 artículos, 5 en el 2021 y 8 en 2022, constatamos que pasan a 11 en 2023, 15 en 2024 y el 2025, todavía por finalizar, ya suma 10 contribuciones. d) Financiadores de proyectos En el caso de los proyectos de investigación, se han seleccionado 11 proyectos, que han tenido actividad en los últimos cinco años. La entidad financiadora se distribuye de la siguiente manera: Programas Marco de la Unión Europea (6 proyectos), Plan Estatal I+D español (3), Research on Research (2). Está claro que la Unión Europea es la máxima financiadora, y con unas dotaciones económicas que suponen 10 veces los presupuestos asignados por el Plan Estatal español. Se debe tener en cuenta el caso de la organización Research on Research, dedicada precisamente a la investigación sobre evaluación de la investigación, que dispone de diversos estudios sobre la materia y que está financiando, además, dos proyectos directamente relacionados con la temática de nuestro estudio. e) Ámbito geográfico El foco principal de los análisis está situado en China, que dispone de 17 estudios. Este es un dato especialmente remarcable, que muestra el interés sobre la reforma de la evaluación que ha captado la atención a los investigadores de este país, y que muestra que el dinamismo científico de este país se encuentra a todos los niveles, no solo en los progresos científicos sino también en cuestiones que pueden parecer más colaterales como la evaluación de la investigación. A continuación, vendrían estudios sobre Italia y otros de carácter internacional (sin centrarse en un país en concreto). A partir de aquí, una larga lista de países y regiones han sido objeto de análisis (América Latina, España, Países Bajos, etc.). f) Temáticas En lo que se refiere a las temáticas, hemos procedido a agruparlas en cinco grandes ámbitos para simplificar la interpretación. Son los siguientes: - Políticas para la reforma de la evaluación Aquí se incluyen estudios sobre las reformas emprendidas en diversos países (Países Bajos, Italia, China, etc.), cuestiones relacionadas con la gobernanza de los nuevos modelos, su implementación, consideraciones teóricas sobre los aspectos fundacionales de la reforma, etc. - Barreras 5 Estudios sobre los obstáculos para desarrollar las reformas, sobre la percepción de los académicos, los elementos que conforman la resistencia al cambio, etc. - Métricas e instrumentos para la evaluación Estudios que se basan fundamentalmente en metodología bibliométrica para describir o analizar algún ámbito en concreto, o que proponen nuevos indicadores y métricas para tener en cuenta en la reforma. En este apartado también se incluyen estudios sobre la aplicabilidad de las altmétricas (presencia en redes sociales y académicas, consultas y descargas de las publicaciones, etc.) o la utilización de currículos narrativos. - Infraestructuras Estudios o proyectos de carácter técnico para describir o fortalecer las infraestructuras tecnológicas que van a ser necesarias para asegurar la provisión de datos desde fuentes abiertas. - Atención a la diversidad Estudios referidos a la preservación de la pluralidad lingüística o a evitar los sesgos o desequilibrios de género. Como se puede constatar, las temáticas se alejan de la discusión puramente métrica para tratar otras cuestiones y desde otros puntos de vista, ampliando también los objetos de evaluación. Se percibe también una intensa búsqueda de indicadores cuantitativos y cualitativos que permitan avanzar sólidamente en los procesos de reforma. Por otro lado, se constata la presión existente respecto de un cambio urgente en la evaluación de currículos académicos, específicamente para la acreditación, la entrada o la promoción en la carrera académica y de investigación. g) Metodologías Las metodologías empleadas en el estudio reflejan la naturaleza compleja y sociopolítica del objeto de estudio, requiriendo un enfoque pluralista que combine el rigor cuantitativo con la contextualización cualitativa. El análisis conceptual, el método cualitativo y el análisis bibliométrico representan casi un 70% de la totalidad, seguidos de estudios de revisión de la literatura; aspecto que coincide plenamente por el predominio de las Ciencias Sociales, tanto de las autorías como de las revistas dónde se han publicado. Conclusiones Se ha recopilado un número discreto de publicaciones y proyectos de investigación sobre la reforma de la evaluación científica. Desde nuestro punto de vista, se trata de un volumen escaso – aunque se postula como posible foco de investigaciones posteriorescon relación al enorme y destacado interés que esta temática ha despertado entre la comunidad académica y es una señal de que existe aún mucho camino por recorrer. La literatura analizada demuestra un fuerte consenso sobre la necesidad de reformar la evaluación de la investigación para abordar las limitaciones de la evaluación basada en métricas y fomentar una cultura de investigación más inclusiva, responsable y de mayor impacto. Las reformas más influyentes —DORA, CoARA y los Principios de Hong Kong— han orientado el debate global hacia la evaluación cualitativa, la 6 ciencia abierta y el reconocimiento de las diversas contribuciones. Sin embargo, la implementación sigue siendo desigual, con importantes desafíos relacionados con la inercia institucional, la disonancia de valores y la complejidad de equilibrar los criterios cualitativos y cuantitativos (Ollé et al., 2025, Rushforth, 2025). La evidencia sugiere que, si bien las reformas pueden mejorar la integridad de la investigación y su relevancia social, también corren el riesgo de introducir nuevas ambigüedades y cargas administrativas si no se diseñan cuidadosamente y se adaptan al contexto. El marco jurídico para la reforma aún se encuentra en desarrollo, y la mayor parte del progreso se basa en la legislación, la autorregulación y la acción colectiva, más que en mandatos vinculantes. Existe un reconocimiento creciente de que los cambios estructurales — como la diversificación de los comités de contratación y la integración de indicadores de responsabilidad en la gobernanza institucional— son necesarios para sostener una reforma significativa. Hemos podido mostrar también quienes son los autores principales, que están concentrados especialmente en Europa y también con académicos destacados en China y Argentina. Se trata de los tres grandes focos geográficos que acaparan la productividad. Es curioso constatar el bajo interés que se ha suscitado entre los investigadores de Estados Unidos. En cuanto al ámbito geográfico analizado, destaca de manera muy especial China, que parece que está iniciando un proceso de reflexión sobre sus procesos de evaluación. Son numerosos los autores de este país, además, que han publicado sobre el tema. En lo que se refiere a los proyectos, dejando aparte la financiación del programa marco de la Unión Europea o del Plan Estatal español, se debe destacar el papel relevante de RoR, una organización externa al sector público que está impulsando la realización de proyectos de financiación sobre esta temática. También se podría citar a CoARA, que dispone también de una línea de financiación de proyectos que no se han incluido en el estudio porque tienen una dimensión más modesta (apoyan básicamente la implementación de los compromisos de CoARA en las distintas instituciones signatarias). En resumen, pues, este estudio exploratorio nos ha mostrado un ámbito de especialización que está dibujando sus perfiles temáticos, sus frentes y focos de investigación, y al cual le queda aún un buen camino para definirlos con precisión y, además, para profundizar en todos ellos. En esta dirección, la reforma de la evaluación de la investigación es un campo dinámico y en constante evolución, con un fuerte impulso pero también con importantes desafíos por delante. La investigación, el diálogo y la experimentación continuos serán esenciales para aprovechar todo el potencial de estas reformas para la ciencia y la sociedad. Referencias Abramo, G., D’Angelo, C.A (2025). Peer review research assessment: are the reviewers really experts?, Research Evaluation, Volume 34, rvaf043, https://doi.org/10.1093/reseval/rvaf043 AEI (2025, Octubre 2025). Buscador de convocatorias. https://www.aei.gob.es/convocatorias/buscadorconvocatorias Coalition for Advancing Research Assessment (CoARA). (Julio, 2022). https://www.coara.org/ 7 CORDIS: EU results. (2025). https://cordis.europa.eu/ Declaration on Research Assessment (DORA). (2012) https://sfdora.org/ European Commission: European Research Executive Agency (2024). Report on research assessment, Publications Office of the European Union, https://data.europa.eu/doi/10.2848/931335 Leiden manifesto for research Metrics. (Abril, 2015) https://www.leidenmanifesto.org/ López-Borrull, A., Ollé, C., Abadal, E., Melero, R. y Boté-Vericad, J.J. (2023). La reforma de la evaluación de la investigación en España, un camino por emprender. Hipertext.net, (27), 5-17. https://doi.org/10.31009/hipertext.net.2023.i27 Moher D., Bouter L., Kleinert S., Glasziou P., Sham M.H., Barbour V., Coriat, A.M., Foeger, N., Dirnagl, U. (2020) The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol 18(7): e3000737. https://doi.org/10.1371/journal.pbio.3000737 Ollé Castellà, C.; Boté-Vericad, J.J, Abadal, E.; López-Borull, A.; Melero, R. y Serrano Vicente, R. (2025). Análisis de las estrategias de evaluación académica en ciencia abierta en Europa. Los casos de Inglaterra, Finlandia, Holanda, Noruega y España. Ibersid [en prensa] Research on Research Institute (ROR). (2025, Septiembre). https://researchonresearch.org/ Rovelli, L., Vommaro, P.A., (2022). Un punto de inflexión en la evaluación de la investigación: Orígenes y desafíos de la iniciativa del FOLEC de CLACSO. El Zócalo; 1; 1; 145-162 Rushforth, A. (2025). Research Assessment Reform as Collective Action Problem: Contested Framings of Research System Transformation. Minerva. https://doi.org/10.1007/s11024-025-09573-3 Declaración de uso de IA: Hemos utilizado las herramientas Consensus Pro y Gemini Pro para el análisis de contenido de las referencias bibliográficas y los resúmenes, y poder extraer un primer borrador de los datos (17-24 octubre). Los prompts han sido: “Analyze the added summaries to extract: Topic (e.g., policies, ethics, quantitative indicators, qualitative indicators) Scope (e.g., academic career, research projects, research groups, departments) Geographic scope (e.g., international scope, Europe, Latin America, a specific country) Methodology used (e.g., case study, survey, interview, bibliometric study) Agents analyzed (e.g., evaluators, academics, project PIs, R&D managers)”. Posteriormente, hemos cruzado y comparado los resultados generados por las dos herramientas de IA y los hemos validado con supervisión humana. Financiamiento: “Ciencia abierta en España: la transición hacia un nuevo modelo de investigación” (PID2021-125828OB-I00). 8 “Este resumen ampliado se distribuye bajo licencia Creative Commons Attribution Non Commercial Share Alike 4.0 International (CC-BY-NC-SA 4.0).”