La evaluación-acreditación de la investigación en España: La experiencia de la Agencia Nacional de Evaluación y Prospectiva (ANEP)

Resumen La acreditación se nos presenta habitualmente como un proceso mediante el que se evalúa la competencia inherente a personas o instituciones que, de forma individual o colectiva, asumen responsabilidades en un determinado ámbito de la iniciativa social, tomando como referencia una serie de criterios o estándares de calidad. En las instituciones de educación superior, singularmente en las universidades, se trata de una práctica que se ha ido proyectando de modo progresivo en las funciones docentes e investigadoras que tienen asignadas, complementando o diversificando sus sistemas de evaluación, certificación, verificación, habilitación, auditoría, rendición de cuentas, etc. Palabras clave: acreditación; evaluación; calidad; investigación; educación superior. Resum. L’avaluació-acreditació de la recerca a Espanya: l’experiència de l’Agència Nacional d’Avaluació i Prospectiva (ANEP) L’acreditació se’ns presenta habitualment com un procés mitjançant el qual s’avalua la competència inherent a persones o institucions que, de manera individual o col·lectiva, assumeixen responsabilitats en un determinat àmbit de la iniciativa social, prenent com a referència una sèrie de criteris o estàndards de qualitat. En les institucions d’educació superior, singularment en les universitats, es tracta d’una pràctica que s’ha anat projectant de manera progressiva en les funcions docents i investigadores que tenen assignades, complementant o diversificant els seus sistemes d’avaluació, certificació, verificació, habilitació, auditoria, rendició de comptes, etc. Paraules clau: acreditació; avaluació; qualitat; investigació; educació superior. Abstract. The assessment-accreditation of research in Spain: the experience of the National Evaluation and Foresight Agency (ANEP) The accreditation presents us usually as a process which assesses the inherent institutions and people skills that, individually or collectively, assume responsibilities in a determinate field of the social initiative, taking as a reference some criteria or quality standards. In the Educar 2011, vol. 47/1 165-179 La evaluación-acreditación de la investigación en España: La experiencia de la Agencia Nacional de Evaluación y Prospectiva (ANEP) José Antonio Caride Gómez Universidad de Santiago de Compostela [email protected] Recibido: 01/02/11 Aceptado: 08/02/11 institutions of higher education, in the Universities to be precise, it is a practice that has gone projecting of progressive way in the teaching and research functions, complementing or diversifying its systems of: assessment, certification, checking, habilitation, audit, accountability, etc. Keywords: accreditation; evaluation; quality; research; higher education. Sumario La calidad como principio y fin de la acreditación La acreditación se nos presenta habitualmente como un proceso mediante el que se evalúa la competencia inherente a personas o instituciones que, de forma individual o colectiva, asumen responsabilidades en un determinado ámbito de la iniciativa social, tomando como referencia una serie de criterios o estándares de calidad. La naturaleza y alcance de tales criterios, así como de los indicadores y evidencias a los que se remiten, suelen establecerse previamente por parte de los poderes públicos, por una agencia u organismo acreditador, a los que también es habitual que se les atribuya algún tipo de responsabilidad durante y/o después de su aplicación. Con esta perspectiva, la acreditación trasciende su consideración como un procedimiento meramente administrativo o burocrático, al tratar de juzgar y, consecuentemente, asegurar que las actuaciones realizadas —o que se prevén realizar— reúnen méritos o cualidades que motiven su reconocimiento, apoyo, financiación y promoción de forma indefinida o durante tiempo limitado. En las instituciones de educación superior, singularmente en las universidades, se trata de una práctica que se ha ido proyectando de modo progresivo en las funciones docentes e investigadoras que tienen asignadas, complementando o diversificando sus sistemas de evaluación, certificación, verificación, habilitación, auditoría, rendición de cuentas, etc. La intención de contribuir a un mejor funcionamiento de las instituciones y la necesidad de informar a la sociedad, creando una cultura de la calidad, son dos de las principales motivaciones que guían el desarrollo de sus procesos, esperando que las actuaciones emprendidas posibiliten identificar fortalezas 166 Educar 2011, vol. 47/1 José Antonio Caride Gómez La calidad como principio y fin de la acreditación La acreditación como un compromiso ético y social de las universidades con sus contornos Tres lecturas transversales a la evaluación-acreditación en clave personal La evaluación de la investigación en la Agencia Nacional de Evaluación y Prospectiva (ANEP) Referencias bibliográficas y debilidades, reorientar las decisiones y las acciones que conllevan, optimizar los recursos en sus potencialidades y oportunidades, etc. Como dirán Michavila y Zamorano (2008: 236), «la razón fundamental que justifica el diseño y desarrollo de los procesos de evaluación y acreditación en el contexto universitario es la búsqueda y mejora de la calidad de todo el sistema». Con este propósito, hacen uso de distintos instrumentos normativos e institucionales, acomodando sus actuaciones a principios y directrices que tratan de garantizar la calidad de la educación superior en diferentes contextos y realidades (Uvalic-Trumbic, 2009). La creación y diversificación de agencias que se ocupan de estas temáticas, sobre todo en países con sistemas universitarios consolidados, pone de manifiesto hasta qué punto se trata de una dinámica en la que, a pesar de las disparidades existentes, se aprecian cada vez más convergencias. Acreditar o acreditarse aporta, en este sentido, un valor añadido respecto de otros mecanismos que, de forma convencional o emergente, ha utilizado la educación superior para estimar o, con bastante frecuencia, simplemente informar y avalar las circunstancias que concurren en una persona (profesor, investigador, gestor, etc.), equipo (docente, investigador, directivo, etc.), institución (en su totalidad o en alguno de sus centros, departamentos, unidades, etc.), proyecto o programa (titulación, curso, investigación, innovación, etc.). En todo caso, de poder hacerlo de un modo planificado y sistemático, acorde con un proceso formalmente prescrito y normativizado, en el que las instancias afectadas deben o pueden decidir su implicación en el mismo, aceptando en mayor o menor grado los resultados que de él se deriven. Las expectativas, intereses o estándares de calidad, por mucho que se procure objetivarlos en función de indicadores, criterios, méritos, escalas, resultados, etc., siempre estarán sometidos al juicio de los actores implicados, en buena medida condicionados por factores políticos, contextuales, experienciales, etc., ya sea a nivel personal o institucional. Esto sucede tanto en cuanto, aún en sus acepciones más benévolas, la acreditación no puede sustraerse de las realidades sociales, institucionales, profesionales, etc., en las que se lleva a cabo, enjuiciando interna o externamente el grado en que lo que se hace o propone es congruente, relevante, sostenible y transferible. O lo que es lo mismo, tiene identidad, entidad y calidad como ser valorado positivamente, por lo que ya se ha hecho o en función de lo que se propone y pretende hacer. De ahí que importe, no solo, lo que la acreditación desvela sino también lo que podrá inhibir u ocultar, con todos los significados que ello comporta para quien la otorga y para quien o quienes, como «afectados-implicados», la interpretan. La calidad, con frecuencia, se nutre de cantidades, articulando un bucle de sinergias que se retroalimentan a sí mismas en función de los méritos alegados en la trayectoria individual o colectiva de quienes son sujeto y objeto de acreditación, ya sea en clave de pasado (currículum vitae, historial científico y/o académico, evaluaciones positivas previas, premios y reconocimientos, etc.), o de futuro (el proyecto o programa que se diseña, su originalidad y relevancia La evaluación-acreditación de la investigación en España Educar 2011, vol. 47/1 167 científica o académica, las metodologías, el plan de trabajo, etc.). Aunque también, todas aquellas circunstancias que dan idea de su viabilidad, proyección e impacto social, potencial de innovación, transferibilidad, etc. En un sistema de concurrencia «competitiva», que no puede sustraerse de los propósitos que fundamentan u orientan el quehacer universitario —regido por el principio de «autonomía»— la conciliación entre lo local y lo global tampoco es una cuestión menor. Muy al contrario, todo indica que resolverla de forma adecuada constituye uno de los principales desafíos de cualquier proceso evaluativo y, por tanto, de acreditación. Un logro en el que además de poner en juego la imagen que se proyecta hacia el exterior, también se expone a sus interiores, mostrando hasta dónde alcanzan los compromisos que tiene contraídos con quienes en ella desempeñan una determinada labor (como estudiantes, profesores, investigadores, personal de administración y servicios, etc.) y con la ciudadanía en general. Todo ello incide en que la acreditación acostumbre a mostrarse como un procedimiento a través del que se supervisa, controla y mejora la calidad (en sus estándares mínimos, relativos a los insumos, procesos y resultados); se rinden cuentas a la sociedad haciendo más transparente el funcionamiento interno; se facilitan o habilitan cauces para la promoción, financiación, colaboración, participación, movilidad…, de las personas, programas o ámbitos afectados; se gradúan o catalogan de forma jerárquica y tipificada los servicios, instituciones, programas…, en rankings, menciones, credenciales, etc., que ponen de relieve los puntos fuertes y débiles de quiénes son sujeto u objeto de la misma. En este escenario, la acreditación entendida como un proceso al que se fía la garantía de la calidad, se dice que aspira a hacer de la competitividad y del «espíritu competitivo» un valor en sí mismo, con el que no sólo identificar y diferenciar lo que hay de distinto en el quehacer individual, colectivo o corporativo de las personas e instituciones que participan de sus procesos —acreditándose o no—, en la comparación que establecen con otros —sus pares— sino también de mejora de sus propias trayectorias, al desvelar sus puntos fuertes y débiles, sus limitaciones y potencialidades. Claro está, siempre y cuando la acreditación, en las connotaciones más positivas que suelen atribuirse a las evaluaciones «formativas» como procesos de los que se puede aprender (Cronbach, 1980), contenga tales virtualidades en los juicios que emite. En el caso de la educación superior, la acreditación ha de tener en cuenta, ya desde sus primeras realizaciones, el impacto de las valoraciones a las que podrá dar lugar; por ejemplo, asumiendo que la universidad, en realidad, son universidades (con antecedentes históricos, realidades sociales, recursos humanos y materiales, fortalezas, etc., muy desiguales), con pasados y perspectivas de futuro a los que no siempre hacen «justicia» los mecanismos externos de evaluación; lo que tampoco significa que lo hagan, tanto como sería deseable, las evaluaciones internas, sean quienes sean las personas o las instancias que las protagonicen (comités ad hoc, órganos colegiados, especialistas, etc.). 168 Educar 2011, vol. 47/1 José Antonio Caride Gómez La acreditación como un compromiso ético y social de las universidades con sus contornos El equilibrio o, acaso con mayor sentido, la armonización entre los sistemas adoptados, los procesos que los desarrollen, los resultados y sus consecuencias prácticas, etc., ha de ser una exigencia de máximo nivel en lo que se declara y hace en nombre de la acreditación, ya que de su logro depende en buena medida la legitimidad que podrá reconocérsele; máxime cuando su cobertura geográfica y social, en la sociedad del conocimiento, implica situar en las «redes» regionales, nacionales e internacionales, lo que cada uno es y/o podrá ser. O, muy a menudo, simplemente, lo que se dice que es o está en condiciones de ser como resultado de la acreditación o certificación que se le otorga. En ningún caso podrá pasarse por alto que el progresivo aumento de las instituciones de educación superior en el mundo, generando una oferta-demanda de titulaciones, estudiantes, centros, etc., con perfiles altamente diversificados, requiere dotarse de mecanismos que garanticen la calidad de sus actuaciones, testando la calidad de sus propuestas y logros, o, simplemente, informando a la sociedad del grado de «cumplimiento» de sus propuestas y respuestas. La acreditación también necesita ser acreditada. Es decir, tener crédito y respetabilidad en todo lo que la afecta, desde su diseño hasta cada una de sus realizaciones, sin pasar por alto el importante papel que juegan, entre otros aspectos, las decisiones políticas y la difusión de las mismas entre todos los interesados, las agencias que intervienen, la participación de los actores implicados, los estándares de calidad y cantidad adoptados con sus correspondientes indicadores, los dispositivos de recogida de la información y su análisis, los comités o expertos que realizan las evaluaciones, la redacción de los informes y su alcance en términos de recomendaciones de mejora, las valoraciones cuantitativas-cualitativas emitidas, los efectos o impactos a los que dará lugar la acreditación, o no. En esta dirección, para la Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior (RIACES), constituida formalmente en Buenos Aires en mayo de 2003, la acreditación ha de ser definida atendiendo a una serie de factores o dimensiones que concurren en los procesos que habilita, desde la propia concepción de la acreditación como «un proceso para reconocer o certificar la calidad de una institución o de un programa educativo», hasta las características de dicho proceso, los tipos y funciones en las que se proyecta su realización, los costes y beneficios, etc. Aspectos que al situarse en el ámbito de la educación superior y de las instituciones que la desarrollan, tienen como soporte a los estudiantes, profesores, servicios, programas, departamentos, equipos docentes y de investigación, etc. Para ello, señalan, se basa en un conjunto de principios, «relativamente básicos y homogéneos, aunque la diversidad de modelos es extensa» (RIACES, 2010). La concepción de la acreditación y su gestión son, por tanto, elementos clave en su puesta en escena. Tanto como para determinar sus niveles de perLa evaluación-acreditación de la investigación en España Educar 2011, vol. 47/1 169 tinencia, oportunidad, eficacia, utilidad, coherencia, calidad, credibilidad, etc. La excelencia de un proceso cuyo fin último es juzgar la excelencia de aquello en relación a lo que procede, no puede ponerse en cuestión sin darse a sí mismo las garantías que invoca conceptual y metodológicamente, en los deseos y en los hechos. Son muchos los «asuntos que están en juego», como dirían Sanyal y Martin (2009: 157), al señalar un listado —relativamente amplio— de circunstancias que trazan las fronteras de los usos y abusos a los que un proceso de acreditación puede dar lugar, como son: la definición y medición de la calidad; los procesos metodológicos y las variables relacionados susceptibles de ser medidas; las estadísticas y las informaciones disponibles o accesibles; los recursos humanos y financieros puestos a disposición del proceso; el papel que se le concede a la autoevaluación; la selección de pares en su rol de evaluadores externos; el control de las prácticas corruptas o ilícitas; los objetivos implícitos y explícitos en los que se inscribe su realización; el perfil de las agencias en tanto que organismos públicos, privados o mixtos; la vigilancia de las agencias y del poder que tienen conferido… Aunque, como estos mismos autores señalan, obligando a que las estrategias y los procesos de acreditación se doten de indicadores de compromiso ético y social que trasciendan los enfoques meramente técnicos, gerenciales, instituyentes, etc., a los que se han habituado en muchos casos. Definir la naturaleza y el alcance —simbólico y material— de la acreditación, contextualizarla en función de las realidades a las que se debe y de las necesidades sociales del entorno, dotarla de indicadores que dimensionen la autonomía-idiosincrasia y la dependencia-universalización de cada iniciativa o institución, posibilitar que se mejoren los logros alcanzados y la confianza de la sociedad en la calidad de sus universidades, etc., son itinerarios por los que habrá que transitar en el futuro la «acreditación». Al menos, si se pretende que este sistema u otro sea de utilidad para que las universidades y, en su conjunto, la educación superior, den respuesta a los importantes desafíos que se asocian a las transformaciones socioeconómicas, culturales y tecnológicas de la globalización, en la que sus procesos de desarrollo —y sus reiteradas crisis— han de encontrar en la educación y el conocimiento claves que permitan afrontarlos con los valores que alientan la humanización y la cultura de la sustentabilidad. Así lo han expuesto en sus reflexiones finales los participantes en la Red GUNI, recordando los compromisos de las universidades con la sociedad, al considerar la necesidad de que los sistemas de acreditación no se rijan por un único modelo universal, «ni basarse puramente en la teoría y la abstracción, ni responder exclusivamente a las tendencias del mercado. Además de los criterios científicos y técnicos, la calidad en la educación debe proporcionar un sentido de pertinencia social y respetar los principios básicos de la ética y la formación de ciudadanos» (Global University Network for Innovation-GUNI, 2009: 206). Para ello, señalan, los procesos de acreditación han de tener en cuenta distintos criterios, como la democratización, la equidad social, el desarrollo local y regional, 170 Educar 2011, vol. 47/1 José Antonio Caride Gómez la creación de foros de debate público; procesos en los que la acreditación debe contribuir a «valorar la solidaridad y cooperación en vez de la competitividad, y deberían cuestionar la responsabilidad social y los compromisos públicos» (Ibid.: 207). Una tarea que asumen no será fácil, pero que podrá derivar —de ser favorecida por otros procesos de naturaleza sociopolítica, económica, institucional, etc.— en una educación superior más relevante y de mayor calidad. Tres lecturas transversales a la evaluación-acreditación en clave personal En este contexto, mi experiencia personal, que lo es al mismo tiempo académica e institucional, se remite fundamentalmente a los primeros años dos mil como miembro —con diferentes grados de responsabilidad— de distintos comités, agencias, etc., de Evaluación y Acreditación de ámbito autonómico y nacional en España, Portugal e Iberoamérica. En concreto: a) En el marco de las agencias autonómicas de evaluación y acreditación de la calidad, o similares, en España: — Miembro del Comité Externo de Evaluación de Titulaciones de la Agència per la Qualitat del Sistema Universitari de Catalunya, AQU-Catalunya, desde el mes de mayo de 2001. — Miembro de los comités externos de evaluación de la Agencia para la Calidad del Sistema Universitario de Castilla y León, ACSUCYL, desde septiembre de 2005. — Miembro del Comité de Evaluación de Proyectos de Centros de Investigación e Innovación de Humanidades y Ciencias Sociales de la Agència de Gestió d’Ajuts Universitaris i de Recerca de Catalunya, AGAUR, desde febrero de 2006. — Miembro de los comités externos de evaluación de la Axencia para a Calidade do Sistema Universitario de Galicia, ACSUG, desde marzo de 2010. — Miembro del Comité de Evaluación de la Actividad Docente —Programa DOCENTIA— y presidente de la Comisión del Área de Ciencias Sociales y Jurídicas de dicho Comité en la Universidad de Santiago de Compostela, desde mayo de 2009. b) En el marco de las agencias nacionales de evaluación y acreditación de la calidad, o similares, en España: — Miembro del Comité de Evaluación de Programas de Doctorado que aspiran a la Mención de Calidad (área de Ciencias Sociales y Jurídicas), en la Agencia Nacional de Evaluación y Acreditación, ANECA, en el período 2006-2007. — Colaborador, como adjunto y gestor de Proyectos, del Comité de Psicología y Educación y posteriormente de Educación, de la Agencia Nacional de Evaluación y Prospectiva, ANEP, desde enero de 2007. La evaluación-acreditación de la investigación en España Educar 2011, vol. 47/1 171 — Miembro de la Comisión de Evaluación del Programa de Becarios de Formación de Profesorado Universitario (FPU-MEC) en el área de Psicología y Educación), constituida en la Dirección General de Universidades del Ministerio de Educación, en el período 2006-2008. — Vocal académico (suplente) de la Comisión de Evaluación del Programa VERIFICA en la rama de Conocimiento de Ciencias Sociales y Jurídicas, ANECA, para la verificación de los nuevos títulos de grado en las universidades españolas en su adaptación al EEES, desde febrero de 2008. — Miembro del Panel de Expertos del Programa ACADEMIA en la rama de conocimiento de Ciencias Sociales y Jurídicas, ANECA, para la acreditación nacional para el acceso a los cuerpos docentes universitarios, desde mayo de 2008. c) En el marco de las agencias nacionales de evaluación y acreditación de la calidad, o similares, en otros países: — Asesor internacional de la Comisión Externa de Evaluación ADISPORAPESP, Área B de Ciencias Sociales, en Portugal, para la evaluación de los Cursos de Educación Social y similares en la Enseñanza Superior Politécnica, Ministerio de Educación, en el período 2006-2006. — Evaluador externo internacional de la Comisión Nacional de Acreditación de Chile, CNA-Chile, al objeto de verificar y promover la calidad de las universidades, institutos profesionales y centros de formación técnica autónomos, de sus carreras y programas en el contexto universitario chileno, desde junio de 2008. Aunque el relato de cada una de estas tareas adopta el formato de un listado de responsabilidades asociadas a diferentes agencias y secuencias temporales, cada una de ellas tiene sentido en y por sí misma; de igual modo que también lo tienen todas ellas en su conjunto, como exponente de una trayectoria de experiencias y aprendizajes que, en los últimos años, me ha permitido conocer de forma directa, desde sus interiores, los procesos de evaluación y acreditación del profesorado, de sus proyectos de investigación e innovación, de titulaciones y programas diseñados en distintos centros y departamentos universitarios, etc. En lo que sigue focalizaré la atención en tres aspectos o dimensiones clave, comunes a todos ellos, para posteriormente exponer algunas consideraciones acerca de mi experiencia concreta como evaluador y gestor de evaluaciones, en calidad de coordinador adjunto del Comité de «Ciencias de la Educación» de la Agencia Nacional de Evaluación y Prospectiva (ANEP), desde enero de 2007 hasta la actualidad. De forma sintética, como factores determinantes —y, por ello, susceptibles de mejora— en los procesos de evaluación y/o acreditación, pondremos énfasis en la selección-designación de los expertos evaluadores (y de los equipos que conforman); la información relativa al proceso y a su orientación normativa; y, en tercer lugar, la identificación y aplicación de los criterios de evaluación-acreditación. 172 Educar 2011, vol. 47/1 José Antonio Caride Gómez a) La importancia de la selección y/o designación de los expertos o evaluadores Comenzaré señalando que sería difícil entender mi participación en estos procesos, como posiblemente la de la gran mayoría de los integrantes de los distintos comités y agencias de evaluación o acreditación existentes, sin vincularla a una trayectoria docente e investigadora previamente reconocida y/o acreditada en un área de conocimiento o en un determinado campo de especialización. Esto es, con un currículum vitae que «acredite» un historial científico y académico en el que antes de tener la oportunidad de valorar o juzgar a otros, uno mismo —de forma reiterada y a través de distintos procedimientos, de forma individual o formando parte de equipos— ha sido valorado o juzgado. El proceso de selección de los evaluadores, la transparencia de los procedimientos que lo fundamentan y la exposición pública de los méritos que determinan su idoneidad, son algunos de los aspectos que deberán cuidarse al máximo. Al fin y al cabo, los pilares en los que se sustenta la evaluación-acreditación son las evidencias y los criterios de los que hacen uso personas, sobre los que emiten juicios y toman decisiones. Elegir a quien o quienes es/son más adecuado/s para evaluar deviene en una cuestión fundamental, puede que incluso decisiva. Que los responsables de la evaluación-acreditación en cada área sean personas idóneas, competentes científica y académicamente (expertas), en sus respectivos ámbitos de especialización ha de ser una de las garantías básicas que los procesos de acreditación —y las agencias que los promueven— han de darse a sí mismos. Mi experiencia, por las personas y los equipos a los que he estado o estoy vinculado, me permiten juzgar que esta es una de las variables o dimensiones fundamentales en cualquier proceso de evaluación o acreditación, no sólo por el nivel de competencia e implicación que cada experto pueda aportar al proceso, sino también por las dinámicas de equipo (multidisciplinariedad, corresponsabilidad, cooperación, liderazgo, consenso, confidencialidad, rigor, sentido común, etc.) que se puedan generar en el mismo. b) La necesidad de informar, motivar y orientar normativamente el desarrollo del proceso en sus distintas fases Sin duda, una cuestión clave en la transición que comporta pasar de la decisión de realizar la acreditación a su diseño y posterior aplicación, reside en su capacidad para ser explicada a todas las instituciones y personas que, directa o indirectamente, son convocadas a participar en sus realizaciones. Todos deben-debemos confiar en los modos de evaluar y acreditar, por lo que han de ser lo más transparentes en todo lo que proponen y disponen. El marco normativo-legal de referencia, la difusión de la convocatoria y la claridad que aporta a sus potenciales destinatarios, la accesibilidad a los procedimientos que formalizan administrativamente el desarrollo del proceso (cumplimentación de los formularios por vía impresa o virtual, evidencias requeridas, sistemas de ayuda, calendarios, comunicación de las resoluciones y La evaluación-acreditación de la investigación en España Educar 2011, vol. 47/1 173