Análisis de la evaluación de los Sistemas de Garantía de Calidad en los títulos universitarios de grado del ámbito educativo en Andalucía

P á g i n a 1 | 57 Análisis de la evaluación de los Sistemas de Garantía de Calidad en los títulos universitarios de grado del ámbito educativo en Andalucía Trabajo de Fin de Máster para la obtención del título del Máster de Dirección, Evaluación y Calidad de Instituciones de Formación Autor: Juan Molina García Tutor: Eduardo García Jimenez Junio, 2020 P á g i n a 2 | 57 Resumen El presente trabajo realiza el análisis de la evaluación de los Sistemas de Garantía de Calidad (SGC) en los títulos universitarios de grado del ámbito educativo en Andalucía. La metodología utilizada en este trabajo se basa en un tipo de investigación secundaria, desk research, utilizando la base de datos de la Agencia Andaluza del Conocimiento, Dirección de Evaluación y Acreditación (AAC-DEVA) para el análisis de los informes de renovación de la acreditación. La muestra de este trabajo está compuesta por cuarenta y ocho títulos de grado distribuidos entre las titulaciones de Educación Infantil, Educación Primaria, Pedagogía y Educación Social que se ofertan en centros universitarios titulares o adscritos pertenecientes a la comunidad autónoma de Andalucía. Los resultados obtenidos después de analizar los informes de renovación de la acreditación reflejan una falta de homogeneidad entre los informes de evaluación emitidos por la AAC-DEVA. La realización de una evaluación de los Sistemas de Garantía de Calidad título a título ha supuesto una importante inversión recursos personales, económicos y de tiempo que resultan esenciales para las universidades, las agencias, y organismos de evaluación de los Sistemas de Garantía de Calidad. Palabras clave: Educación Superior; Aseguramiento de la calidad; Revisión de la Evaluación; Grado; Investigación secundaria. Abstract This work carries out the analysis of the evaluation of Quality Assurance in the university degrees of education in Andalusia. The methodology used in this work is a secondary research or desk research, using the database of the Andalusian Knowledge Agency, Evaluation and Accreditation Directorate (AAC-DEVA) for the analysis of accreditation renewal reports. The sample of this work is composed of forty-eight degrees distributed among the degrees of Early Childhood Education, Primary Education, Pedagogy and Social Education that are offered in university centers in the autonomous community of Andalusia. The results obtained after analyzing the accreditation renewal reports reflect a lack of homogeneity among the evaluation reports issued by AAC-DEVA. The realization of an evaluation of the Quality Assurance degree-to-degree has made a significant investment of staff, economic and time resources that are essential for universities, agencies, and evaluation bodies of Quality Assurance Systems. Keywords: Higher Education; Quality Assurance; Evaluation review; Degree; Desk research. P á g i n a 3 | 57 Índice Introducción .................................................................................................................... 5 1. Objetivos ................................................................................................................. 6 2. Justificación del tema elegido .................................................................................. 7 3. Revisión bibliográfica y cuerpo teórico ..................................................................... 8 3.1. Diseño e implantación de los Sistema de Garantía de Calidad en educación superior ....................................................................................................................... 8 3.2. Regulación de la implantación de Sistema de Garantía de Calidad en educación superior ..................................................................................................................... 14 3.3. Evaluación del Sistema de Garantía de Calidad en el ámbito de la educación superior ..................................................................................................................... 21 4. Metodología ........................................................................................................... 25 4.1. Muestra .......................................................................................................... 26 4.2. Recogida de datos .......................................................................................... 28 4.3. Organización de datos .................................................................................... 29 5. Resultados, análisis y discusión ............................................................................ 31 5.1. Discusión ........................................................................................................ 44 6. Consideraciones finales, conclusiones y recomendaciones ................................... 47 7. Indicaciones para futuras investigaciones o intervenciones ................................... 49 8. Bibliografía y referencias ....................................................................................... 51 P á g i n a 4 | 57 Índice de tablas Tabla 1: relación de Títulos analizados de las diferentes universidades de Andalucía .................................................................................................................................. 27 Tabla 2: Grado de Educación Infantil en centros titulares y adscritos de Andalucía .. 35 Tabla 3: Grado en Educación Primaria en centros titulares y adscritos en Andalucía 39 Tabla 4: Grado en Pedagogía en centros titulares en Andalucía ............................... 40 Tabla 5: Grado en Educación Social en centros titulares en Andalucía ..................... 43 P á g i n a 5 | 57 Introducción Este Trabajo de Fin de Máster comienza desde la definición del propio concepto de calidad, así como aproximaciones a la definición del aseguramiento de la calidad a través de diferentes épocas en las que la calidad se usaba de formas diferentes, hasta llegar a las definiciones creadas por el Espacio Europeo de Educación Superior (EEES), la European Association for Quality Assurance in Higher Education (ENQA), la European Quality Assurance Register for Higher Education (EQAR) y la Agencia Andaluza del Conocimiento, Dirección de Evaluación y Acreditación (AAC-DEVA), entre otras agencias y organismos dentro del marco europeo y español, hasta concluir con la siguiente pregunta ¿por qué se llevan estos procesos de Sistemas de Garantía de Calidad al ámbito de la educación superior? Los Sistemas de Garantía de Calidad (SGC) son pilares fundamentales de las universidades, formando parte de su política y cultura institucional, impregnando cada parte de la universidad. Es necesario conocer bien el diseño y la implantación de los SGC en el ámbito educativo de educación superior, así como el contexto en el que se generan para poder comprender su relación con los objetivos de calidad de las enseñanzas a las que dan soporte. En este trabajo se realizará un análisis sobre los informes de renovación de la acreditación de las universidades andaluzas que ofrecen títulos de grado en Educación Infantil, Educación Primaria, Pedagogía y Educación Social, estos informes se encuentran públicamente disponibles en la base de datos de la Agencia Andaluza del Conocimiento, Dirección de Evaluación y Acreditación (AAC-DEVA), donde se puede acceder sin ningún tipo de requisito, es un recurso abierto a la sociedad, teniendo en cuenta que la sociedad es un beneficiario de los SGC implantados en las universidades es importante la difusión de estos informes. Con esta desk research, se realiza una investigación secundaria que revisará la implantación de los SGC y después de un proceso de análisis se identificaran diferentes propuestas de mejora de dichos SGC. P á g i n a 6 | 57 1. Objetivos Los objetivos de este trabajo están relacionados con la evaluación de los Sistemas de Garantía de Calidad en los títulos universitarios de grado del ámbito educativo en Andalucía. Son los siguientes: 1. Revisar la implantación de los Sistema de Garantía de Calidad en los títulos Universitarios oficiales de grado del ámbito educativo en Andalucía. 2. Identificar propuestas de mejora para la implantación de Sistema de Garantía de Calidad en educación superior en los títulos universitarios oficiales del ámbito educativo en Andalucía. P á g i n a 7 | 57 2. Justificación del tema elegido La elección de este tema se debe a mi titulación como pedagogo y mi trabajo voluntario como Mentor en la Facultad de Ciencias de la Educación de la Universidad de Sevilla, donde una de las funciones a desarrollar por el equipo de Mentores era el Plan de Orientación Acción Tutorial (POAT), esto unido a las encuestas que se hacían al comienzo del curso daban mucha información para poder reflexionar sobre los grupos de interés (en este caso, estudiantes), la posterior formación en el Máster de Dirección, Evaluación y Calidad en la Instituciones de Formación, fue clave para el desarrollo final de mi formación como pedagogo. Este trabajo es necesario porque, si bien las evaluaciones de los SGC de los títulos que lleve a cabo la Agencia Andaluza del Conocimiento, Dirección de Evaluación y Acreditación (AAC-DEVA) se publican en su página web, en la actualidad no se ha llevado a cabo una revisión de tales evaluaciones que haga llegar a los grupos de interés información sobre cómo se diseñan e implantan los SGC, y el papel que juegan en la consecución de los objetivos de calidad de los títulos. Para dar respuesta a esta carencia, la presente investigación se ha centrado en la revisión de la implantación de los SGC de los títulos de grado en el ámbito de la educación en Andalucía. Los resultados de este trabajo pueden resultar relevantes habida cuenta de que solo se ha llevado a cabo una evaluación para la renovación de la acreditación de los títulos de grado, debido al plazo de 6 años necesarios para poder realizar este tipo evaluación. Los resultados aquí obtenidos pueden igualmente orientar futuras actuaciones de universidades y agencias de evaluación con relación al modo de abordar el diseño e implantación de los SGC. P á g i n a 8 | 57 3. Revisión bibliográfica y cuerpo teórico 3.1. Diseño e implantación de los Sistema de Garantía de Calidad en educación superior El término “sistema de garantía de la calidad” (en adelante SGC) es empleado en diferentes contextos desde el ámbito empresarial al educativo. En este trabajo vamos a centrarnos en el contexto educativo, donde el término es sinónimo de sistema de aseguramiento de la calidad o sistema de gestión de la calidad. Pero, comencemos definiendo el término sistema, que el diccionario de la Real Academia Española (2020) considera como un conjunto de reglas o principios sobre una materia racionalmente enlazados y ordenados entre sí, que contribuyen a un determinado objeto. Otro término importante para entender el significado de un SGC es el término calidad. La International Network for Quality Assurance Agencies in Higher Education (INQAAHE) en su glossary index (actualizado el 31 de marzo de 2020) según la entrada de “Quality” aporta tres definiciones del término calidad: la primera es la encarnación de la naturaleza esencial de una persona, colectivo, objeto, acción, proceso u organización; la segunda definición identifica calidad con el significado de un alto grado o estado de algo (como por ejemplo en un rendimiento de calidad); y, la tercera definición, considera la calidad como una abreviatura usada en la educación superior para los procesos de evaluación de calidad (Harvey, 2006; INQAAHE, 2020). La European Higer Education Area -EHEA- define “quality” (Keçetep & Özkan, 2014) en el marco del término “quality assurance” que se utiliza para describir todas las actividades dentro del ciclo de mejora continua, es decir, actividades de aseguramiento y mejora (Serrano-Velarde, 2008). Este enfoque del término calidad es el que se ha utilizado en la educación superior en España (Damian, Grifoll, & Rigbers, 2015). Por otra parte, INQAAHE (2020) lo define en su glosario como la garantía de la calidad en la educación superior siendo un proceso para establecer la confianza de las partes interesadas que cumple las expectativas o medidas (Dolaček-Alduk, Sigmund & Lončar-Vicković, 2008). El glosario de términos (INQAAHE, 2020) es una herramienta útil, en ella encontramos definiciones que complementa la idea original aportada por la palabra “quality”, tras realizar la traducción al español, estos son los términos que completan la definición de calidad: − Quality control: es un mecanismo para garantizar que una salida se ajusta a una especificación predeterminada. P á g i n a 9 | 57 − Quality management: es el proceso, apoyado por políticas y sistemas, utilizado por una institución para mantener y mejorar la calidad de la educación de sus estudiantes y de la investigación emprendida por su personal. − Quality assesment: abarca todos los métodos utilizados para juzgar el desempeño de un individuo, grupo u organización. − Quality culture: es un conjunto de valores de grupo que guían cómo se realizan mejoras en las prácticas de trabajo cotidianas y los resultados consecuentes. − Quality standard: son normas, expectativas o especificaciones que proporcionan la base para la garantía de la calidad. − Quality system: es un conjunto de políticas y prácticas integradas que estructuran la gestión, la implementación y la adaptación de los procesos de aseguramiento de la calidad. El propósito de INQAAHE es avanzar hacia la excelencia en la educación superior a través del apoyo de una comunidad internacional activa de agencias de control de calidad (INQAAHE, 2020). Las demás entradas en el glosario complementan la definición de calidad recogen un conjunto de entradas útiles, además de, ofrecer estándares y directrices, redes de aseguramiento de calidad, registros y representación de diferentes grupos de interés en el proceso de la gestión de la calidad (Aja, 2002). El aseguramiento de calidad definido por ANECA comprende “todas aquellas actividades encaminadas a garantizar la calidad interna/externa. Contemplando las acciones dirigidas a asegurar la calidad de las enseñanzas desarrolladas por el Centro, así como a generar y mantener la confianza de los estudiantes, profesores y la sociedad” (2020b, p. 23). Sin embargo, cuando añadimos la definición anteriormente aportada por la RAE sobre lo que es un sistema, la definición de ANECA sobre los sistemas de aseguramiento de la calidad se convierte en el “conjunto integrado de las actividades desarrolladas por el Centro para garantizar la calidad de las enseñanzas, así como la relación existente entre dichas actividades” (ANECA, 2020b, p.24), aportando una visión más global e interconectada de lo que realmente supone la garantía de calidad. El desarrollo de la evolución histórica de la calidad educativa (González, 2000; Bodero, 2014) en el marco de la educación superior proviene del ámbito empresarial o incluso, del ámbito militar. Teniendo en cuenta que está evolución otorga a la calidad una percepción más amplia que las definiciones anteriormente localizadas en INQAAHE, vamos a recurrir a la perspectiva histórica abordada por Griful y Canela (2002) que comienza con la calidad basada en la inspección, orientada al producto y centrada en la P á g i n a 16 | 57 El sistema de créditos ECTS (European Credit Transfer System) se aplica en España mediante el Real Decreto 1125/2003, de 5 de septiembre, por el que se establece el sistema europeo de créditos y el sistema de calificaciones en las titulaciones universitarias de carácter oficial y validez en todo el territorio nacional, donde se define el ámbito de aplicación, el concepto de crédito, así como su asignación y el sistema de calificaciones que tendrá, creando así la uniformidad de los ECTS en el EEES, representando un conjunto normativo básico de referencia (ANECA, 2005). El proceso de certificación de los SGC, basado en el Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales, en Andalucía se ha implantado siguiendo las directrices descritas por la Agencia Andaluza del Conocimiento, Dirección de la Evaluación y Acreditación (AAC-DEVA), en su informe “Implanta” (2020) y en consonancia con el Real Decreto 861/2010, comprende las fases de presentación de solicitud, acceso por parte de la AAC-DEVA a los SGC de la institución que contendrán como mínimo aspectos de identificación del centro, responsables del SGC, política de calidad y objetivos estratégicos, planificación del SGC implantado realizado, el alcance del SGC que recoja las titulaciones oficiales que se imparten, los procesos y procedimientos implantados alineados con los criterios y directrices marcados por ESG, ANECA (2020c) incluye un documento para la realización de estos mapas con las características adecuadas, un análisis de los resultados de los Indicadores vinculados al SGC, por último un informe de resultados como consecuencia del proceso de revisión del SGC, así como las acciones de mejora introducidas. El Grupo E4, formado por la Asociación Europea para la Garantía de la Calidad en la Educación Superior (ENQA), la Unión Europea de Estudiantes (ESU), la Asociación Europea universitaria (EUA) y la Asociación Europea de Instituciones en Educación Superior (EURASHE) se encargó de poner en marcha el Registro Europeo de Garantía de la Calidad de la Educación Superior (EQAR) en 2008 a petición de los ministros europeos de educación en Bergen en el año 2005 donde “el concepto de registro europeo de agencias de garantía de calidad fue inicialmente acogido con satisfacción por los ministros de los países signatarios de Bolonia” (EQAR, 2017, p.5), y Londres en el año 2007 donde los ministros “acogen el establecimiento de un registro por parte del grupo E4, que trabaje en asociación, sobre la base de su modelo operativo propuesto” (EQAR, 2017, p. 7), con el objetivo de mejorar la calidad de la educación superior europea y a promover una mayor movilidad de los estudiantes (ENQA, 2015; EQAR, 2018). El marco legislativo español, según lo indicado en AAC-DEVA (2020) y teniendo en cuenta donde explicita que el equipo de gobierno de los centros universitarios debe asegurar que se apoya y dota de recursos al proceso de implantación del SGC, que se P á g i n a 17 | 57 revisa la implantación del SGC para reflexionar sobre el funcionamiento del sistema y, por último, que se toma decisiones sobre los planes de estudios y programas apoyándose en la información aportada por el SGC, es importante comentar que el proceso de implantación anteriormente descrito debe ocurrir tanto en centros universitarios titulares como adscritos (AAC-DEVA, 2020). Los datos sobre verificación de Títulos, según Muñoz-Cantero y Pozo “durante el periodo 2008 a 2012, se encuentran verificados un total de 2680 Grados universitarios, 3500 Títulos de Máster y 86 Doctorados” (2014, p. 7). Todos ellos deberán ser objeto de evaluación para renovar su acreditación (Ministerio de Educación Cultura y Deporte, 2011). El Real Decreto 861/2010, de 2 de julio, por el que se modifica el Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales, establece las normas para la renovación de la acreditación de los Títulos, señalando que se establecerán fechas y plazos a respetar para mantener la homogeneidad entre los títulos universitarios en el EEES. La Comisión Universitaria para la Regulación del Seguimiento y la Acreditación (CURSA) incorpora al seguimiento descrito con los anteriores Reales Decretos definiciones que ya venían reflejadas en los Reales Decretos anteriormente citados, pero pone especial desempeño en la actuación sobre la tasa de rendimiento, la tasa de abandono, la tasa de eficiencia y la tasa de graduación, aspectos fundamentales para desarrollar satisfactoriamente las evaluaciones de los SGC pertinentes, ya que estos indicadores aportan mucha información sobre los estudiantes. El Real Decreto 861/2010, de 2 de julio, en la décimo primera modificación en el primer párrafo del apartado 2 del artículo 14 queda modificado, otorgándole al Consejo Social de la supervisión del rendimiento y promover la colaboración y la cultura, para ello, estos consejos dispondrán de asesoramiento de los órganos de evaluación en las Comunidades Autónomas, y de ANECA (pp. 16243-16244). El Real Decreto 861/2010, de 2 de julio, también se modifica el apartado 2 del artículo 24, que queda actualizado acordando la renovación de la verificación inicial o desde su última acreditación los títulos de Grado de acuerdo con el procedimiento de la comunidad autónoma que pertenezcan y cumpliendo sus plazos (p. 58458). El Real Decreto 420/2015, de 29 de mayo, de creación, reconocimiento, autorización y acreditación de universidades y centros universitarios. En el capítulo 3 artículo 14, se expone que la universidad es la que debe solicitar la acreditación institucional a ANECA o en su caso a otro órgano de evaluación externa de la misma comunidad autónoma que P á g i n a 18 | 57 se encuentre en el Registro Europeo de Agencias de Calidad (European Quality Assurance Register, EQAR), el cual redactará un informe con los datos pertinentes (p. 50376). El artículo 27 bis se ve modificado por el procedimiento general para la renovación de la acreditación de los títulos oficiales, en el que la universidad solicitará el acuerdo y los plazos con la comunidad autónoma para que se establezcan los ámbitos competenciales, dicho órgano de la comunidad autónoma, lo remitirá a ANECA concluyendo con una visita de expertos a la universidad, se elaborará una propuesta de informe indicando los aspectos que son favorables y necesariamente modificables a fin de obtener la acreditación correspondiente, existe un plazo de veinte días para la presentación de alegaciones, una vez pasado ese tiempo, ANECA o el órgano de evaluación correspondiente elaborará un informe de evaluación. Recibido el informe, entre el plazo de uno a seis meses se comunicará la resolución, la universidad podrá presentar recurso ante la presidencia del Consejo de Universidades en el plazo de un mes, podemos comprobar que “en caso de ser desestimatoria, el título causará baja en el mencionado registro y perderá su carácter oficial y validez en todo el territorio nacional”, y en consecuencia se extinguirán los estudios intentando satisfacer las necesidades de los estudiantes y personal implicado (pp. 50377-50378). La European Association for Quality Assurance in Higher Education (ENQA) en su publicación del año 2015 “Standards and Guidelines for Quality Assurance in the European Higher Education Area” (ESG) ha establecido un conjunto de criterios y directrices para la garantía interna de la calidad que deben cumplir con suficiencia. Los criterios establecen que las instituciones deben tener una política de garantía de la calidad que se publique para todo el público y forme parte de su gestión estratégica, deben disponer de procesos para el diseño y la aprobación de sus programas; los programas deben diseñarse para que cumplan los objetivos de calidad fijados, incluidos los resultados de aprendizaje previstos; deben velar por que los programas se impartan de manera que se anime a los estudiantes a desempeñar un papel activo en la creación del proceso de aprendizaje; deben aplicar sistemáticamente reglamentos predefinidos y publicados que cubran todas las fases del "ciclo de vida" del estudiante; deben asegurarse de la competencia de sus profesores; deben aplicar procesos justos y transparentes para la contratación y el desarrollo del personal; deben tener fondos adecuados para las actividades de aprendizaje y enseñanza; deben asegurarse de que recopilan, analizan y utilizan la información pertinente para la gestión eficaz de sus programas y otras actividades; deben publicar información sobre sus actividades que sea clara, precisa, objetiva, actualizada y de fácil acceso; deben supervisar y revisar P á g i n a 19 | 57 periódicamente sus programas para asegurarse de que alcanzan los objetivos fijados y responden a las necesidades de los estudiantes y de la sociedad; deben someterse a un control externo de la calidad con una base cíclica. El listado de criterios y directrices comparte aspectos con los criterios detallados en el plan “Implanta” llevado a cabo por la AAC-DEVA, esto es debido a que se sustenta de ENQA y su publicación sobre ESG. Los estudiantes deben estar presentes durante la presencia del grupo de expertos en el centro universitarios, así lo afirma la ESU, “el 79% de los sindicatos de estudiantes informaron que están incluidos en el control de calidad externo. En algunos países, los estudiantes pueden ser vocales” (European Student’s Union, 2018, p. 45), esta información es muy positiva, ya que es un porcentaje bastante alto, pero la ESU quiere acercarse lo máximo posible a la total de implicación en los grupos de expertos externos. Desde finales de los años noventa “la política de la ESU establece que los estudiantes han sido reconocidos como socios en algunos casos, pero es necesario seguir desarrollando el trabajo para ser socios plenos e iguales” (European Student’s Union, 2018, p. 45), sin embargo, siguen reivindicando que en la actualidad aún no se ha conseguido totalmente, no obstante, consideran que están en el camino apropiado para conseguirlo. El informe de Bolonia a través de los ojos de los estudiantes realizado por la ESU comenta lo siguiente: “según el 60% de los sindicatos, los estudiantes son miembros de pleno derecho de sus órganos de evaluación interna. Sin embargo, el 26% de los sindicatos que respondieron informaron que el arraigo de los estudiantes sigue limitado a ser sólo una fuente de información” (European Student’s Union, 2018, p. 45). Esto nos hace reflexionar sobre el papel del estudiantado dentro del proceso de la perspectiva interna de la calidad, ya que desde diferentes agencias hacen referencia a la importante figura del estudiante, se puede comprobar como existen aspectos por mejorar en cuanto a la implantación de los SGC. No obstante, este proceso de sistema de garantía de la calidad interno es efectivo y está fuertemente arraigado en las leyes europeas y españolas, como hemos podido comprobar, la cultura de la calidad se está instaurando en todos y cada uno de los centros universitarios, ya sea a nivel institucional o a nivel social, pero todo el personal de la institución está claramente a favor de los SGC, ya que, su uso favorece a todos los implicados. La AAC-DEVA en su guía de implantación de los SGC nombra la siguiente serie de requisitos: P á g i n a 20 | 57 “los centros universitarios deberán demostrar mediante evidencias que la estructura definida del SGC y su implantación involucre a los diferentes grupos de interés, especialmente al alumnado, que la documentación del SGC sea accesible y describa de manera fiel y actualizada tanto los procesos que se llevan a cabo en el centro, como sus mecanismos de medición, análisis y mejora y que se contemple el desarrollo de revisiones internas, con el objetivo de determinar si el sistema está implantado adecuadamente y se mantiene y actualiza de manera eficaz y eficiente” (AAC-DEVA, 2020, p. 6). Los requisitos descritos por la AAC-DEVA y el apoyo de las ideas de la ESU (2016) se aúna por la creación de herramientas adecuadas y modernas para enseñar y aprender en entornos seguros tanto para los estudiantes como para todo el personal, para que puedan hacer frente a los retos que vendrán en la sociedad. Por lo que el diseño de los planes de mejora, como bien indica en la guía IMPLANTA-SGCC, “incluye al menos un conjunto de acciones destinadas a satisfacer las necesidades detectadas, los responsables del desarrollo de dichas acciones, un plazo de ejecución, y un sistema de seguimiento y medición de su ejecución” (AAC-DEVA, 2020, p. 6). P á g i n a 21 | 57 3.3. Evaluación del Sistema de Garantía de Calidad en el ámbito de la educación superior La evaluación del SGC en el ámbito de la educación superior se realiza después de determinar o identificar varios modelos de evaluación de los SGC, uno de ellos es la acreditación por título -como es el caso de España- y otro es la acreditación institucional -como podemos ver frecuentemente en el EEES-, de este último encontramos la variable que utiliza la agencia Accreditation Organisation of the Netherlands and Flanders (NVAO) que se basa en una evaluación institucional pero de forma independiente, siempre bajo recomendaciones de expertos externos, combinan con buen resultado todas las posibilidades de evaluación de los SGC para garantizar el bienestar de todos los grupos de interés, aunque para títulos nuevos se hace un modelo basado en ese único título, este modelo es igual de válido que los demás, integra aspectos positivos de ambos modelos. El exceso de burocracia, los altos costes y los plazos de tiempo demasiado pequeños, fueron detectados en el sistema de acreditación por títulos desde su implantación en el Real Decreto 1393/2007, por eso, en el Real Decreto 420/2015 se intenta subsanar, aportando una visión más de conjunto, con el fin de que los SGC sean cada vez mejores y se puedan equiparar a los del marco EEES, que han ido optando por un sistema de acreditación por títulos, por acreditación a instituciones completas -o partes de ella- o incluso, los dos modelos en cierta compensación y equilibrio, siempre buscando la coherencia y flexibilidad de la educación superior, algunos sistemas basados en la acreditación por títulos tienen dificultades para afrontar el peso burocrático, sin embargo una visión de institución al completo, aportaría un valor aún mayor de los SGC, sin comentar lo que favorecería este tipo de acreditación los canales de comunicación internos para los diferentes centros que componen la red universitaria en España (Haug, 2018). El registro oficial de agencias de garantía de calidad del EEES, es la European Quality Assurance Register (EQAR) y España es miembro gubernamental desde 2008, EQAR trabaja acorde a los estándares, guías y directrices de la ESG. Las actividades externas de “quality assurance” se llevaron a cabo en 67 sistemas de educación superior, de los cuales 34 en el EEES en el año 2019 (EQAR, 2020). El número total de revisiones realizadas a España por las agencias pertenecientes a EQAR en 2019 es de 3980 de un total de 11312 revisiones (EQAR, 2020), estas revisiones las han realizado: P á g i n a 22 | 57 − Agencia Andaluza del Conocimiento, Dirección de Evaluación y Acreditación (AACDEVA) (1170 revisiones) − Agencia de Calidad y Prospectiva Universitaria de Aragón (ACPUA) (43 revisiones) − Agencia Para la Calidad del Sistema Universitario de Castilla y León ACSUCYL (209 revisiones) − Axencia para a Calidade do Sistema Universitario de Galicia ACSUG (94 revisiones) − Agencia Nacional de Evaluación de la Calidad y Acreditación ANECA (1203 revisiones) − Agència per a la Qualitat del Sistema Universitari de Catalunya AQU (273 revisiones) − European Association of Establishments for Veterinary Education EAEVE (1 revisiones) − Fundación madri+d (802 revisiones) − Music Quality Enhancement musiQuE (4 revisiones) − Agencia de Calidad del Sistema Universitario Vasco UnIbasq (181 revisiones) Las agencias anteriormente expuestas en su mayoría son españolas, dejando solo a dos agencias (EAEVE y musiQuE) que están registradas en EQAR que hayan hecho revisiones a SGC españoles sin ser españolas. La forma de evaluar el SGC en España se realiza por título y consta de tres partes fundamentales para su consolidación, primero encontramos una memoria de verificación, después se realiza el seguimiento y, por último, se realiza la revisión de la acreditación cada 6 años en el caso de los Grados definidos en el Real Decreto 1393/2007, sobre la ordenación de las enseñanzas universitarias oficiales. Para obtener una evaluación de certificación “favorable” del SGC implantado por parte de la AAC-DEVA es necesario que todos los criterios evaluados obtengan, al menos una valoración de “implantación suficiente”. La consecución de cada uno de los criterios se valorará en uno de los tres niveles que se definen a continuación (AAC-DEVA, 2020, p. 34): − El criterio será valorado como “Implantación total” cuando la mayoría de los aspectos a valorar hayan sido evaluados con un satisfactorio y ningún insuficiente. − El criterio será valorado como “Implantación suficiente” cuando todos los aspectos hayan sido al menos valorados como suficientes. − El criterio será valorado como “No implantado” cuando alguno de los aspectos sea valorado como insuficiente. Los criterios para evaluar los centros, compuestos a su vez por procesos especificados en el anexo de la guía IMPLANTA-SGCC ofrecida por la AAC-DEVA, son los siguientes: P á g i n a 23 | 57 “El centro tiene implantados procesos que garantizan la publicación de información actualizada de sus actividades y resultados de los programas formativos; el centro tiene una política de calidad y objetivos estratégicos públicos vinculados a su sistema de garantía de la calidad y el centro tiene implantados procesos que garantizan la recogida, el análisis y la utilización de información (resultados, datos e indicadores) para la toma de decisiones y la mejora de la calidad de las enseñanzas; el centro tiene implantados procesos para asegurar la mejora continua de sus programas formativos; el centro tiene implantados procesos que garantizan la capacitación, competencia y cualificación del personal con actividad docente; el centro tiene implantados procesos que garantizan la disponibilidad de recursos materiales y servicios suficientes que contribuyan a la oferta de actividades de aprendizaje del alumnado; el centro tiene implantados procesos que garantizan que las acciones que emprende contribuyen a favorecer el aprendizaje del alumnado” (AACDEVA, 2020, pp. 25-34). Los criterios evaluados necesariamente tienen que obtener al menos una valoración de “implantación suficiente”, es decir, que los criterios estén con una valoración buena pero no de implantación total (todo está satisfactorio), por lo tanto, es habitual encontrar universidades -centros titulares y centros adscritoscon puntuaciones positivas por la comisión de la acreditación y con muchas propuestas de mejoras para seguir obteniendo la acreditación, en la página web de la DEVA podemos encontrar todos los ficheros en formato PDF para comprobar los datos, demostrando así el “mini sistema” de acreditación título a título, este procedimiento genera una extensa burocracia. La acreditación institucional del SGC que evalúa el centro completo como un conjunto ofrece a priori puntos fuertes frente al “mini sistema” anterior, dando una visión de conjunto, para ello existen programas como AUDIT, programa lanzado en 2007 bajo el marco del EEES y la legislación española, la finalidad de este programa es favorecer y promover el desarrollo e implantación de sistemas de garantía internos de calidad dentro de los centros universitarios españoles (ANECA, 2020). Este modelo está creado con base de los Criterios y Directrices para el aseguramiento de la calidad en el Espacio Europeo de Educación Superior (ESG). El Programa de Apoyo a la Evaluación de la Actividad Docente del Profesorado Universitario (DOCENTIA) se encarga de apoyar el diseño de mecanismos para gestionar la calidad de la actividad docente del profesorado universitario (ANECA, 2020), P á g i n a 24 | 57 basándose en las recomendaciones de la European Association for Quality Assurance in Higher Education (ENQA) en su documento “Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior” (ESG). La implantación de un SGC en las universidades andaluzas es un proceso amparado por la regulación legislativa española y bien definido por las agencias nacionales de acreditación y evaluación, no obstante, este proceso tiene sus fortalezas y debilidades, el principal problema, es que es la primera revisión títulos en educación en Andalucía, ya que son relativamente recientes (entre los años 2008 y 2012), y solo han renovado su acreditación una (el proceso de renovación de la acreditación sucede cada 6 años según el marco legislativo actual, teniendo en cuenta aspectos como el número de créditos ECTS de este) o ninguna vez como en el caso de la Universidad de Córdoba en el Grado de Educación Social o en la Universidad Loyola Andalucía con sede en Sevilla, en sus Grados en Educación Infantil y Educación Primaria. El análisis de la evaluación de los SGC en los títulos universitarios de grado del ámbito educativo en Andalucía es una tarea necesaria para la comprobación de que estas evaluaciones se realizan adecuadamente y conocer los datos que pueden ofrecer, así como las comparaciones posteriores con el objetivo de mejorar los SGC en los centros universitarios. P á g i n a 25 | 57 4. Metodología La investigación realizada sigue una metodología de “desk research”, una modalidad de investigación secundaria que utiliza los datos publicados para realizar una investigación a partir de los informes que se alojan en la página web de AAC-DEVA con carácter gratuito (Travis, 2016; Juenja, 2018). La metodología “desk research”, es un término que se refiere a la recopilación de datos secundarios o los que ya se han recopilado previamente (Hauge y Wilcock, 2020), también se puede llamar secondary research y consiste en recoger información a partir de estudios ya realizados y que se han publicado sus resultados (Travis, 2016; SIS International Research, 2020). La realización de esta investigación requiere conocer previamente la fuente de información (AAC-DEVA) y el tipo de informes disponible, así como la información que deben contener; de ese modo, se consigue optimizar la agilidad de la investigación. La investigación secundaria requiere comprender, organizar y saber interpretar los datos con los que se va a trabajar (Travis, 2016; Hague & Wilcock, 2020). En nuestro caso, los datos de referencia están recogidos en los informes de renovación de la acreditación publicados en la web de la AAC-DEVA. P á g i n a 32 | 57 aun teniendo valoración positiva, no existe valoración por parte de los empleadores. En cuanto a la inserción laboral, “en lo que respecta a las tasas de ocupación y adecuación de la inserción laboral de los graduados no se dispone aún de información” (Dirección de Evaluación y Acreditación, 2015, p. 9) La Universidad de Córdoba, donde realizamos las siguientes anotaciones apoyándonos en el informe de renovación de la acreditación, obtiene valoraciones positivas en muchos de sus criterios, sin embargo, en el apartado de satisfacción de los grupos de interés la comisión de acreditación recomienda aportar “informaciones que reflejen la opinión de los distintos colectivos, especialmente de los directamente afectados (estudiantes, profesorado y tutores externos) sobre el desarrollo de las prácticas externas” (Dirección de Evaluación y Acreditación, 2015b, p. 19). Siguiendo con el apartado “Inserción laboral”, la comisión recomienda encarecidamente “incorporar las valoraciones de los egresados y empleadores, al menos sobre aquellas dimensiones o aspectos que permitan apreciar su opinión sobre el desarrollo académico del Título y de su transición hacia la inserción laboral, así como en otras cuestiones que les afecten directamente” (Dirección de Evaluación y Acreditación, 2015b, p. 19). Por último, en la sección destinada al “Plan de mejora” -en particular por el centro adscrito- “para mejorar los procedimientos del Sistema de Garantía de Calidad del Título al objeto de conocer la inserción laboral de los egresados, considerando el contexto socioeconómico y las características del Título” (Dirección de Evaluación y Acreditación, 2015b, p.19). En La Universidad de Granada (teniendo en cuenta Ceuta y Melilla) se utiliza la plataforma “ATENEA” que se valora positivamente por parte de la comisión de acreditación porque se ha usado correctamente en el gestión de la información, en cuanto a resultados de aprendizaje la comisión de la acreditación recomienda “adoptar mecanismos que permitan obtener una información más exhaustiva sobre los resultados de aprendizaje, de modo que permitan disponer de más y mejores evidencias sobre los logros asociados al programa formativo, así como a su evolución en los próximos cursos académicos” (Dirección de Evaluación y Acreditación 2015c, p. 6). En cuanto al tema de la inserción laboral, no se ofrecen datos sobre la tasa de ocupación referida a la inserción laboral de los egresados de este Título, aunque se alude a los registros procedentes del cruce de tres fuentes de datos distintas como la Universidad de Granada, el Servicio Andaluz de Empleo y la Seguridad Social -el ya mencionado observatorio ARGOS-, por último la comisión de la acreditación considera que se deberían de aportar información que permita valorar o estimar los logros asociados a esta dimensión, en la transición de la formación al desempeño profesional, los perfiles socio profesionales con los que desarrollan su trabajo. En la evaluación sobre la satisfacción de los grupos de interés, la P á g i n a 33 | 57 comisión de la renovación de la acreditación debe mejorarse la forma en la que se recogen los datos ya que, en algunos casos, los datos del Grado se confunden con los del centro adscrito. En la Universidad de Huelva solamente existe la Universidad titular, en la que la comisión de renovación de la acreditación hace referencia a que esta Facultad de Ciencias de la Educación utiliza para realizar los procedimientos del sistema de garantía de calidad el programa AUDIT, “revisado por última vez en diciembre de 2014 con un gestor documenta para facilitar el manejo de la información relacionada con el SGC” (Dirección de Evaluación y Acreditación 2016, p. 2), aunque su funcionamiento no es analizado en el autoinforme. En cuanto a la inserción laboral la valoración de los indicadores sobre la tasa de ocupación de la inserción laboral, se consideran adecuados los resultados presentados en la fase de alegaciones, aunque en futuras evaluaciones se deberá poner especial atención al análisis de la información recogida, Además, en su forma actual, resulta prácticamente imposible valorar la evolución de los resultados. Debe, igualmente, mejorarse la tasa de respuesta de algunos cuestionarios de satisfacción y faltan los resultados de satisfacción del alumnado egresado (Dirección de Evaluación y Acreditación, 2016). En la Universidad de Jaén coexisten el centro titular universitario y el centro adscrito a este, ambos centros dentro del apartado de satisfacción de los grupos de interés, han coincidido en que “la estructura organizativa centralizada de la Universidad de Jaén a que no se realicen encuestas de satisfacción del PAS en el Título que se imparte en la Facultad de Humanidades y Ciencias de la Educación, mientras que el Centro Universitario Sagrada Familia, dado el reducido número de este personal, no se ha considerado necesario” (Dirección de Evaluación y Acreditación, 2015d, p. 9), aspecto que la comisión de la renovación de la aclaración recomienda explorar y analizar en futuras revisiones. En la provincia de Málaga existen similitudes tanto en el centro adscrito como el titular, en el caso de los indicadores de rendimiento, la valoración de estudiantes, docentes, PAS y egresados del Grado es tenida en cuenta en su mejora; sin embargo, no se han localizado referencias explícitas a los empleadores, si bien, al menos en el caso del centro adscrito se encuentra la valoración de los tutores externos de prácticas. El Centro de Magisterio María Inmaculada no se han localizado datos referidos a la tasa de inserción laboral de los egresados del Grado en Educación Infantil, por lo que es necesario incorporar esta información, según recomienda la comisión de renovación de la acreditación (2015e). En cuanto a planes de mejora, “se recomienda unificar la información de la web del centro adscrito con la información del centro titular para P á g i n a 34 | 57 concretar aún más la información importante y necesaria” (Dirección de Evaluación y Acreditación, 2015e, p. 10). En la provincia de Sevilla existen dos universidades titulares, la Universidad Loyola Andalucía (sede de Sevilla) y la Universidad de Sevilla), y un centro adscrito (Centro Francisco Maldonado). En el caso del Centro Francisco Maldonado es necesario avanzar en el desarrollo del SGC y establecer procedimientos claros para su seguimiento y evaluación, con la implicación de todos los colectivos interesados. En el informe de alegaciones presentado se mejoran los mecanismos de coordinación y se indican las acciones pertinentes para la recogida aumentar la participación de los colectivos interesados. En la Universidad de Sevilla se valora muy positivamente el uso y valoración de la Plataforma LOGROS por parte de la comisión de acreditación, sin embargo, en ninguno de los centros se aporta información específica sobre la satisfacción de los empleadores (satisfacción de los grupos de interés), siendo también escasos e inespecíficos de cada uno de los centros que ya han completado los cuatro cursos, los referidos a los egresados. En cuanto a los indicadores de rendimiento, en líneas generales la valoración es positiva a partir de los datos e indicadores que se han ido aportando, en cada uno de los informes, aunque muchas de las informaciones se encuentran en otros apartados y en ocasiones es difícil saber de qué centro en concreto se está realizando una valoración. Respecto a todas las Universidades se recomienda, por la comisión de renovación de la acreditación, a los responsables de los Títulos que se establezcan los mecanismos necesarios para obtener datos fiables y actualizados sobre el Grado de ocupación de los egresados y su inserción laboral, así como para su análisis y valoración (Dirección de Evaluación y Acreditación, 2015f). P á g i n a 35 | 57 Tabla 2: Grado de Educación Infantil en centros titulares y adscritos de Andalucía Nombre del Título y de la Universidad Comisión de calidad Procedimientos del sistema Resultados de aprendizaje Satisfacción de los grupos de interés Indicadores de rendimiento Inserción laboral Plan de mejora Almería Sí 3 3 3 3 2 2 Cádiz Sí 3 3 3 3 1 2 Cádiz [Virgen de Europa] Sí 2 3 * 3 1 2 Córdoba Sí 3 3 * 3 0 3 Córdoba [Sagrado Corazón) Sí 3 3 * 3 0 2 Granada Sí 3 3 3 3 0 3 Granada [La Inmaculada] Sí 3 3 3 3 0 2 Granada [Melilla] Sí 3 * 3 3 0 3 Granada [Ceuta] Sí 3 * 3 3 0 2 Huelva Sí * 3 * 0 * 3 Jaén Sí 3 3 * 3 3 3 Jaén [Sagrada Familia] Sí 3 3 * 3 3 3 Málaga Sí 3 3 3 * 3 * Málaga [María Inmaculada] Sí 3 3 3 * 0 * Sevilla Sí 3 3 * * 0 3 Sevilla [Cardenal Spínola] Sí 3 3 * * 0 3 Universidad de Sevilla [Osuna] Sí 2 3 * * 0 3 Universidad Loyola Andalucía [sede de Sevilla] Sí - - - - - - Nota: sí / no, a la existencia de una comisión de calidad; “0”, no hay evidencias presentes para evaluar el criterio; “1”, el criterio se ha evaluado negativamente; “2”, el criterio no se valora positivamente, pero aparece como área de mejora; “*”, el criterio es valorado positivamente, pero los datos están incompletos; “3”, el criterio se ha evaluado positivamente. La Tabla 3 muestra los informes de renovación de la acreditación de las universidades andaluzas con títulos de Grado en Educación Primaria, como norma general, encontramos buenos comentarios por parte de la comisión de renovación de la acreditación en cuanto a los procedimientos del sistema, y planes de mejora, siendo reseñable la falta de datos generalizada en el apartado de inserción laboral. En la Universidad de Almería, el informe resalta la revisión rigurosa de los resultados de aprendizaje, ya que en algunas no se concretaban las competencias específicas de la asignatura y no se incorporaron la totalidad de competencias a adquirir. Los criterios de evaluación se asemejan a los porcentajes valorativos de cada instrumento de evaluación, sin que se indicaran las competencias a evaluar con cada uno de esos instrumentos. Las referencias bibliográficas carecen de la información suficiente para su localización. En el área de satisfacción de los grupos de interés faltan algunos datos sobre indicadores y una indagación en los datos a analizar por parte de la comisión de renovación de la acreditación, en cuanto a los Indicadores de rendimiento. Por este motivo, la comisión de acreditación recomienda “realizar un análisis diacrónico de los valores globales y desglosados por asignatura, y también de los indicadores académicos más relevantes P á g i n a 36 | 57 como la tasa de graduación, la tasa de abandono, la tasa de rendimiento, la tasa de éxito y la tasa de eficiencia” (Dirección de Evaluación y Acreditación, 2015g, p. 7). Lo más llamativo del informe es que no existen datos sobre la inserción laboral, teniendo en cuenta que los datos son accesibles, es un problema que mejorar. En la Universidad de Cádiz, en ambos centros, titular y adscrito, la satisfacción de los grupos de interés en general tiene tasas de respuesta de los estudiantes que son bajas en los dos centros por lo que se deben implementar medidas que permitan aumentar la participación. En cuanto a la inserción laboral “en lo que respecta a las tasas de ocupación y adecuación de la inserción laboral de los graduados no se dispone aún de información” (Dirección de Evaluación y Acreditación, 2015h, p. 9). La situación en la Universidad de Córdoba, en el centro titular, así como el adscrito (Sagrado Corazón) tienen un buen sistema de organización de documentación, pero, los indicadores de rendimiento y “las valoraciones que se ofrecen sobre los niveles de satisfacción de los distintos colectivos con los servicios de orientación académica y profesional, relacionados con el Título, en la Facultad de Ciencias de la Educación, son escasos” (Dirección de Evaluación y Acreditación 2015i, p. 17). En el centro titular se “recomienda incorporar las valoraciones de los egresados y empleadores, al menos sobre aquellas dimensiones o aspectos que permitan apreciar su opinión sobre el desarrollo académico del Título y de su transición hacia la inserción laboral, así como en otras cuestiones que les afecten directamente” (Dirección de Evaluación y Acreditación, 2015i, p. 19) , no obstante, en el centro adscrito “se recomienda poner énfasis en las acciones de mejora propuestas para mejorar los procedimientos del Sistema de Garantía de Calidad del Título al objeto de conocer la inserción laboral de los egresados, considerando el contexto socioeconómico y las características del Título” (Dirección de Evaluación y Acreditación, 2015i, p. 20). En La Universidad de Granada, lo más significativo del informe es que en el área de los resultados de aprendizaje la comisión de renovación de la acreditación recomienda “adoptar mecanismos que permitan obtener una información más exhaustiva sobre los resultados de aprendizaje, de modo que permitan disponer de más y mejores evidencias sobre los logros asociados al programa formativo, así como a su evolución en los próximos cursos académicos” (Dirección de Evaluación y Acreditación, 2015j, p. 6). No obstante, existe el mismo problema en el informe sobre la inserción laboral, ya que no se ofrecen datos sobre la tasa de ocupación referida a la inserción laboral de los egresados de este Título, aunque se alude a los registros procedentes del cruce de tres fuentes de datos distintas, como la Universidad de Granada, el Servicio Andaluz de Empleo y la Seguridad Social -como se comentó en la tabla anterior-. P á g i n a 37 | 57 La Universidad de Huelva, presenta uno de los informes con más deficiencias y debemos resaltar que en informe se califica como favorable muchos aspectos que deberían aparecer como área de mejora, se tendría que comprobar la suficiencia de esas evaluaciones, por lo que las anotaciones son más específicas, como en los resultados de aprendizaje, la comisión de renovación de la acreditación recomienda llevar a cabo el análisis propuesto sobre la adecuación de los objetivos, respecto a la metodología del proceso de enseñanza-aprendizaje y las competencias que alcanza el alumnado. Esto afecta directamente a los indicadores de rendimiento, la comisión advierte de que han de seguirse su evolución, en cuanto a la inserción laboral según la comisión de renovación de la acreditación queda pendiente el procedimiento de gestión de inserción laboral de los egresados y de satisfacción con la formación recibida, justificado por los plazos de implantación de la titulación. Por último, respecto al plan de mejora se comenta que es necesario la mejora de su estructura haciendo constar en él “información sobre indicadores, responsables, nivel de prioridad de las acciones, fecha de consecución y temporalización” (Dirección de Evaluación y Acreditación, 2016b, p. 3). En la Universidad de Jaén, la comisión de renovación de la acreditación recomienda mejorar la información porque esta duplicada, en este caso en Jaén existen dos centros universitarios (Facultad de Humanidades y Ciencias de la Educación y Centro Universitario Sagrada Familia) que ofrecen los mismos Grados y según la propia facultad, los informes parecen duplicados y genera confusión, el resto del informe se valora positivamente (Dirección de Evaluación y Acreditación, 2015k). En la Universidad de Málaga, en el centro titular, la comisión de renovación de la acreditación destaca la excesiva burocracia que requieren algunos procedimientos del SCG, lo que ha llevado a su revisión para adaptarlos a las características del Centro, previa consulta con el Servicio Técnico de Calidad de la Universidad de Málaga. La comisión también recomienda, con relación a los dos centros implicados en este Título, elaborar conjuntamente los futuros informes de satisfacción de los grupos de interés, integrando datos y valoraciones, en los que se aporten los resultados de las encuestas sobre los niveles de satisfacción de los diferentes colectivos implicados. La comisión recomienda igualmente analizar con respecto al nivel de satisfacción de los estudiantes con el Título por qué el porcentaje, aunque alto, se sitúa por debajo de la media de la Universidad y por qué no ha variado a lo largo de la implantación del Grado (Dirección de Evaluación y Acreditación, 2015l). El centro adscrito (Centro de Magisterio María Inmaculada), no se ofrecen datos específicos sobre estos parámetros para evaluar la inserción laboral, remitiéndose en este caso al último informe elaborado por la P á g i n a 38 | 57 Universidad de Málaga sobre la situación laboral de sus egresados en el curso académico 2013-2014. En la Universidad de Sevilla, la comisión de renovación de la acreditación recomienda revisar la tasa de graduación que es relativamente, sobre todo en la Facultad de Ciencias de la Educación y el Centro de Estudios Universitarios Cardenal Spínola. En el centro titular Facultad de Ciencias de la Educación tanto estudiantes como PAS constatan que no se han realizado encuestas de algunos de los temas que les competen, en algunas asignaturas y encuestas de satisfacción, dato muy interesante para analizar. En cuanto a los indicadores de rendimiento y la tasa de graduación, que en el caso de la Facultad de Ciencias de la Educación y en el Centro de Estudios Universitarios Cardenal Spínola está por debajo de lo establecido en la Memoria de Verificación, en el caso de Trabajos Fin Grados, el índice de rendimiento es también bajo, especialmente en la Facultad de Ciencias de la Educación, según las estimaciones de la comisión de renovación de la acreditación. Por último, en el área de la inserción laboral se han introducido acciones de mejora en el documento de alegaciones realizado por la Facultad de Ciencias de la Educación, orientadas a recabar información sobre cómo la creación de una base de datos de alumnos egresados e información sobre la actividad profesional para ofrecer estos informes a los estudiantes de nuevo ingreso o los que se encuentran cursando ya esa titulación universitaria. También se aportan mejoras respecto a los resultados obtenidos en la orientación de los estudiantes. Dichas acciones son valoradas favorablemente y se considera que resuelven las modificaciones requeridas en el informe provisional de evaluación (Dirección de Evaluación y Acreditación, 2015m). P á g i n a 39 | 57 Tabla 3: Grado en Educación Primaria en centros titulares y adscritos en Andalucía Nota: sí / no, a la existencia de una comisión de calidad; “0”, no hay evidencias presentes para evaluar el criterio; “1”, el criterio se ha evaluado negativamente; “2”, el criterio no se valora positivamente, pero aparece como área de mejora; “*”, el criterio es valorado positivamente, pero los datos están incompletos; “3”, el criterio se ha evaluado positivamente. La Tabla 4 muestra los datos de renovación de la acreditación a las Universidades que tiene un Grado en Pedagogía, comenzando por la Universidad de Granada, en la que se ha evaluado negativamente la inserción laboral que aparece en el autoinforme por la comisión de acreditación, sin embargo, aparece como un área de mejora, ya que según el plan de mejora de la misma Universidad se han implantado medidas para satisfacer las carencias de información en cuanto a inserción laboral (Dirección de Evaluación y Acreditación, 2015n). La Universidad de Málaga utiliza la herramienta de ISOTOOLS, y la comisión lo valora positivamente. No obstante, la comisión está “de acuerdo con lo manifestado por los estudiantes durante la visita actualmente este servicio de la Facultad no funciona, solamente existió cuando las desarrollaba un estudiante de Pedagogía en prácticas” (Dirección de Evaluación y Acreditación, 2015ñ, p. 9), por lo que no hay unos procedimientos claros sobre el SGC, “en cuanto a la metodología se realiza una declaración acerca de la fluidez metodológica que no concreta. Las actividades, la metodología y los sistemas de evaluación del Grado y reflejadas en las diferentes guías docentes están en consonancia con el logro de los objetivos formativos y el dominio de las competencias básicas y específicas” (Dirección de Evaluación y Acreditación, 2015ñ, p. 10). Para la comisión es importante explorar la percepción de los egresados, aunque “los responsables del Título alegan que en la página web del Servicio de Cooperación Empresarial y Promoción de Empleo de la Universidad de Málaga se publican los Nombre del Título y de la Universidad Comisión de calidad Procedimientos del sistema Resultados de aprendizaje Satisfacción de los grupos de interés Indicadores de rendimiento Inserción laboral Plan de mejora Almería Sí 3 2 * 0 0 3 Cádiz Sí 3 3 * 3 1 2 Cádiz [Virgen de Europa] Sí 3 3 * 3 1 2 Córdoba Sí 3 3 3 * 2 3 Córdoba [Sagrado Corazón] Sí 3 3 3 * 2 2 Granada Sí 3 * 3 3 0 3 Granada [La Inmaculada] Sí 3 * 3 3 0 3 Granada [Melilla] Sí 3 * 3 3 0 3 Granada [Ceuta] Sí 3 * 3 3 0 3 Huelva Sí 3 2 3 2 0 * Jaén Sí 2 2 3 3 2 2 Jaén [Sagrada Familia] Sí 2 2 3 3 2 2 Málaga Sí * 3 2 3 3 2 Málaga [María Inmaculada] Sí 3 3 2 3 0 3 Sevilla Sí 3 3 * * 0 3 Sevilla [Cardenal Spínola] Sí 3 3 * * 0 2 Sevilla [Osuna] Sí 3 3 * * 0 2 Loyola Andalucía [sede de Sevilla] Sí - - - - - - P á g i n a 40 | 57 Informes de Inserción Laboral y se aportan los enlaces a los últimos informes disponibles, por lo que se considera atendida la recomendación” (Dirección de Evaluación y Acreditación, 2015ñ, p. 10) y valorada positivamente aunque no se muestren datos como tal en el autoinforme, simplemente se comenta que los datos existen. Por último, la comisión de renovación de la acreditación “recomienda elaborar un documento de síntesis del plan de mejora con las acciones planteadas, indicadores, responsables, nivel de prioridad, fecha de consecución, temporalización, etc., que se actualice periódicamente” (Dirección de Evaluación y Acreditación, 2015ñ, p. 4). El informe final de renovación de la acreditación de la Facultad de Ciencias de la Educación de la Universidad de Sevilla destaca que los indicadores del SGC no aportan datos sobre la satisfacción de egresados y empleadores con la formación recibida. La comisión recomienda que las tasas de eficiencia, de éxito y rendimiento deben presentar sus referencias para poder interpretar la validez y alcance de la información que en ellas se ofrece. También se hace referencia a que tampoco se aportan datos sobre la tasa de ocupación referida a la inserción laboral de los egresados de este título. La comisión de renovación de la acreditación propone crear un plan de recogida de información sobre inserción profesional de egresados de Pedagogía, para ofrecer esa información a nuevos estudiantes (Dirección de Evaluación y Acreditación, 2014). Tabla 4: Grado en Pedagogía en centros titulares en Andalucía Nota: sí / no, a la existencia de una comisión de calidad; “0”, no hay evidencias presentes para evaluar el criterio; “1”, el criterio se ha evaluado negativamente; “2”, el criterio no se valora positivamente, pero aparece como área de mejora; “*”, el criterio es valorado positivamente, pero los datos están incompletos; “3”, el criterio se ha evaluado positivamente. La Tabla 5 muestra los datos relacionados con el Grado de Educación Social que, solamente se ofrece en Universidades titulares, lo que facilita la interpretación de los informes de renovación de la acreditación. En la Universidad de Almería existen dudas por parte de la comisión de renovación de la acreditación sobre la aplicación real de algunos de los procedimientos del SGC, en particular, los procedimientos de recogida y análisis de la satisfacción de los diferentes grupos de interés, ya que las encuestas de satisfacción solo se realizan a profesores, estudiantes y PAS, pero no a egresados ni empleadores, y tampoco se ha podido constatar, por parte de la comisión de renovación de la acreditación que exista un Nombre del Título y de la Universidad Comisión de calidad Procedimientos del sistema Resultados de aprendizaje Satisfacción de los grupos de interés Indicadores de rendimiento Inserción laboral Plan de mejora Granada Sí 3 3 3 3 2 2 Málaga Sí * * 3 3 * * Sevilla Sí 3 3 * * 0 3 P á g i n a 41 | 57 instrumento que permita recoger de forma adecuada la satisfacción con los tutores de prácticas externa, pese a que, al menos en los primeros, existen encuestas diseñadas a tal fin (Dirección de Evaluación y Acreditación, 2016c). La Universidad de Córdoba todavía no ha superado los 6 años necesarios para realizarle la renovación de la acreditación en el Grado de Educación Social. En la Universidad de Granada, la comisión de renovación de la acreditación advierte que se desconocen datos sobre la satisfacción de los grupos de interés, con el nivel de exigencia requerido, los índices relativos de participación de los distintos colectivos que han dado respuesta a las encuestas en los cuatro cursos académicos objeto de valoración. Además, por lo que se observa en el informe, las acciones ejecutadas para favorecer la participación en las encuestas de satisfacción sólo han dado resultados positivos en relación con el alumnado, ya que los niveles de participación del profesorado, del PAS y de los tutores de prácticas son inexistentes, como sucede en la Facultad de Ciencias de la Educación del campus de Granada (Dirección de Evaluación y Acreditación, 2015o). En cuanto a la Universidad de Melilla y a la Universidad de Ceuta, la información está incompleta ya que todavía están iniciando la impartición del Grado en Educación Social. Por último, la comisión de renovación de la acreditación comenta que en las tres universidades (Granada, Melilla y Ceuta) no se ofrecen datos sobre la tasa de ocupación referida a la inserción laboral de los egresados de este Título, aunque se alude a los registros procedentes del cruce de tres fuentes de datos distintas: la Universidad de Granada, el Servicio Andaluz de Empleo y la Seguridad Social. La comisión señal que debería de aportarse información que permita valorar o estimar los logros asociados a esta dimensión, en la transición de la formación al desempeño profesional, los perfiles socio profesionales con los que desarrollan su trabajo, entre otros aspectos igualmente importantes para los estudiantes. En la Universidad de Huelva faltan la mayoría de los indicadores relacionados con los procedimientos del SGC y existen errores evidentes en algunos enlaces importantes. La comisión de renovación de la acreditación considera que hay una falta de adecuación de los resultados de aprendizaje con las competencias indicadas, de las metodologías docentes con los sistemas de evaluación y de éstos con los resultados de aprendizaje, en la página web se describen sistemas de evaluación muy genéricos que no permiten valorar si se corresponden con los resultados de aprendizaje esperados.; por ejemplo, se alude a pruebas para valorar competencias, sin indicar en qué consisten. Tampoco se ofrece un histórico de la evolución sobre los egresados, ni aparecen datos sobre el nivel P á g i n a 48 | 57 se mantienen en un perfil de insuficiencia o se han subsanado por parte del organismo competente. La principal propuesta de mejora para la implantación de Sistema de Garantía de Calidad en educación superior de los títulos universitarios oficiales del ámbito educativo en Andalucía es la adecuación de los SGC a los objetivos de calidad, ya que la función de estos se podría considerar como la esencia del SGC y deben ser atendidos de forma adecuada y sistémica. La siguiente recomendación para propuesta de mejora es la publicación de los datos sobre la inserción laboral de los egresados, donde se expongan los estudios existentes en la base de datos del Observatorio ARGOS y el Servicio Andaluz de Empleo de los años 2015, 2016 y 2017. Las universidades andaluzas deben revisar y adaptar sus planes de mejora teniendo en cuenta los resultados que se obtienen de los cuestionarios que se realizan a los grupos de interés, como por ejemplo el cuestionario a los estudiantes de nuevo ingreso, el cuestionario de satisfacción con el docente; también sería necesario realizar cuestionarios a los empleadores, este grupo forma parte de las universidades como cualquier otro grupo de interés. No solo consiste realizar una serie de cuestionarios, es tener en cuenta el resultado de estos cuestionarios para mejorar en el aspecto de calidad educativa y conseguir así un SGC adecuado a las necesidades de la sociedad que también es beneficiaria de los SGC en educación superior. P á g i n a 49 | 57 7. Indicaciones para futuras investigaciones o intervenciones La metodología desk research de este trabajo puede utilizarse como punto de partida para una investigación de carácter primario. En ella podrían realizarse entrevistas con las comisiones o unidades de calidad de las universidades y analizar su papel en la evaluación de SGC de cada universidad. De ese modo, también podría valorarse el cuerpo técnico encargado del diseño o mantenimiento del SGC y comprobar el desarrollo de las fases de diseño e implantación, así como conocer los puntos de vista de los implicados. El estudio realizado por el Servicio Andaluz de Empleo, a través del Observatorio Argos (Sistema de Prospección Permanente del Mercado de Trabajo de Andalucía), en colaboración con las Universidades de Almería, Cádiz, Córdoba, Granada, Huelva, Jaén, Málaga y Sevilla ofrece las herramientas necesarias para realizar un nuevo Trabajo de Fin de Máster sobre el cruce de los datos entre las diferentes universidades andaluzas. Con ese estudio también se puede evaluar qué criterios del SGC son los que favorecen en cierto grado el nivel de inserción laboral de los egresados, así como conocer que factores son clave para la inserción laboral. Los datos sobre la inserción laboral deberían ir acompañados con información del sector en el que el egresado desempeña su trabajo, para evitar ofrecer datos incorrectos. Este posible estudio analizaría el porcentaje de egresados que consigue trabajar en el sector o marco laboral que ofrecen los grados de las diferentes universidades como salidas laborales. La participación en un proceso completo de renovación de la acreditación de un título en un centro universitario es otro proyecto que puede realizarse a partir de este Trabajo de Fin de Máster. El siguiente paso sería la organización de lecturas de los informes de renovación de la acreditación antiguos, que sirvan para elaborar una trayectoria de la evolución de las universidades. En esta posible investigación sería necesario comprobar como se han adaptado las universidades a lo largo de las diferentes revisiones de la acreditación a la realidad en la que se encuentran. En esa investigación se debería comprobar el nivel de compromiso con los objetivos de calidad por parte de la universidad. Una de las posibles líneas de investigación futuras podría ser la participación en una iniciativa de acreditación institucional piloto, con el objetivo de realizar una comparación realista sobre lo que supone realizar una acreditación mixta o solamente institucional, no solo evaluando la institución de formación de forma sistémica, también se evaluarían los costes y las inversiones que se necesitarían para realizar este tipo de acreditaciones P á g i n a 50 | 57 institucionales. Este proyecto sería muy interesante para llevarlo a cabo en las universidades andaluzas donde se desarrolle paralelamente la acreditación por título tradicional que se aplica actualmente. La posibilidad de realizar comparaciones entre otras comunidades autónomas que tomen la iniciativa de hacer una investigación sobre los informes de renovación de la acreditación de los títulos de grado en Educación Infantil, Educación Primaria, Pedagogía y Educación Social, ofrecería una gran base de información puesto que si se realizan las mismas acreditaciones de los mismos títulos, implicaría tener la limitación del contexto para poder comparar entre comunidades autónomas, creando posible confusión sobre los motivos por los que un criterio es suficiente en una comunidad autónoma e insuficiente en otra comunidad diferente, sin embargo, se podría medir en qué medida los SGC se ajusta a los objetivos de calidad. El uso de herramientas de Big Data para el análisis masivo de datos que puede ofrecer internet, la minería de datos es muy útil para recopilar información y las universidades poseen muchos datos que no se está usando, desde el tiempo que pasa una persona de media en la página web de la universidad hasta que publicaciones dentro de la misma página web son las más visitadas, el análisis de estos datos ofrecería una cantidad abrumadora de nuevos datos y cifras que darían lugar a nuevas investigaciones y comparaciones, las agencias y organizaciones deberían postularse ante el uso de herramientas de análisis de datos masivo mediante machine learning o deep learning para estar en consonancia con la realidad que vivimos. P á g i n a 51 | 57 8. Bibliografía y referencias AAC-DEVA. (2020). Guía para la certificación de sistemas de garantía de la calidad implantados en los centros de las universidades andaluzas, programa IMPLANTASGCC. Aja, L. (2002). Gestión de información, gestión del conocimiento y gestión de la calidad en las organizaciones. Acimed, 10(5), 7-8. Álvarez, A. A. (1997). Origen de las ventajas competitivas en la empresa. Revista de dirección, organización y administración de empresas, (18), 52-60. Agència per a la Qualitat del Sistema Universitari de Catalunya. (2013). Guía aprobada por la Comisión de Evaluación de la Calidad, guía de evaluación del diseño del sistema de garantía interna de la calidad de las enseñanzas superiores, 36-42. ANECA. (2020). Programa AUDIT. Guía para el diseño de Sistemas de Aseguramiento Interno de Calidad de la formación universitaria Documento 01. Consultado el 8 de abril de 2020. http://www.aneca.es/Programas-de-evaluacion/Evaluacioninstitucional/AUDIT/Herramientas-para-el-diseno ANECA. (2020b). Programa AUDIT. Directrices, definición y documentación de Sistemas de Garantía Interna de Calidad de la formación universitaria Documento 02. Consultado el 8 de abril de 2020. http://www.aneca.es/Programas-de- evaluacion/Evaluacion-institucional/AUDIT/Herramientas-para-el-diseno ANECA. (2020c). Programa AUDIT. Herramientas para el Diagnóstico en la implantación de Sistemas de Aseguramiento Interno de Calidad de la formación universitaria Documento 03. Consultado el 8 de abril de 2020. http://www.aneca.es/Programasde-evaluacion/Evaluacion-institucional/AUDIT/Herramientas-para-el-diseno Bodero, H. (2014). El impacto de la calidad educativa, Revista de Ciencias Sociales, 4(1), 112 - 117. Bolívar, A. (1994). Autoevaluación institucional para la mejora interna. Reforma educativa y organización escolar. Castillo, S. (coord.). (2010). Compromisos de la Evaluación Educativa. Editorial Pearson. Damian, R., Grifoll, J., & Rigbers, A. (2015). On the role of impact evaluation of quality assurance from the strategic perspective of quality assurance agencies in the European higher education area. Quality in Higher Education, 21(3), 251–269. https://doi.org/10.1080/13538322.2015.1111005 Declaración de Bolonia (1999). The European Higher Education Area. Bologna Declaration. Joint declaration of the European Ministers of Education. Dirección de Evaluación y Acreditación. (2014). Informe final para la renovación de la acreditación del Graduado o Graduada en Pedagogía por la Universidad de Sevilla. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=605&id convocatoria=2&tipo=ACRED P á g i n a 52 | 57 Dirección de Evaluación y Acreditación. (2015). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Cádiz. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=90&idc onvocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015b). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Córdoba. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=158&id convocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015c). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Granada. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=285&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015d). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Jaén. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=408&id convocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015e). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Málaga. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=483&id convocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015f). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Sevilla. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=606&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015g). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Almería. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=34&idc onvocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015h). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Cádiz. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=88&idc onvocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015i). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Córdoba. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=156&id convocatoria=4&tipo=ACRED P á g i n a 53 | 57 Dirección de Evaluación y Acreditación. (2015j). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Granada. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=289&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015k). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Jaén. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=410&id convocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015l). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Málaga. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=481&id convocatoria=4&tipo=ACRED Dirección de Evaluación y Acreditación. (2015m). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Sevilla. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=608&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015n). Informe final para la renovación de la acreditación del Graduado o Graduada en Pedagogía por la Universidad de Granada. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=275&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015ñ). Informe final para la renovación de la acreditación del Graduado o Graduada en Pedagogía por la Universidad de Málaga. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=480&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015o). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Granada. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=282&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015p). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Huelva. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=350&id convocatoria=3&tipo=ACRED Dirección de Evaluación y Acreditación. (2015q). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Málaga. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=486&id convocatoria=3&tipo=ACRED P á g i n a 54 | 57 Dirección de Evaluación y Acreditación. (2015r). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Pablo de Olavide. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=712&id convocatoria=1&tipo=ACRED Dirección de Evaluación y Acreditación. (2016). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Infantil por la Universidad de Huelva. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=351&id convocatoria=5&tipo=ACRED Dirección de Evaluación y Acreditación. (2016b). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Primaria por la Universidad de Huelva. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=352&id convocatoria=5&tipo=ACRED Dirección de Evaluación y Acreditación. (2016c). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Almería. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=768&id convocatoria=5&tipo=ACRED Dirección de Evaluación y Acreditación. (2018). Informe final para la renovación de la acreditación del Graduado o Graduada en Educación Social por la Universidad de Jaén. Consultado el 8 de abril de 2020. http://deva.aac.es/seguimientoTitulos/common/verInformeFinal.asp?idtitulo=909&id convocatoria=8&tipo=ACRED Dolaček-Alduk, Z., Sigmund, V., and Lončar-Vicković, S. (2008). Quality assurance of higher education in a European Higher Education Area (EHEA). Tehnicki Vjesnik, 15(1), 39–44. EQAR. (2017). EQAR and the Bologna Process. Consultado el 10 de abril de 2020. https://www.eqar.eu/about/bologna-process/ EQAR. (2017b). EQAR at a glance. Consultado el 8 de abril de 2020. https://www.eqar.eu/about/introduction/ EQAR. (2018). EQAR's Founders, the E4 Group. Consultado el 8 de abril de 2020. https://www.eqar.eu/about/e4-group/ ENQA. (2015). European Quality Assurance Register in higher education (EQAR). Consultado el 15 de abril de 2020. https://enqa.eu/index.php/work-policy-area/enqathe-bologna-process/eqar/ ENQA. (2016). Quality Procedures in the European Higher education area and beyond – internationalisation of Quality assurance agencies. Consultado el 9 de abril de 2020. http://www.enqa.eu/indirme/papers-and-reports/occasional-papers/enqa_oc_22.pdf Gento Palacios, S, (1998). Implantación de la calidad total en instituciones educativas. Madrid: UNED P á g i n a 55 | 57 Gelders, L., Proost, A., y Van Der Heyde, C. (1995). ISO 9000 Certification in an Academic Unit. European Journal of Engineering Education 20(4), 467–471. https://doi.org/10.1080/0304379950200407 González, T. (coord.) (2000). Evaluación y gestión de la calidad educativa. Un enfoque metodológico. Málaga: Ediciones Algibe S.L. González, I. (2006). Dimensiones de evaluación de la calidad universitaria en el Espacio Europeo de Educación Superior. Electronic Journal of Research in Educational Psychology, 4(3), 445-468. https://www.redalyc.org/articulo.oa?id=2931/293121929001 González, I. (2004). Modelos de evaluación de la calidad orientados a la mejora de las instituciones educativas. XXI, Revista de Educación, (6), 155-169. Grifoll, J. (2014). The concept of excellence in higher education “Head of the Quality Assessment Department at the Catalan University Quality Assurance Agency (AQU Catalunya).” http://www.enqa.eu/index.php/publications Grifoll, J. (2016). External quality assurance agencies and excellence in higher education. Educación Médica, 17(3), 94–96. https://doi.org/10.1016/j.edumed.2016.08.001 Griful, E. y Canela, M. (2002). Gestión de la Calidad. Barcelona. Ediciones UPC. Harvey, L. (2006). International network of quality assurance agencies in higher education. Quality in Higher Education, 12(3), 221–226. https://doi.org/10.1080/13538320601073873 Haug, G. (2018). La acreditación institucional y de programas en el marco del Espacio Europeo de Educación Superior (EEES). Una conversación pública sobre la universidad. Consultado el 17 de abril de 2020. https://www.universidadsi.es/laacreditacion-institucional-programas-marco-del-espacio-europeo-educacion- superior-eees/ Hague, P., & Wilcock, C. (2020). B2B International Publications. How to get information for next to nothing, Desk Research. Consultado el 20 de abril de 2020. https://www.b2binternational.com/publications/desk-research/ Hoyle, D. (1995). ISO 9000: manual de sistemas de calidad. Paraninfo. INQAAHE. (2020). Mission and Values. Consultado el 7 de abril de 2020. https://www.inqaahe.org/presentation Juneja, P., and The Management Study Guide Content Team. (2018). Desk Research, Methodology and Techniques. https://www.managementstudyguide.com/deskresearch.htm Keçetep, İ. & Özkan, İ. (2014). Quality Assurance in the European Higher Education Area. Procedia, Social and Behavioral Sciences, 141, 660-664. https://doi.org/10.1016/j.sbspro.2014.05.115 Ley Orgánica 6/2001, de 21 de diciembre, de Universidades. Boletín Oficial del Estado, núm. 307, de 24 de diciembre de 2001, 49400-49425. https://www.boe.es/buscar/pdf/2001/BOE-A-2001-24515-consolidado.pdf P á g i n a 56 | 57 Ley Orgánica 4/2007, de 12 de abril, por la que se modifica la Ley Orgánica 6/2001, de 21 de diciembre, de Universidades. Boletín Oficial del Estado, núm. 89, de 13 de abril de 2007, 16241-16260. https://www.boe.es/boe/dias/2007/04/13/pdfs/A16241- 16260.pdf Ley Orgánica 8/2013, de 9 de diciembre, para la mejora de la calidad educativa. Boletín Oficial del Estado, núm. 295, de 10 de diciembre de 2013, 97858-97921. http://www.boe.es/boe/dias/2013/12/10/pdfs/BOE-A-2013-12886.pdf Lundquist, R. (1997). Quality systems and ISO 9000 in higher education. Assessment and Evaluation in Higher Education, 22(2), 159-172. https://doi.org/10.1080/0260293970220205 Maderuelo, J. A. (2002). Gestión de la calidad total: El modelo EFQM de excelencia. Medifam, 12(10), 41-54. Merchán, J. (2012). La introducción en España de la política educativa basada en la gestión empresarial de la escuela: El caso de Andalucía. Education Policy Analysis Archives, 20. Ministerio de Educación, Cultura y Deporte (MECD) (2011). Modelo Europeo de Excelencia. Adaptación a los centros educativos del modelo de la Fundación Europea para la Gestión de la Calidad. Secretaría General Técnica. Miranda, J., Chamorro, A., y Rubio, S. (2007). Introducción a la Gestión de la Calidad. Madrid, Delta, Publicaciones Universitarias. Muñoz Cantero, J.M. y Pozo, C. (2014). El escenario de la calidad en la Universidad española: de dónde venimos y hacia dónde vamos. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17 (3), 1‐16. http://dx.doi.org/10.6018/reifop.17.3. Real Decreto 1947/1995, de 1 de diciembre por el que se establece el Plan Nacional de Evaluación de la Calidad las Universidades. Boletín Oficial del Estado, núm. 294. 35473-35474. Real Decreto 408/2001, de 20 de abril, por el que se establece el II Plan de la Calidad de las Universidades. Boletín Oficial del Estado, núm. 96. 14777-14780. Real Decreto 1125/2003, de 5 de septiembre, por el que se establece el sistema europeo de créditos y el sistema de calificaciones en las titulaciones universitarias de carácter oficial y validez en todo el territorio nacional. Boletín Oficial del Estado, núm. 224. 34355-34356. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín oficial del Estado, núm. 260. Texto consolidado, 1-25. Real Decreto 861/2010, de 2 de julio. por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín Oficial Del Estado, núm. 161. 61561- 61567. P á g i n a 57 | 57 Real Decreto 420/2015, de 29 de mayo, de creación, reconocimiento, autorización y acreditación de universidades y centros universitarios. Boletín Oficial Del Estado, núm. 183, 60502-60511. Ríos de Deus, M.P. (2014). Sistemas de garantía de calidad en centros de Educación Superior. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17 (3), 17‐34. http://dx.doi.org/10.6018/reifop.17.3.204021. Serrano-Velarde, K. E. (2008). Quality Assurance in the European Higher Education Area. Higher Education Management and Policy, 20(3), 1–18. SIS International Research. (2020). International Market Research. Desk Research is an integral part of any Market Intelligence and Market Research study. Consultado el 21 de abril de 2020. https://www.sisinternational.com/solutions/qualitativequantitative-research-solutions/desk-research/ Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). (2015). Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brussels, Belgium. Torres, K., Ruiz, T., Solís, L., y Martínez, F. (2012). Calidad y su evolución: una revisión* Quality and its evolution: a review. Dimensión Empresarial, 10(2), 100–107. http://www.usfx.bo/nueva/vicerrectorado/citas/SALUD_10/Quimica_Farmaceutica/7 .pdf Travis, D. (2016). Desk research: the what, why and how. Consultado el 21 de abril de 2020. http://www.userfocus.co.uk/articles/desk-research-the-what-why-and- how.html Van den Berghe, W. (1998). Aplicación de las normas ISO 9000 a la enseñanza y la formación. Revista Europea de Formación Profesional, (15), 21-30. Yarce, J. (1997). Calidad total en la educación. Revista Educación y educadores, (1), 29- 32.