La calidad en la educación superior a través de indicadores sintéticos. Una aplicación para el Sistema Universitario Español utilizando Análisis Envolvente de Datos

FACULTAD DE CIENCIAS ECONÓMICAS Y EMPRESARIALES DEPARTAMENTO DE ECONOMÍA CUANTITATIVA LA CALIDAD EN LA EDUCACIÓN SUPERIOR A TRAVÉS DE INDICADORES SINTÉTICOS UNA APLICACIÓN PARA EL SISTEMA UNIVERSITARIO ESPAÑOL UTILIZANDO ANÁLISIS ENVOLVENTE DE DATOS David Rodríguez González Santiago de Compostela, 2013 UNIVERSIDAD DE SANTIAGO DE COMPOSTELA DEPARTAMENTO DE ECONOMÍA CUANTITATIVA LA CALIDAD EN LA EDUCACIÓN SUPERIOR A TRAVÉS DE INDICADORES SINTÉTICOS UNA APLICACIÓN PARA EL SISTEMA UNIVERSITARIO ESPAÑOL UTILIZANDO ANÁLISIS ENVOLVENTE DE DATOS VºBº VºBº Dª Mª Pilar Murias Fernández D. José Carlos de Miguel Domínguez Santiago de Compostela, 2013 Tesis que presenta el licenciado D. DAVID RODRÍGUEZ GONZÁLEZ para obtener el grado de doctor en Economía, realizada en el Departamento de Economía Cuantitativa de la Universidad de Santiago de Compostela, bajo la dirección de la Profesora Dra. Dª Mª PILAR MURIAS FERNÁNDEZ, profesora del Departamento de Economía Aplicada de la Universidad de Santiago de Compostela.y del Profesor Dr. D. JOSÉ CARLOS DE MIGUEL DOMÍNGUEZ, catedrático de Economía Aplicada de la Universidad de Santiago de Compostela. ÍNDICE iii Introducción……………………………………………………. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior……………………………………. 1.1. La Universidad y sus funciones desde una perspectiva histórica 1.1.1. Los inicios de la universidad (1100-1500)…… 1.1.2. La expansión de la universidad (1500-1900).. 1.1.3. La universidad en el siglo XX…………………….. 1.1.4. La universidad en el siglo XXI……………………. 1.2. El concepto de calidad en la educación superior……… 1.3. Los procesos institucionales de búsqueda de calidad universitaria…………………………………………………………. 1.4. La evaluación integral de la calidad universitaria…….. 1.4.1. Rankings internacionales…………………………. 1.4.2. Rankings nacionales……………………………….. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas………………………………………… 2.1. El proceso de operacionalización…………………………. 2.2. Indicadores sintéticos. Ventajas e inconvenientes……. 2.3. Etapas para la elaboración de un indicador sintético.. 2.3.1. Etapa de especificación……………………………. 2.3.1.1. Elaboración del marco teórico……………………. 2.3.1.2. Selección de los indicadores parciales………….. 2.3.1.3. Imputación de valores perdidos……………….….. 2.3.1.4. Análisis multivariante del conjunto de datos….. 2.3.2. Etapa de estimación………………………………... 2.3.2.1. Normalización…………………………………………. 3 11 12 13 16 21 23 26 39 58 63 68 77 78 83 87 89 89 92 96 104 113 113 iv 2.3.2.2. Ponderación…………………………………………… 2.3.2.3. Agregación……………………………..……………… 2.3.3. Etapa de análisis y evaluación…………………... 2.3.3.1. Análisis de incertidumbre y sensibilidad….……. 2.3.3.2. Análisis y presentación de los resultados………. 2.4. Consideraciones finales……………………………………... Capítulo 3. ISCUE: Un indicador sintético de calidad en las universidades españolas………………… 3.1. Fase de especificación……………………………………….. 3.1.1. Marco teórico: la calidad en el sistema universitario español……………………………………….. 3.1.2. Indicadores parciales de calidad universitaria.. 3.1.3. Imputación de datos………………………………... 3.1.4. Análisis multivariante de los datos……………… 3.2. Fase de estimación…………………………………………… 3.2.1. Normalización de los indicadores………………... 3.2.2. Ponderación y agregación…………………………. 3.3. Fase de análisis/evaluación……………………………….. 3.3.1. Análisis de incertidumbre…………………………. 3.3.2. Análisis de sensibilidad…………………………… Capítulo 4. Resultados del ISCUE (Curso 2008/2009)…………………………………………………… 4.1. Análisis multivariante……………………………………….. 4.2. Resultados del ISCUE……………………………………….. 4.2.1. Escenario original: ISCUE…………………………. 4.2.2. Escenario 1: ISCUE v1……………………………... 119 133 141 141 146 151 153 155 157 173 190 192 194 197 203 216 217 221 225 225 229 229 235 v 4.2.3. Escenario 2: ISCUE v2……………………………... 4.2.4. Comparación de los distintos escenarios………. 4.3. Análisis de incertidumbre y sensibilidad……………….. 4.3.1. Análisis de incertidumbre…………………………. 4.3.2. Análisis de sensibilidad…………………………… Conclusiones………………………………………………….. Bibliografía…………………………………………………….. Anexos…………………………………………………………… Anexo 1. Ejemplos de indicadores de calidad propuestos en el Sistema Universitario Español………..…....……….…… Anexo 2. Valores de los indicadores parciales que forman el ISCUE.….….………………………………………………………. Anexo 3. Ponderaciones absolutas del ISCUE en los distintos escenarios………………………………………….…….. Anexo 4. Gráficos del análisis Jacknife….…...…….…..…….. 248 253 255 256 263 269 277 315 317 325 337 341 xii Tabla A.2.2 Valores del indicador parcial Tasa de rendimiento académico (y 2 ) ……………………………………………….. 327 Tabla A.2.3 Valores del indicador parcial A lumnos matriculados en su opción preferida (y 3 ) ……………………………….. 328 Tabla A.2.4 Valores del indicador parcial Alumnos de intercambio (y4) …………………………………………..…. 329 Tabla A.2.5 Valores del indicador parcial In g resos por investigación (y 5 ) …………………………………..……….. 330 Tabla A.2.6 Valores del indicador parcial Tesis leídas (y6) ……….. 331 Tabla A.2.7 Valores del indicador parcial A lumnos de post g rado por graduado (y 7 ) ………………………………………..…. 332 Tabla A.2.8 Valores del indicador parcial Plazas en residencias (y 8 ) ……………………………………………………………... 333 Tabla A.2.9 Valores del indicador parcial Puestos en bibliotecas (y 9 ) ……………………………………………………………… 334 Tabla A.2.10 Valores del indicador parcial Tasa de abandono (y2’) 335 Tabla A.2.11 Valores del indicador parcial Publicaciones WoS (y6’) 336 Tabla A.3.1 Ponderaciones absolutas de cada indicador en el ISCUE original ………………………………………………. 338 Tabla A.3.2 Ponderaciones absolutas de cada indicador en el ISCUE v1 ……………………………………………………… 339 Tabla A.3.3 Ponderaciones absolutas de cada indicador en el ISCUE v2 ……………………………………………………… 340 xiii ABREVIATURAS DE LAS UNIVERSIDADES Abreviatura Universidad UAL UNIVERSIDAD DE ALMERÍA UCA UNIVERSIDAD DE CÁDIZ UCO UNIVERSIDAD DE CÓRDOBA UGR UNIVERSIDAD DE GRANADA UHU UNIVERSIDAD DE HUELVA UJA UNIVERSIDAD DE JAÉN UMA UNIVERSIDAD DE MÁLAGA UPO UNIVERSIDAD PABLO DE OLAVIDE USE UNIVERSIDAD DE SEVILLA UZA UNIVERSIDAD DE ZARAGOZA UOV UNIVERSIDAD DE OVIEDO UIB UNIVERSIDAD DE LAS ISLAS BALEARES ULL UNIVERSIDAD DE LA LAGUNA ULPGC UNIVERSIDAD DE LAS PALMAS DE GRAN CANARIA UCN UNIVERSIDAD DE CANTABRIA UCLM UNIVERSIDAD DE CASTILLA LA MANCHA UBU UNIVERSIDAD DE BURGOS ULE UNIVERSIDAD DE LEÓN USAL UNIVERSIDAD DE SALAMANCA UVA UNIVERSIDAD DE VALLADOLID UAB UNIVERSIDAD AUTÓNOMA DE BARCELONA UBA UNIVERSIDAD DE BARCELONA UDG UNIVERSIDAD DE GIRONA UDL UNIVERSIDAD DE LLEIDA UPF UNIVERSIDAD POMPEU FABRA URV UNIVERSIDAD ROVIRA I VIRGILI UA UNIVERSIDAD DE ALICANTE UJCS UNIVERSIDAD JAUME I DE CASTELLÓN UMH UNIVERSIDAD MIGUEL HERNÁNDEZ DE ELCHE UVEG UNIVERSIDAD DE VALENCIA (ESTUDI GENERAL) UEX UNIVERSIDAD DE EXTREMADURA ULC UNIVERSIDAD DE A CORUÑA USC UNIVERSIDAD DE SANTIAGO DE COMPOSTELA UVI UNIVERSIDAD DE VIGO UAH UNIVERSIDAD DE ALCALÁ DE HENARES UAM UNIVERSIDAD AUTÓNOMA DE MADRID UCAR UNIVERSIDAD CARLOS III DE MADRID UCM UNIVERSIDAD COMPLUTENSE DE MADRID URJC UNIVERSIDAD REY JUAN CARLOS UMU UNIVERSIDAD DE MURCIA UPN UNIVERSIDAD PÚBLICA DE NAVARRA UPV UNIVERSIDAD DEL PAÍS VASCO URI UNIVERSIDAD DE LA RIOJA xv      AGRADECEMENTOS Antes de expoñer os contidos sinalados no índice é o meu deber dar as grazas a todas aquelas persoas que directa ou indirectamente, en maior ou menor medida, contribuíron a que as seguintes páxinas visen a luz. En primeiro lugar teño que agradecer e dedicarlle esta memoria de tese á miña familia. Aos meus pais, Carmen e Eduardo, e á miña irmá, Cris, por todos os seus esforzos durante toda unha vida co único obxectivo de lograr o mellor para min. Non podería ter chegado ata aquí sen o seu agarimo e o seu sacrificio. Do mesmo xeito gustaríame lembrar aos meus avós dos que tiven a fortuna de aprender tantas cousas que non sei se souben recompensar debidamente. Non podo esquecer neste momento a esa “ garda pretoriana ” de amigos a quen considero un dos meus máis prezados tesouros. Algúns, bendita paciencia a súa, lévanme aturado case toda unha vida. Carlos, Fran, Ricardo, Eva, Silvia, Su, Fidel e Álex xvi Piñeiro debedes saber que vos agradezo estar sempre aí e que podedes contar comigo sempre que o precisedes. Non me esquezo, por suposto, de “esos locos bajitos” que tedes ao voso arredor e, especialmente, do meu afillado Diego a quen durante os últimos meses que levaron á publicación de esta memoria teño inxustamente abandonado. Grazas tamén a aqueles que chegaron tras dar un salto a un charco de miles de quilómetros: especialmente a Vitucho, compañeiro de despacho, partidos e esmorgas, máis tamén a Álex Trigo e Sebastián, incansables investigadores, pola súa confianza no meu modesto traballo. Antes de comezar unha memoria de tese que vai a abordar un tema tan importante coma a educación, é obrigado agradecer o papel de todos aqueles mestres que lograron transmitirme os seus coñecementos e moi especialmente a eses que ademais me inculcaron a paixón na súa profesión. Eles son responsables en gran parte de que chegara ata aquí. Gustaríame tamén dar as grazas ao Departamento de Economía Cuantitativa da Facultade de Ciencias Económicas e Empresariais da Universidade de Santiago de Compostela por terme aturado durante o proceso que derivou nestas páxinas. Finalmente, non podo esquecer aos auténticos creadores desta memoria: os meus directores de tese. Ao Doutor José Carlos de Miguel doulle as grazas pola súa confianza e o inestimable xvii apoio prestado, así como pola paciencia que mostrou cando o proceso desta investigación se foi alongando. E á Doutora Pilar Murias agradézolle a súa inmensurable labor en todos os ámbitos, tanto persoal coma profesional. Sabe que lle desexo o mellor e que, por suposto, pode contar comigo para o que precise. Agardo que a Universidade saiba recoñecer como merece á sobresaínte profesora e investigadora que é. Estou seguro que non puiden ter mellores directores neste camiño e agardo que a sublime labor que realizaron se vexa reflectida no presente traballo, no que calquera erro ou defecto se debe única e exclusivamente á miña responsabilidade, polo que pido humildes desculpas. A todos eles e a aqueles a quen esquece inxustamente a miña mala memoria, moitas grazas. LA CALIDAD EN LA EDUCACIÓN SUPERIOR A TRAVÉS DE INDICADORES SINTÉTICOS UNA APLICACIÓN PARA EL SISTEMA UNIVERSITARIO ESPAÑOL UTILIZANDO ANÁLISIS ENVOLVENTE DE DATOS Introducción La calidad en la educación superior a través de indicadores sintéticos 3      Introducción Seguramente cualquiera con un poco de perspectiva en el mundo universitario consideraría que la experiencia del autor de este trabajo es demasiado corta para permitirle formular juicios tajantes sobre la Universidad española. Aún así, creo que hasta el más veterano en la institución estaría de acuerdo con mi afirmación de que no ha existido período alguno en el que la Universidad no haya sido objeto de debate. Incluso en los momentos en los que el resto de la sociedad le ha prestado menor atención al asunto, la discusión se ha mantenido viva en el seno de la propia institución, tal vez como señal de cierta egocéntrica, pero bien intencionada, deformación profesional. Alumnos, profesores, administrativos, gestores…, los actores de la realidad universitaria llevan generaciones criticando, sugiriendo y debatiendo sobre su funcionamiento, y la premura parece la misma en todos los períodos temporales: “la institución siempre parece estar atravesando por un momento clave para su futuro”. Tal vez, los actores universitarios lleven generaciones exagerando. Puede que también yo esté exagerando cuando establezca la premisa fundamental en la que se fundamenta mi interés por el tema de esta Tesis Doctoral: probablemente, ahora sí, la Universidad española se enfrenta a un momento crucial, a varios retos en distintos frentes, que pueden determinar su futuro.  Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 11      Capítulo1.Laevaluacióndela calidadenelámbitodela educaciónsuperior La tarea de evaluar la calidad de las instituciones universitarias no es sencilla. En primer lugar por la propia naturaleza del concepto calidad, ambiguo y subjetivo, y la problemática que estas características provocan en su evaluación. Y además porque en los comienzos de este siglo XXI la universidad se está viendo sometida a una serie de profundos cambios que han modificado de forma considerable tanto su estructura como su funcionamiento. Las universidades fueron creadas, hace más de 900 años, con una finalidad básicamente docente y con el propósito de enseñar las profesiones intelectuales. Sin embargo las universidades no han sido torres de marfil y a lo largo de la historia se han involucrado notablemente en las necesidades de la sociedad que les apoya. Las instituciones universitarias han evolucionado y han adoptado nuevas tareas que les requería la sociedad, particularmente en los últimos 50 años al expandirse la educación universitaria de forma masiva. De cualquier forma han mantenido sus tareas básicas y conservan los ideales que nos permiten reconocer a las universidades, a pesar de su transformación (Fallis, 2005). Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 12 A lo largo del presente capítulo se pretende presentar las funciones que desarrolla actualmente la universidad a través de una visión histórica de la institución, que muestra como su propia evolución le ha permitido incorporarlas. A continuación se aborda el concepto de calidad dentro del marco de la educación superior a partir de los enfoques de diferentes autores y de cómo se ha implementado en diferentes procesos institucionales. Finalmente se muestran las diferentes formas de evaluar la calidad de las universidades, a partir de algunos ejemplos. 1.1.Launiversidadysusfuncionesdesdeuna perspectivahistórica La mayoría de las definiciones clásicas de la universidad se han centrado en su aspecto docente (Newman, 1886). Sin embargo durante el siglo XX autores como Ortega (1930) o Kerr (1963), entre otros, comenzaron a preocuparse por los cambios que estaban sufriendo las instituciones de educación superior y las nuevas misiones y funciones que conforme se le demandaban comenzaba a desarrollar. En la actualidad las instituciones universitarias han visto como su función primigenia se ha visto multiplicada y las actividades que desarrollan actualmente son muy diversas. Estos cambios que se han producido han venido motivados por la naturaleza dinámica del concepto de universidad. La evolución a lo largo del tiempo de estas instituciones, ha ido definiendo sus características, sus valores, sus principios y sus objetivos. Son estos atributos los que constituyen el concepto de universidad. Dado este carácter evolutivo de la universidad es conveniente revisar brevemente los antecedentes históricos de las instituciones que reciben este nombre, con el fin de comprender de cómo se han ido incorporando las funciones que desarrollan en la actualidad. Para una revisión bibliográfica más extensa de la evolución Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 13 histórica de las universidades y sus funciones puede acudirse a las amplias revisiones de Cobban (1992), Frijhoff (1992) y Shils (1992) que se encuentran dentro de The encyclopedia of higher education (Clarke y Neave, 1992) o a otras revisiones de las diferentes etapas históricas de la universidad como las de Newman (1886), Jaspers (1923), Ortega (1930), Le Goff (1957), Fichte et al. (1959), von Humboldt (1964), Geiger (1993), Torstendahl (1993), Wittrock (1993), Altbach (1997), Slaughter y Leslie (1997), Abellán (2000), Altbach et al. (2000), Martin y Etzkowitz (2000), Becher y Trowler (2001), Chuaqui (2002), Ibarra (2002), Russell (2003), Thelin (2004), Enders et al. (2005) 1.1.1.Losiniciosdelauniversidad(1100‐1500) La Universidad como institución data de la Europa medieval. Aunque tiene antecedentes en las culturas griega, romana y arábiga, las primeras instituciones con una organización formal nacieron en Europa Occidental. La universidad moderna surgió a partir de la evolución de las escuelas medievales conocidas como studium generale. Los primeras studium generale surgieron de los esfuerzos para educar a empleados y monjes en niveles superiores a los que se enseñaba en las escuelas monásticas y catedralicias. Los studium generale eran generalmente reconocidos como lugares de estudio abierto a estudiantes de todas partes de Europa. La inclusión de eruditos de países extranjeros constituye la principal diferencia entre los studium y las escuelas a partir de las cuales crecieron. La palabra studium indicaba una escuela en la que había instalaciones adecuadas para estudiar, y la palabra generale significaba que la escuela atraía estudiantes de diversas partes. Existían también los llamados studium particulare que sólo tenían estudiantes de un área geográfica limitada. Los studium generale enseñaban artes liberales y además tenían una o más de las llamadas facultades superiores: leyes, teología y medicina. Algunas escuelas alcanzaron gran prestigio en algún campo y atrajeron a estudiantes de Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 14 toda Europa, como la escuela de medicina de Salerno, pero no se les confirió el status de studium generale (Cobban, 1992). La determinación de este status estaba a cargo generalmente del Papa y en ocasiones del Emperador. La primera institución occidental que se puede llamar universitaria fue fundada en Bolonia a finales del siglo XI (1088) y se convirtió en una escuela de leyes de gran prestigio y ampliamente respetada, centrada en derecho civil y canónico. Muchos de sus alumnos eran personas adultas que llegaban de distintos sitios de Europa y que contrataban a doctores en leyes para que fuesen sus profesores. Ya que eran extraños en la ciudad, enfrentaron problemas que los hicieron unirse para defender sus intereses, y una vez unidos, tomaron el control de la universidad. Fue pues Bolonia la primera universidad cuyo gobierno estaba en manos de los estudiantes. Esta situación permaneció hasta 1350, aproximadamente, cuando las autoridades de la ciudad recuperaron el control de la universidad y la entregaron a los profesores (Cobban, 1992). Otras universidades que se desarrollaron posteriormente copiaron en forma total o parcial el sistema de gobierno por parte de los estudiantes. La primera universidad que surgió en la Europa central fue la Universidad de París, fundada entre 1150 y 1170. La Universidad de París alcanzó gran prestigio como una escuela de lógica y teología y se componía de colleges, que fueron posteriormente transformados en residencias para los estudiantes. Las autoridades de la ciudad favorecieron su desarrollo ya que la presencia de la universidad atraía a jóvenes y a intelectuales de muchas partes de Europa, lo que a su vez, estimulaba el crecimiento de París como un centro cosmopolita con una gran actividad socio económica. A diferencia de Bolonia, la Universidad de París estuvo gobernada por el gremio de profesores. Los alumnos estaban en calidad de aprendices. Este modelo recibió el nombre de universidad magisterial y sirvió como modelo para otras universidades en el norte de Europa como la Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 15 Universidad de Oxford en Inglaterra, que se fundaría a finales del siglo XII. Bolonia y París representan los prototipos de universidades medievales, tanto por su antigüedad como por su forma de organización. Se considera que, aunque evolucionaron paulatinamente, para el siglo XII ya estaban constituidas como tales. Poco después se fundaron en Gran Bretaña las universidades de Oxford y Cambridge. La primera se estableció a finales del siglo XII (1167), y la segunda en 1209. Ambas seguían el modelo de la Universidad de París, o sea, de una universidad magisterial, aunque existían algunas diferencias conceptuales entre todas ellas. Estas primeras universidades eran asociaciones de estudiantes y maestros, y eventualmente recibían sus directrices de papas, emperadores y reyes. La Universidad de Nápoles, fundada por el Emperador Federico II en 1224, fue la primera en ser establecida en virtud de la autoridad imperial, mientras que la Universidad de Toulouse, fundada por el Papa Gregorio IX en 1229, fue la primera creada por decreto papal. Estas universidades se gobernaban de forma autónoma, con el requisito de no difundir ni el ateísmo ni la herejía. Los estudiantes y los maestros elegían a sus propios rectores. El precio de la autonomía, sin embargo, era que las universidades se debían financiar por sí mismas. De esta forma los profesores cobraban honorarios y, para asegurarse su sustento, tenían que complacer a sus estudiantes. Estas primeras universidades no tenían edificios permanentes y poseían pocas propiedades, y estaban sujetos a la pérdida de estudiantes y maestros descontentos que podían desplazarse a otra ciudad y establecer su lugar de estudio allí. Así por ejemplo, la historia de la Universidad de Cambridge comenzó en 1209 cuando un grupo de estudiantes descontentos de Oxford se trasladó allí, mientras que 20 años después Oxford se benefició de una migración de estudiantes de la Universidad de París. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 16 En los años posteriores se multiplicó el número de universidades en distintas ciudades. Se estima que en el año 1300 ya había entre 15 y 20 universidades y en el año 1500 existían aproximadamente 70 universidades. En general, todas conservaron altos estándares de calidad y contribuyeron a una propagación de la cultura y a una expansión de los intelectuales por toda Europa. Desde el siglo XIII las universidades se establecieron en muchas de las principales ciudades de Europa. Se fundaron universidades en Montpellier (a comienzos del siglo XIII) y Aix-en-Provence (1409) en Francia, en Padua (1222), Roma (1303), y Florencia (1321) en Italia, en Salamanca (1218) en España, en Praga (1348) y Viena (1365) en Europa central, en Heidelberg (1386), Leipzig (1409), Friburgo (1457) y Tübingen (1477) en la actual Alemania, en Lovaina (1425) en Bélgica, y en Saint Andrews (1410) y Glasgow (1451) en Escocia. La Universidad de Salamanca, la primera universidad española como tal, empezó como un studium en 1218 o 1219, y el rey Alfonso X El Sabio le dio su estatuto como universidad en 1254 (Fernández, 1991). En los orígenes de la universidad, el Rector, a quien todos debían jurar obediencia, no podía ser catedrático, sino estudiante. En los siglos XV y XVI surge una figura, los Colegios Mayores, cuyo objetivo era ofrecer residencia y sustento a los estudiantes pobres que destacaran por su talento y virtud, de forma que la pobreza no fuera obstáculo para que pudieran conseguir sus grados universitarios. 1.1.2.Laexpansióndelauniversidad(1500‐1900) Este período supone un importante cambio para las instituciones de educación superior ya que comienzan a diversificar sus actividades. Durante este período, por ejemplo, se incorpora a la universidad una función fundamental hoy en día como la investigación. Hasta el final del siglo XVIII, la mayoría de las universidades ofrecían un núcleo curricular basado en las siete artes liberales: Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 17 gramática, lógica, retórica, geometría, aritmética, astronomía y música. A continuación los estudiantes procedían a estudiar en una de las facultades profesionales de medicina, derecho y teología. Los exámenes finales eran agotadores, y muchos estudiantes no los superaban. La Reforma protestante del siglo XVI y la consiguiente Contrarreforma afectaron a las universidades europeas de diferentes modos. En los estados germánicos se fundaron nuevas universidades de corte protestante y otros centros existentes también adoptaron los ideales protestantes, mientras que muchas universidades católicas se convirtieron en acérrimas defensoras de la enseñanza tradicional asociada a la iglesia católica. En el siglo XVII las universidades, tanto protestantes como católicas, se dedicaron fuertemente a la defensa de sus correspondientes doctrinas religiosas y, no prestaron mucho interés a las nuevas ciencias que habían comenzado a aparecer a lo largo de Europa. Las nuevas enseñanzas eran deficientes y muchas universidades sufrieron un período de relativo declive. De todas formas se siguieron fundando nuevos centros durante estos años, como los de Edimburgo (1583), Leiden (1575) y Estrasburgo (que obtuvo el carácter universitario en 1621). A partir del siglo XVI las universidades empezaron a diversificarse y a tomar conciencia de sus funciones y de su papel en la sociedad. Las universidades se consideraron a sí mismas como las instituciones encargadas de impartir educación superior, que habían sido legitimadas por las autoridades supremas de cada región mediante la facultad de otorgar grados. Sus principales funciones fueron, por tanto, la enseñanza y el otorgamiento de grados, siendo en muchos casos esta segunda función más importante que la primera. Los modelos de organización que se adoptaron fueron los ya descritos de Bolonia y París. El modelo de la Universidad de París terminó por imponerse con tres variantes. El más antiguo fue el modelo colegiado o tutorial en el que la enseñanza estaba descentralizada y se formaban numerosas comunidades de profesores y alumnos que Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 18 estudiaban y convivían, como en Oxford. En este tipo de universidades se impartían conocimientos de tipo general. El segundo modelo es el de la universidad profesional en donde la enseñanza estaba centralizada y se formaban especialistas de acuerdo a las disciplinas cultivadas por los grupos de profesores. Leiden (fundada en 1575) y Göttingen (fundada en 1733) se organizaron de esta manera. El tercero fue un modelo intermedio que combinaba una administración central con colegios de tamaño pequeño. Recibió el nombre de college university y según éste modelo se inició la construcción de conjuntos de edificios que reunían a toda la Universidad. A este modelo se le considera el precursor de la universidad moderna ya que tiene una administración única, adopta la estructura de colegios para la formación de profesionales y hace énfasis en la unidad de la ciencia (Frijhoff, 1992). La primera universidad moderna fue la de Halle, fundada por los luteranos en 1694. Este centro fue uno de los primeros a renunciar a la ortodoxia religiosa de cualquier tipo en favor de la preocupación intelectual racional y objetiva, y fue la primera en la que los profesores enseñaron en una lengua vernácula (alemán) en lugar de en latín. Las innovaciones de Halle fueron adoptadas por la Universidad de Göttingen (fundada en 1737) una generación más tarde y posteriormente por la mayoría de universidades alemanas y por muchas americanas. En general, las universidades hasta el siglo XX eran instituciones pequeñas, que virtualmente no habían sufrido cambios desde que fueron fundadas en la Edad Media. Su relación con la ciencia era ambigua y, aunque algunos científicos famosos fueron profesores universitarios, como Galileo en Padua, Bernoulli en Basilea y Newton en Cambridge, la mayoría de los científicos importantes trabajaban de forma independiente, fuera de las universidades, como Copérnico, Kepler, Descartes u otros (Frijhoff, 1992: 1251-1252). Sin embargo un cambio importante se produjo en los siglos XVIII y XIX, la religión fue gradualmente desplazada como la fuerza dominante en las universidades europeas, que se convirtieron en Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 19 instituciones modernas de aprendizaje e investigación y secularizadas en su administración y en sus planes de estudios. Estas tendencias fueron tipificadas por la Universidad de Berlín (1810), institución que supuso un cambio importante en la concepción de la Universidad. Este centro fue pionero en adoptar las normas modernas de libertad académica en las que las conjeturas fueron sustituidas por la experimentación en laboratorios, la teología, la filosofía y otras doctrinas tradicionales fueron examinadas de un modo más riguroso y objetivo. Bajo el liderazgo de su fundador, Wilhelm von Humboldt, se impulsó de manera notable el estudio de las ciencias, y se sentaron las bases de lo que serían posteriormente las llamadas universidades de investigación. La idea de universidad de von Humboldt era la de unidad institucional de todas las ciencias. Impulsó la investigación, los estudios de posgrado y la libertad de profesores y alumnos. Se crearon las figuras del departamento académico y del instituto de investigación. Se instituyó la figura del profesor como un personaje de gran prestigio dentro y fuera de la universidad. El proyecto de la Universidad de Berlín se extendió rápidamente por toda Alemania, que estaba iniciando un periodo de rápida industrialización, y más adelante influyó también en el desarrollo de las universidades norteamericanas (Kerr, 1963). El modelo alemán de universidad como un complejo de escuelas donde se realiza investigación y experimentación avanzada tuvo mucha influencia y se estableció a nivel mundial. Según von Humboldt, una de las características de los establecimientos científicos superiores es la de nunca considerar a la ciencia como un problema totalmente resuelto y permanecer, por lo tanto, investigando constantemente: “El trabajo del profesor requiere de la presencia y colaboración de los estudiantes, que son parte integrante de su labor de investigación y sin ellos ésta no sería igualmente satisfactoria” (von Humboldt, en Bonvecchio, 1991). Esta expresión puede considerarse el origen de las actuales escuelas de postgrado. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 26 como la universidad es capaz de adaptarse a los tiempos a través del desarrollo de nuevas y diversas funciones que están ligadas no sólo a una evolución temporal, sino también a otra serie de factores, como por ejemplo, el contexto social en el que se desenvuelve. Este dinamismo provoca que analizar la calidad de estas instituciones no sea un problema trivial. En la siguiente sección se introduce el concepto de calidad y sus diversas aproximaciones a la educación superior. 1.2.Elconceptodecalidadenlaeducación superior El concepto de calidad ha sido objeto de múltiples definiciones, y ha evolucionado con el paso del tiempo, siendo aplicado en numerosos sectores, lo que ha contribuido a una ampliación y enriquecimiento de sus acepciones iniciales. Las aproximaciones pioneras al concepto de calidad en la economía y la empresa se dieron especialmente en el campo del marketing y comenzaron a multiplicarse en la década de 1980. Trabajos como los de Crosby, (1979, 1984), Leonard y Sasser (1982), Feigenbaum (1983), Garvin (1983), Phillips et al. (1983), Rabin (1983), Takeuchi y Quelch (1983), Anderson y Zeithaml (1984), Deming (1986), Juran (1986),… muestran la relevancia que alcanzó el debate sobre la calidad en los ámbitos académicos a lo largo de esa década. Una amplia revisión de esos trabajos puede encontrarse en Saraph et al. (1989). La calidad es un constructo confuso y difícil de medir. En sus inicios a menudo se confundía con términos imprecisos, como la bondad, el lujo o la brillantez (Crosby, 1979). Para los propios demandantes o consumidores del producto o servicio tampoco resulta fácil articular un concepto para la calidad o bien determinar sus condicionantes (Takeuchi y Quelch, 1983). Los primeros investigadores Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 27 que introdujeron el concepto en la literatura del marketing y la economía se enfrentaron a la hora de explicar y valorar la calidad a importantes problemas que a menudo pasaban por alto (Monroe y Krishnan, 1985). Uno de los más relevantes de estos problemas es que trataban de definir y medir la calidad intentando captar el concepto de manera unidimensional (Jacoby et al., 1971; McConnell, 1968, Shapiro, 1973). Alcanzar una unanimidad sobre lo que refleja el concepto y el término calidad es difícil. Ross y Perry (1999) opinan que la calidad puede ser interpretada de manera diferente por diferentes personas y que pocos pueden definirla en términos mensurables que puedan ponerse en práctica. Por esta razón autores como Tünnermann (2000, 2006) acuden a la definición estricta de calidad según el Diccionario de la Lengua Española (Real Academia Española, 2001) para aproximar el concepto. El término calidad denomina la "propiedad o conjunto de propiedades inherentes a una cosa, que permiten apreciarla como igual, mejor o peor que las restantes de su especie". Este simple concepto viene caracterizado por una serie de rasgos que multiplican sus interpretaciones y dificultan la elección de una definición universal. Es preciso, por lo tanto, analizar los motivos por los que resulta tan difícil definir la calidad y el porqué de las distintas concepciones y enfoques que veremos a continuación. El concepto de calidad, según Zeithaml (1988), implica un proceso de evaluación en el que están implicados diferentes componentes, entre los que se pueden destacar los siguientes (Figura 1.1):  Valorativo – El proceso de evaluación de diversas alternativas implica asumir distintos juicios de valor y una actitud sobre cada una de esas alternativas. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 28  Comparativo – Al evaluar la calidad se establece una comparación, ya sea con relación a otras opciones o en relación con la calidad esperada.  Multidimensional – La calidad hace referencia a aquel conjunto de propiedades o atributos considerados relevantes por el individuo que la valora.  Abstracto – El análisis de la calidad supone un proceso de abstracción mediante el cual los individuos organizan, procesan y retienen la información relativa a las distintas alternativas.  Subjetivo – La evaluación de la calidad es un proceso que depende del individuo que lo realice. Se trata de un proceso en gran medida subjetivo. Figura 1.1. Componentes del concepto calidad Fuente: Adaptación de Zeithaml (1988) Garvin (1988), por su parte, recoge cinco enfoques principales para definir la calidad: trascendente, basado en el producto, basado en el usuario, basado en la fabricación y basado en el valor (Cuadro 1.2). Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 29 Cuadro 1.2. Enfoques de la calidad según Garvin Enfoque Definición Trascendente Este enfoque se basa en la idea de que la gente tiene dificultades para definir la calidad, pero es capaz de reconocerla en cuanto la ve. Basado en el producto Según este enfoque la calidad se presenta como un conjunto de características o atributos cuantificables y medibles. En esta visión la calidad se determina de forma objetiva. Aunque este enfoque tiene muchas ventajas, también posee sus limitaciones. Cuando la calidad se basa en el gusto o la preferencia individual, el punto de referencia (benchmark) para la medición puede ser artificial. Basado en el usuario Las definiciones basadas en el usuario se apoyan en la idea de que la calidad es una cuestión individual, y los productos que mejor satisfacen las preferencias de éstos son los que tienen la más alta calidad. Este enfoque racional también presenta problemas. Las preferencias de los consumidores varían ampliamente, y en muchos casos es difícil agregar estas preferencias. Basado en la producción Este enfoque está muy vinculado a los procesos de fabricación y a la ingeniería. Se corresponde con el concepto universal de "conformidad con los estándares” de manera que cualquier desviación implica una reducción en la calidad. Este enfoque puede aplicarse tanto a servicios como a productos. Con esta visión la excelencia en la calidad no está necesariamente en el ojo del consumidor, sino en los estándares establecidos. Basado en el valor Según esta visión la calidad se define en términos de costos y precios, así como de otra serie de atributos. La decisión de compra del consumidor se basa en la calidad (tal cual está definida) al precio aceptable. Fuente: elaboración propia a partir de Garvin (1988) Las diferentes visiones en el análisis de la calidad desembocan en diferentes perspectivas para su análisis. Según Gronroos (1984) y Parasuraman et al. (1985) la más importante es la que distingue entre:  calidad objetiva o real, que se centra en aspectos físicos o técnicos que pueden ser medidos y evaluados objetivamente, refiriéndose a la superioridad mensurable y verificable en relación a los estándares ideales predeterminados para el producto o servicio, y  calidad percibida, que se define como el juicio que el consumidor hace sobre la superioridad o excelencia global de un producto o servicio. Atendiendo a estas nociones se puede afirmar que mientras la calidad objetiva es una calidad de oferta, ya que se corresponde con la calidad que el oferente es capaz de dotar a su producto, la calidad percibida es una calidad de demanda, ya que es la calidad que es capaz Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 30 de observar el demandante en el output. Los primeros trabajos que en torno a la calidad se centraron en la vertiente objetiva de la misma. Sin embargo a partir de las limitaciones de este enfoque comenzó a ganar importancia el análisis sobre la percepción del servicio recibido, dado que al obviarla se estaba dejando de lado una perspectiva del análisis, la del consumidor. En la actualidad ambas acepciones cohabitan perfectamente. Las diferentes visiones y aproximaciones al concepto de calidad no han estado exentas de críticas. Según Álvarez y Lázaro (2002) el concepto de calidad se ha convertido en el refugio de lo ambiguo. La urgente necesidad social de mejora en problemas complejos y con un importante grado de abstracción han provocado que se demanden acciones que recompongan la calidad de lo que se hace. Así por ejemplo consideran que los procesos de control de la calidad se han convertido en una secuencia en donde la técnica más destacable es la pureza en la aplicación del propio proceso, en otras palabras, resulta casi más importante la calidad del propio proceso de control que el análisis de la calidad del proceso evaluado. En el marco de la educación superior las primeras aproximaciones al concepto de calidad llegaron en las últimas décadas del siglo XX. Desde entonces la noción de calidad se ha convertido en un concepto habitual en el ámbito de la universidad. De hecho, la utilización del término calidad está presente en la mayoría de los debates actuales que se desenvuelven en torno a la institución universitaria, junto con los de autonomía, rendición de cuentas, eficacia o eficiencia. Como señala Green (1994) la importancia que adquirió el término calidad en el ámbito de la educación superior provocó que sustituyera al término eficiencia como meta fundamental de las instituciones universitarias. Este cambio se debió por una parte a que comenzaba a producirse una mayor presión para la rendición de cuentas en el uso de los recursos públicos, y por otra parte a las modificaciones que se Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 31 produjeron en la estructura y en la financiación de la educación superior, orientadas a incrementar la competencia por estudiantes y recursos. Al igual que ocurre con la acepción general del término calidad, su aproximación a la educación superior constituye en palabras de Calvo (2002) un concepto difícil de definir, complejo, multidimensional y dinámico, cuyo significado no está claro y que se utiliza para referirse a aspectos muy dispares. La dificultad en la utilización de este concepto se debe por un lado, a que este concepto depende del punto de vista de los diferentes interesados o beneficiarios, y por otro, a que la preocupación por la calidad, sus prácticas o los modelos de implantación que tradicionalmente se utilizaron, tienen su origen en la empresa, y no resulta fácil su traslado a un ámbito tan distinto como el de la educación superior (Merino, 2002). En cualquier caso atendiendo a la calidad percibida una opción de delimitar lo cualitativo es la de contrastar lo producido con el grado de satisfacción de los usuarios, destinatarios o clientes hacia quienes se dirige el producto. Este tipo de procesos de evaluación de la calidad como el SERVQUAL, desarrollado por Parasuraman et al. (1988) o el que impulsa el European Foundation for Quality Management (EFQM) (Osseo-Asare y Longbottom, 2002), inter-relacionan diversas variables, entre las cuales se destaca la satisfacción, tanto la de los elaboradores del producto como la de los destinatarios del mismo. Diferentes autores se han aproximado a la calidad a través de estos y otros modelos heredados del mundo de la industria. Álvarez y Lázaro (2002) defienden que en el ámbito docente el propio proceso es la calidad, independientemente del tipo de variable que intervenga en lo educable. O expresado de otra forma, la calidad en educación se ha de valorar en función de lo que se ha de entender como educación y formación (calidad de concepción) y el ajuste de ese concepto con el proceso de logro de lo que se ha concebido (calidad de conformidad); Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 32 esto es, la acomodación entre lo que se pretende (objetivos) y el proceso para conseguirlo (intervención educativa). Esto no es más que un principio establecido por algunos sistemas de validación de la calidad educativa como las normas ISO (ISO/IEC 14143-1, 2007; Abran et al., 2003): conformidad o disconformidad entre lo expresado y lo deseado en un plan o programa, y lo realizado y lo conseguido durante el proceso, independientemente de la excelencia conseguida o el logro alcanzado. Sin embargo muchos aspectos inducen a suponer que la universidad se compone de conceptualizaciones diferentes a las de una empresa y que las nociones de calidad y los mecanismos de evaluación de la misma que son válidos en la industria pueden no ser totalmente efectivos en este ámbito. De hecho, algunas de las cuestiones más relevantes, tales como cuál es el producto, el cliente o el concepto de calidad, que ya han sido superadas en la industria, todavía no están suficientemente resueltas en el ámbito universitario. No existía entonces, y posiblemente aún no exista en la actualidad, una unanimidad en la comunidad universitaria sobre un concepto de calidad aplicable ni sobre cómo ni para qué medirla, especialmente entre los distintos tipos de implicados en el proceso. Una de las principales discusiones se centra en conocer cuál ha de ser el producto ideal de la educación superior: por ejemplo, atendiendo a la función docente, la definición de las competencias que debe tener un titulado universitario, o bien, a nivel investigador hacia donde deben dirigirse los objetivos de este tipo de tareas y sobre quien deben repercutir sus beneficios. También es relevante la forma de establecer cauces para recoger información homogénea sobre la inserción laboral y la opinión de los egresados sobre la formación recibida. Además tampoco se tiene claro cómo medir el papel que el propio alumno juega en la elaboración del producto (Barrenetxea et al., 2006). En lo que sí existe unanimidad entre los autores es en que el propio concepto de calidad en la educación superior es más difícil de definir que en la industria. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 33 Es por ello que se necesitan aproximaciones propias al concepto de calidad en un campo tan particular como es el de la educación superior. En particular Pérez y Torres (2000) plantean que la calidad en los procesos educativos puede ser interpretada de diversas formas y debe ser entendida de diferentes maneras según los contextos inmediatos (o los distintos escenarios). Posiblemente los trabajos más minuciosos sobre la calidad en la educación superior se realizaron en la última década del siglo XX. Harvey y Green plantearon cinco aproximaciones a la calidad en la educación superior (Harvey y Green, 1993; Green, 1994; Harvey, 1998). Su trabajo de 1993, "Defining Quality", es una de las primeras referencias claras dedicadas al concepto de calidad aplicado a la educación superior y abre el debate a la necesidad de diferenciar entre los distintos conceptos de calidad, con el fin de poder desarrollar métodos adecuados para su garantía y su evaluación (Green, 1994). La clasificación de Harvey y Green es un referente en la literatura posterior sobre el tema e identifica cinco enfoques de la calidad, que son los más utilizados en el ámbito de la educación superior. El cuadro 1.3 muestra la síntesis que Cardona et al. (2007) realizan de estos enfoques. Cuadro 1.3. Enfoques de la calidad en la educación superior según Harvey y Green Concepción de calidad Características Evaluación: posibilidades e inconvenientes 1. La calidad como valor económico La calidad se relaciona con la eficiencia económica, con el rendimiento de una inversión. En el centro de este enfoque está la idea de rendición de cuentas o accountability • La evaluación se basará en los indicadores de realización. • Peligro de conceder excesiva importancia a factores que se pueden medir cuantitativamente de forma sencilla. • Permite y potencia la creación de agencias de evaluación con un papel de "fiscalización". 2. La calidad como transformación La calidad radica en desarrollar las capacidades del estudiante y en posibilitarle para su propia transformación. • La evaluación debe tener en cuenta aspectos cualitativos difíciles de medir, como la atribución de poder a los estudiantes. • La evaluación se basará en la opinión del estudiante pero no sólo durante los estudios, sino también una vez incorporado al mundo laboral, a lo largo de los años. • Permite la existencia de agencias de evaluación, que facilitarían a las instituciones universitarias herramientas Fuente: Cardona et al. (2007) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 34 Cuadro 1.3. Enfoques de la calidad en la educación superior según Harvey y Green (cont.) Concepción de calidad Características Evaluación: posibilidades e inconvenientes 3. La calidad como excepcionalidad • Visión tradicional de la calidad: basada en la distinción y la exclusividad; las universidades personalizan la calidad. • Visión de la calidad ligada a la excelencia: Superación de unos estándares muy altos. Para conseguir la excelencia en los resultados se requiere lo mejor: mejores profesores, mejores alumnos, mejores infraestructuras. Este enfoque no da importancia al proceso. • Visión de la calidad consistente en el cumplimiento de unos estándares mínimos. La calidad según este enfoque es atribuida a todos los que cumplen esos estándares. Supone implícitamente que los estándares son objetivos. • No es útil para e v aluar la calidad. • Las universidades no han de demostrar la calidad. • La calidad se juzga por el nivel de los inputs. • No aporta información sobre los criterios usados para fijar los estándares. • Supone la existencia de estándares fácilmente medibles. • Permite la existencia de agencias de evaluación para valorar los inputs. • La calidad se juzga por el cumplimiento de los estándares. • No aporta información sobre los criterios usados para fijar los estándares. • Supone la existencia de estándares fácilmente medibles. • Permite la existencia de agencias de evaluación, aunque no tienen por qué ser las encargadas de establecer los estándares. 4. L a calidad como perfección o consistencia Se relaciona con la idea de cero defectos, con hacer las cosas bien la primera vez. Supone intrínsecamente la existencia de una cultura de la calidad. La universidad se compone de nódulos y es responsabilidad de cada nódulo que su output cumpla los requisitos del input del proceso siguiente. • La evaluación posible es la autoevaluación mediante el análisis de procesos. • La autoevaluación estará orientada a la mejora de los procesos. 5. La calidad como adecuación a una finalidad Se concibe la calidad como el ajuste a un propósito. En este enfoque la calidad se juzga por el output, no por el proceso. Ofrece dos alternativas: • Se define la calidad en términos de satisfacer los requisitos, necesidades o deseos del cliente. Relaciona la calidad con la funcionalidad. • La calidad se define en términos de que la institución cumpla los objetivos a que ha establecido o su misión. • La evaluación se basa en los resultados sobre los clientes. • Es necesario delimitar quién es el cliente y que éste establezca claramente sus necesidades en el largo plazo. • Es un problema como valorar los servicios intangibles. • Si se considera al estudiante como cliente, éste es parte del proceso productivo. • Sí permite la existencia de agencias de evaluación, pero cada universidad es la que mejor conoce a sus clientes. • La agencia externa podría elaborar una metodología común de recogida de datos y cada agencia interna adaptarla a sus necesidades. • La evaluación estará basada en la autoevaluación. • Permite la existencia de agencias de evaluación, pero con un papel de "auditoría". Fuente: Cardona et al. (2007) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 35 Winn (1996) y Winn y Cameron (1998), por su parte, identifican que las principales aproximaciones al concepto de calidad en la educación superior se pueden realizar en base a siete elementos:  Recursos, referida al capital humano, intelectual y a los recursos físicos y financieros que utilizan las instituciones educativas para desenvolver sus actividades y cumplir con sus funciones.  Contenidos, referida a la excelencia de la institución con relación al que aprende y lo que transmite a la sociedad o aporta a la ciencia.  Resultados, centrada en el cumplimiento de la misión y los objetivos de la institución.  Valor añadido, que contempla la calidad como el impacto educativo que la institución realiza en sus estudiantes y el profesorado.  Productividad, que define a las instituciones educativas de calidad como aquellas que son más eficientes.  Electorado, que se centra en la satisfacción de las necesidades de los usuarios de los servicios educativos (estudiantes, familias, docentes, gobiernos, comunidad, etc.).  Reputación, que persigue la consecución del prestigio de la institución educativa. En España, uno de los primeros trabajos comprehensivos que abordaba el tema de la calidad en la educación superior fue elaborado por Bricall (2000). En el así llamado Informe Bricall se señalaba que la definición de calidad había sufrido un proceso evolutivo que iba, desde la perspectiva cuantitativa que vinculaba la calidad del producto con estadísticas, hasta una vertiente que trataba de satisfacer las demandas de los usuarios. El usuario (alumno) y el productor (universidad) son vistos como piezas clave en el proceso de calidad. El primero, porque es el destinatario último del programa y es quien define en primer lugar la calidad. El segundo, porque su objetivo es satisfacer la demanda de un Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 42 de la educación y la formación y se trabaja para integrar todas las acciones (González, 2004). En la Unión Europea, la educación superior, al igual que la educación general, no es materia de una política europea común; la competencia para el contenido y la organización de los estudios se mantiene a nivel nacional. Sin embargo, en el Tratado de Amsterdam (Comunidad Europea, 1997) se establece que la Comunidad contribuirá al desarrollo de una educación de calidad mediante el impulso de la cooperación entre los estados miembros, mediante una amplia gama de acciones que impulsen la movilidad, el diseño conjunto de programas, el establecimiento de redes, el intercambio de información o el aprendizaje de lenguas de la Unión. En el año 2000 se crea, en base a recomendaciones del Consejo de Europa, la Red Europea para la Garantía de la Calidad en la Educación Superior, más conocida por sus siglas inglesas, ENQA, con el fin de difundir información, experiencias, buenas prácticas y nuevos desarrollos en el campo de la evaluación y el aseguramiento de la calidad en la educación superior (European Association for Quality Assurance in Higher Education, 2005). La ENQA está abierta a agencias de garantía de la calidad, autoridades públicas responsables para el aseguramiento de la calidad en la educación superior y asociaciones de instituciones de educación superior de la UE. En marzo de 2001, representantes de más de trescientas instituciones se reunieron en la Convención de Instituciones de Enseñanza Superior en Salamanca. La calidad estuvo muy presente en la Convención, y entre otros principios se declaró que (Declaración de Salamanca, 2001):  La calidad es la condición sine qua non para dotar al EEES de confianza, pertinencia, movilidad, compatibilidad y atractivo.  La calidad no basta con que se dé, hay que poder demostrarla y garantizarla para que la reconozcan y aprecien los Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 43 estudiantes, los responsables y toda la sociedad del país, de Europa y del mundo.  La valoración de la calidad debe tener presente la misión y los objetivos asignados a cada institución y a cada programa (calidad como adecuación a una finalidad).  La calidad requiere un equilibrio entre innovación y tradición, excelencia académica y pertinencia social y económica, coherencia de los currículos y libre elección del estudiante. En mayo de 2001, los ministros encargados de la educación superior de 33 países se reúnen en Praga, para realizar un seguimiento del Proceso de Bolonia y establecer las direcciones y prioridades para los siguientes años. De esa reunión surge el Comunicado de Praga (2001), en el que se reafirma el compromiso con los objetivos de construir el EEES para el 2010, y se establecen más acciones siguiendo los seis objetivos del proceso de Bolonia; entre ellas, la promoción de la cooperación europea en la garantía de la calidad. Los ministros animan a las universidades y a otras instituciones de educación superior a difundir ejemplos de buenas prácticas y diseñar escenarios para la mutua aceptación de mecanismos de evaluación y acreditación/certificación. En mayo de 2002, en el marco del Seminario sobre Titulaciones Conjuntas en el marco del Proceso de Bolonia se establece la conclusión de que basándose en la confianza mutua y la aceptación general de los sistemas de garantía nacionales, sería preciso desarrollar principios y estándares generales para garantizar la calidad y las acreditaciones (Cardona et al., 2007). En el año 2003, la Comisión adopta la comunicación Invertir eficazmente en educación y formación: un imperativo para Europa (Comisión Europea, 2003a). En ella la Comisión ofrece su visión y pretende iniciar un debate sobre los elementos clave de inversión en educación y formación, considerando que en los Consejos de Lisboa (2000), Estocolmo (2001) y Barcelona (2002) se confirma la importancia Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 44 de la educación y la formación para conseguir el objetivo estratégico establecido en Lisboa. En la Comunicación se establecen una serie de puntos:  En una Europa más integrada, el criterio para evaluar la calidad y la relevancia de los programas y las instituciones necesita ser compatible a nivel europeo.  Sobre el aseguramiento de la calidad, se señala que el primer imperativo para los sistemas de garantía de la calidad desarrollados a nivel nacional debiera ser propagar su relevancia y credibilidad y su compatibilidad con los usados en otros lugares de Europa. Es necesario un núcleo común de criterios de calidad a nivel europeo para asegurar su transparencia, comparabilidad y compatibilidad.  Convertir a Europa en un referente mundial para la calidad y la relevancia de sus programas educativos e instituciones requiere una mayor y mejor inversión y acciones específicas: Promoción de las instituciones y los títulos fuera, renovación curricular, establecer un marco de cualificaciones coherente y fácil de entender. En mayo de 2003 se celebra la Segunda Convención de Instituciones de Educación Superior en Graz, de la que surge el principal documento de la Asociación de Universidades Europeas (EUA): la Declaración de Graz, que supone un apoyo al proceso de Bolonia por parte de las instituciones de educación superior. Sin embargo, en el tema de la garantía de la calidad, se recoge la visión de muchas universidades europeas y se muestra una postura discordante con la defendida por algunos gobiernos y agencias de evaluación. Las universidades consideran que la evaluación y la acreditación externa es una opción válida pero no la única, y proponen el desarrollo de instrumentos alternativos. Sobre la mejora y aseguramiento de la calidad, la EUA considera que: Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 45  Los gobiernos deben otorgar poder a las instituciones y fortalecer su autonomía. Las universidades aceptan el dar cuentas y asumirán el deber de poner en práctica reformas en estrecha cooperación con los estudiantes y los agentes sociales, mejorando la calidad institucional y la capacidad de dirección estratégica. (Supone aceptar la rendición de cuentas pero partiendo del concepto de calidad como adecuación a una finalidad).  La puesta en práctica, con éxito, de las reformas, requiere liderazgo, calidad y gestión estratégica en el seno de cada institución.  Las universidades deben fomentar el liderazgo y crear una estructura de gobierno que permita a la institución crear un riguroso control de calidad interno, rendición de cuentas y transparencia. Los agentes sociales deberían formar parte de órganos de gobierno o asesoramiento.  Las universidades deben seguir de cerca y evaluar todas sus actividades, incluyendo los programas de estudio y los servicios.  Los procedimientos externos de garantía de la calidad deberían centrarse en comprobar, mediante la auditoría institucional, que el seguimiento interno ha sido correctamente realizado.  La garantía de calidad es un tema central en el Proceso de Bolonia y su importancia va en aumento. La EUA propone una política coherente de garantía de calidad para Europa, sustentada en la convicción de que la autonomía institucional crea y requiere responsabilidad, de que las universidades tienen la responsabilidad de desarrollar culturas internas de calidad y de que el progreso a nivel europeo, implicando a todos los agentes sociales, constituye un necesario próximo paso a dar. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 46  Los procedimientos de garantía de calidad para Europa deben: fomentar la calidad académica e institucional, desarrollar culturas internas de calidad, ser eficaces en relación a su coste, incluir evaluación de las agencias de garantía de la calidad, minimizar la burocracia y evitar el exceso de reglamentación.  La EUA propone que todas las partes responsables, y en particular las universidades, deberían colaborar para establecer un Comité de Calidad de la Educación Superior para Europa, que debería ser independiente, respetar la responsabilidad de las instituciones con respecto al tema de la calidad, proporcionar un foro para el debate y seguir de cerca la aplicación de un código de principios, desarrollando una verdadera dimensión europea a la garantía de la calidad El 19 de septiembre de 2003, los Ministros encargados de la educación superior de 33 países se reúnen en Berlín. En el resultante Declaración de Berlín (2003) se definen tres prioridades intermedias para los siguientes dos años, y una de ellas es la garantía de la calidad. Se remarca la necesidad de desarrollar criterios y metodologías compartidas y acuerdan que para el 2005, los sistemas nacionales de aseguramiento de la calidad incluyan: una definición de las responsabilidades de los órganos e instituciones afectadas, la evaluación de programas o instituciones incluyendo la evaluación interna, la externa y la participación de los estudiantes así como la publicación de los resultados, un sistema de acreditación, certificación o procedimientos comparables y la participación internacional, cooperación y trabajo en red. Con el principio de autonomía institucional, la principal responsabilidad para la garantía de la calidad recae en cada institución y esto ofrece las bases para una rendición de cuentas real del sistema académico. Es el primer reconocimiento oficial en el marco del proceso de Bolonia, del papel de las instituciones de educación superior en la promoción de la calidad. En la Declaración de Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 47 Berlín se invitó también a la ENQA, a desarrollar, en colaboración con otras asociaciones, un conjunto consensuado de criterios, procedimientos y directrices para la garantía de la calidad. En mayo de 2005, se celebra en Bergen la Conferencia de Ministros europeos responsables de educación superior. En el Declaración de Bergen (2005), se reconoce que los países han tomado medidas para la aplicación de un sistema de garantía de calidad basado en los criterios acordados en Berlín, pero que es necesario progresar bastante aún en lo relativo a la participación de los estudiantes y la cooperación internacional. La Conferencia de Bergen supone además un espaldarazo al papel de la ENQA, ya que se recoge en el Comunicado la adopción de los estándares y directrices para la garantía de la calidad propuestos por dicha institución (European Association for Quality Assurance in Higher Education, 2005). Así mismo, se le solicita, junto a otras asociaciones, el desarrollo de un registro europeo de agencias de calidad. La Declaración de Londres (2007) pretende responder a los retos de un mundo globalizado promoviendo la mejora de la calidad de la educación superior y de la investigación a través de la movilidad de profesores y alumnos. Destaca a su vez el desarrollo de las agencias de garantía de la calidad (agencias de acreditación y certificación, fundamentalmente) desde la anterior cumbre y solicita una abierta colaboración entre estas agencias. A su vez destaca que la principal responsabilidad en la garantía de la calidad sigue estando en las propias instituciones de educación superior. También propone el progreso de la movilidad de la comunidad universitaria entre los distintos países como elemento para incrementar la calidad de la educación superior y de la investigación. A su vez el comunicado propone desarrollar una amplia variedad de programas de doctorado, con el fin de fortalecer la capacidad investigadora y mejorar la calidad y competitividad de la educación superior en Europa. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 48 Estas ideas son retomadas en la Declaración de Leuven (2009). Se enfatiza que “los procesos de garantía de la calidad, que seguirán siendo un objetivo fundamental dentro del EEES, deben basarse en datos comparables e indicadores adecuados que permitan describir los diferentes perfiles de las instituciones de educación superior y sus programas”. Como puede apreciarse la preocupación por la garantía de la calidad dentro del Proceso de Bolonia no se ha reducido exclusivamente a la función docente de las instituciones universitarias, sino que se ha preocupado del creciente número de tareas que día a día llevan a cabo las universidades. En febrero de 2005, la ENQA hizo público los Criterios y directrices para la garantía de la calidad en el Espacio Europeo de Educación Superior, que fueron aprobados en Bergen (Cuadro 1.4). El propósito de estos criterios y directrices es ayudar a las instituciones de Educación Superior a desarrollar su propia cultura de garantía de la calidad. Desde entonces son un referente tanto para los estados miembros como para las instituciones de educación superior y las agencias de evaluación de la calidad. Si nos centramos en los sistemas internos de aseguramiento de la calidad que han de poner en marcha las instituciones de educación superior, la ENQA establece siete criterios, y para cada uno de ellos indica varias directrices para que sirvan de guía a las propias instituciones. La armonización del sistema de educación superior en Europa ha hecho necesario establecer sistemas de garantía de la calidad que puedan apoyar la legitimidad y credibilidad de este tipo de educación en Europa y en el contexto mundial. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 49 Cuadro 1.4. Criterios y directrices propuestos por la ENQA para los sistemas de calidad Criterios Directrices Política y procedimientos para la garantía de la calidad Las instituciones deben tener una política y procedimientos asociados para la garantía de la calidad y criterios sobre sus programas y títulos. Deben comprometerse con el desarrollo de una cultura de la calidad y deben desarrollar una estrategia de mejora continua de la calidad. La estrategia, política y procedimientos deben tener un rango formal y estar disponibles públicamente Una declaración de política institucional debería incluir:  La relación entre enseñanza e investigación  La estrategia institucional y los criterios de calidad  La estructura del sistema de garantía de calidad  Las responsabilidades de departamentos, centros e individuos en relación con la garantía de calidad  La participación de los estudiantes en la garantía de calidad  El modo en que dicha política se implanta, controla y revisa Aprobación, control y revisión periódica de los programas y títulos Las instituciones deben disponer de mecanismos formales para la aprobación, control y revisión periódica de sus programas y títulos. La garantía de calidad de programas y títulos debe incluir:  El desarrollo y publicación de los resultados esperados del proceso de aprendizaje.  Una atención meticulosa al diseño y contenido del plan de estudios y del programa.  Procedimientos formales de aprobación de programas por un organismo diferente del que los imparte.  Las necesidades específicas de diferentes modalidades de docencia y de tipos de educación superior.  Disponibilidad de recursos de aprendizaje apropiados.  Control del progreso y logro de los estudiantes.  Revisiones periódicas de los programas.  Retroalimentación frecuente de los agentes económicos y sociales y de los propios egresados.  Participación de los estudiantes Garantía de calidad del personal docente Las instituciones deben disponer de medios para garantizar que el profesorado está cualificado y es competente en su trabajo. Estos medios han de estar a disposición de los revisores externos.  Ha de tener un conocimiento completo de la materia, habilidades y experiencia para transmitir conocimientos y ha de tener la posibilidad de obtener una retroalimentación de su actuación.  Las instituciones han de asegurar que los procedimientos de contratación disponen de mecanismos para garantizar un nivel mínimo de competencia del profesorado nuevo.  Las instituciones han de ofrecer oportunidades a los profesores de “bajo rendimiento” para que mejoren sus habilidades. Pero si se demuestra que siguen siendo ineficaces, han de disponer de medios que permitan darles de baja. Fuente: Cardona et al. (2007) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 50 Cuadro 1.4. Criterios y directrices propuestos por la ENQA para los sistemas de calidad Evaluación de los estudiantes Los estudiantes deben ser evaluados utilizando criterios, normativas y procedimientos que se hayan publicado y que se apliquen de manera coherente. Los procedimientos de evaluación deben:  Ser diseñados para medir la consecución de los resultados del aprendizaje esperados y otros objetivos del programa.  Ser apropiados para sus fines.  Incluir criterios de calificación claros y publicados  Siempre que sea posible, no depender del juicio de un solo examinador.  Ser realizados por personas que entiendan el papel de la evaluación en la progresión de los estudiantes hacia la adquisición de conocimientos y habilidades asociados al título.  Incluir normas claras sobre circunstancias atenuantes de los estudiantes.  Tener en cuenta todas las posibles consecuencias de la normativa sobre exámenes  Asegurar que las evaluaciones se realizan de acuerdo con los procedimientos establecidos por la institución.  Poseer inspecciones administrativas de verificación para asegurar el correcto cumplimiento de los procedimientos. Recursos de aprendizaje y apoyo al estudiante Las instituciones deben garantizar que los recursos disponibles para el apoyo del aprendizaje de los estudiantes son adecuados para cada programa ofrecido.  Los recursos de aprendizaje deben ser fácilmente accesibles y estar diseñados teniendo en cuenta sus necesidades  Las instituciones deben revisar y mejorar, de manera rutinaria, la efectividad de los servicios de apoyo a los estudiantes Sistemas de información Las instituciones deben garantizar que recopilan, analizan y utilizan información pertinente para la gestión eficaz de sus programas y de otras actividades. Los sistemas de información deberán incluir:  Progresión de los estudiantes y tasas de éxito.  Empleabilidad de los egresados.  Satisfacción de los estudiantes con sus programas.  Efectividad de los profesores.  Perfil de la población de estudiantes.  Recursos de aprendizaje disponibles y sus costes.  Indicadores de actividad de la propia institución. Información pública Las instituciones deberían publicar regularmente información actualizada, imparcial y objetiva, tanto cuantitativa como cualitativa, sobre los programas y títulos que ofrecen. Las instituciones han de facilitar información sobre:  Los programas que ofrecen  Los resultados de aprendizaje esperados  Los títulos académicos que conceden  Los procedimientos de enseñanza, aprendizaje y evaluación utilizados  Las oportunidades de aprendizaje disponibles para los estudiantes Las instituciones pueden incluir información sobre:  Puntos de vista y situación laboral de los egresados  El perfil de la población actual de estudiantes Fuente: Cardona et al. (2007) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 51 La vía más importante que se ha seguido durante los últimos años para garantizar la calidad en el EEES a nivel institucional ha sido la vía de la acreditación. La acreditación pretende verificar que las instituciones o programas cumplan con los criterios establecidos, para que los estudiantes elijan instituciones reconocidas. También facilita el intercambio de estudiantes entre universidades, ya que permite el reconocimiento automático de las notas y créditos cursados. Ayuda en el planteamiento de objetivos de mejora para las debilidades de los programas e instituciones a través de la creación de estándares comunes entre instituciones; sin olvidar que involucra a las directivas y el cuerpo docente de forma racional en los procesos de planificación y evaluación (Buesa et al., 2009). El papel de la acreditación lo han desarrollado las agencias de acreditación que han de establecer unos mínimos de acción sobre una serie de objetivos. Una primera aproximación, para clarificar el rol de las agencias de acreditación sería definirlas como instituciones públicas e independientes u organismos privados que en mayor o menor medida combinan procedimientos de revisión interna con juicios externos cuyo fin es la garantía y la evaluación de la calidad. Respecto a sus características, las agencias funcionan de forma independiente, de manera que gozan de autonomía en sus políticas de actuación para las labores de la calidad y acreditación de las instituciones. Si bien es conveniente recordar que en la mayoría de los casos, las agencias son gubernamentales, por lo que la independencia a la que se hace mención se refiere a asuntos de tipo administrativo y en cuanto a las acciones de acreditación que se llevan a cabo. No obstante, muchas de las agencias dependen de los recursos estatales y gubernamentales, inclusive en muchos de los casos reciben además una financiación parcial por parte de las propias instituciones objeto de la acreditación (con el correspondiente sesgo en su independencia que esto puede provocar). Por ello nos encontramos con la dificultad de discernir entre su carácter estatal o privado, puesto que Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 58 misma idea la desarrolla Harvey (1999) al referirse al aumento de artículos publicados en revistas científicas. Este dato no recoge un incremento en el número de investigaciones ni en su calidad, sino un aumento en la tendencia a publicar varios artículos con pequeñas variaciones, sobre una misma investigación. Como se aprecia el debate sobre los sistemas de evaluación y garantía de la calidad en el ámbito de la educación superior y, en concreto, del EEES no está ni mucho menos cerrado. A pesar de que las agencias de calidad ya están inmersas en la evaluación y acreditación de títulos, docentes,… las críticas a estos sistemas siguen existiendo. 1.4.Laevaluaciónintegraldelacalidad universitaria Paralelamente a la aparición de la vía de la acreditación para certificar la calidad de la educación superior ha surgido en los últimos años una vía que pretende la evaluación integral y comparativa de la calidad de las instituciones universitarias, habitualmente en base a indicadores o rankings. Como se ha señalado, la masificación, diferenciación e internacionalización de los sistemas de educación superior ha traído consigo una creciente presión por establecer procedimientos que aseguren la calidad de las instituciones universitarias e inducir a estas a adoptar mecanismos para la mejora continua de sus ofertas para facilitar la movilidad transnacional de estudiantes. Esto ha llevado consigo la aparición y difusión de una nueva ética evaluativa presente tanto en el ámbito de las políticas públicas (por vía de la financiación) como en la cultura académica de las universidades (Neave y Van Vught, 1991). Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 59 Para proceder a la evaluación es necesario disponer de instrumentos que valoren correctamente la calidad docente, investigadora, de gestión y de proceso. La información que se ofrece habitualmente sobre diferentes aspectos de las universidades (el número de graduados, posgraduados, tesis leídas, ingresos por actividades investigadoras, grado de cumplimiento presupuestario,…) por sí sola habitualmente no es suficiente para expresar la compleja labor que desarrolla una institución universitaria. Por ello han proliferado diversas clasificaciones o rankings dirigidos a diferentes grupos de destinatarios con el fin de capturar el comportamiento parcial o global de las instituciones de educación superior. La literatura surgida en los últimos años que hace referencia a rankings o clasificación de universidades en función de diferentes criterios es especialmente relevante (Athanassopoulos y Shale, 1997; Sarrico et al., 1997; Hanke y Leopoldseder, 1998; Martínez, 2000; Provan y Abercromby, 2000; Clarke, 2002; Eccles, 2002; Jobbins, 2002; Dill y Soo, 2004; Leach, 2004; O’Leary et al., 2004; Pike, 2004). La posibilidad de contar con información que sintetice la posición relativa de unas universidades o centros universitarios frente a otros en función de diferentes criterios, por ejemplo en función de la calidad, parece tener un particular interés. Muñoz (2004) considera que, al igual que ocurre con la definición de calidad, es complicado dar una única respuesta a por qué resulta preciso evaluar de forma integral la calidad de las instituciones universitarias. En este sentido señala diversas razones  Responder a las exigencias internas del proceso evaluado.  Proporcionar elementos de juicio para la toma de decisiones.  Dar cuenta del rendimiento académico y científico de los recursos.  Facilitar la movilidad y la cooperación entre las distintas universidades. Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 60  Mejorar la gestión del gasto público a través del análisis de calidad.  Garantizar una mayor financiación a aquellas instituciones que se preocupen por la consecución de la calidad. López et al. (2008) también consideran que las razones que han llevado a considerar pertinente plantear este tipo de indicadores son varias:  En el mundo académico y global del siglo XXI orientado inexorablemente al mercado y, por lo tanto, mucho más competitivo, los indicadores universitarios son inevitables y probablemente necesarios.  El hábito en la realización de este tipo de indicadores, especialmente en el ámbito nacional, potencia la mejora de la calidad y el mejor posicionamiento en los rankings internacionales, como demuestran los países con larga tradición en su elaboración.  Los indicadores de calidad deben proporcionar una información precisa y relevante y ayudan a medir los objetivos adecuados, dado los diferentes tipos de producto que provee la educación superior.  La elaboración de indicadores para la evaluación de la calidad del sistema público universitario puede ser de utilidad en la toma de decisiones de los diferentes agentes implicados, directa o indirectamente, en el proceso de enseñanza universitaria (estudiantes y sus familias, personal docente e investigador, empresas, administraciones públicas,…). Además existen otras razones mucho más desarrolladas en países anglosajones que tienen que ver con la evaluación orientada al ranking, a la competitividad institucional o a la simple imagen. Estas razones ligadas al ámbito del marketing empiezan a cobrar especial importancia en un momento donde las cifras de estudiantes que llegan a las instituciones universitarias están cayendo. Para una universidad Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 61 excelente, no sólo es importante serlo, sino también diferenciarse de aquellas que no lo son, para que puedan apreciarlo todos los agentes interesados. Una de las grandes ventajas de este tipo de rankings radica en la comparación de entidades, programas y centros con otros de características similares o con ellos mismos a lo largo del tiempo a través del benchmarking. En general, se facilita un punto de referencia con el objetivo de mejorar la gestión, permiten identificar fortalezas y debilidades y complementan la información para los usuarios externos o para los evaluadores. Cuadro 1.6. Ejemplos de rankings universitarios en función del ámbito Internacional Nacional  ARWU  The Times Higher Education Supplement  The Guardian  Ranking web de universidades  CEST-Suiza  Ranking Iberoamericano SCIMAGO Institutions Rankings  The Philosophical Gourmet  Asia Week **  The Economist  The Financial Times  América Economía* España  Ranking I-UGR de universidades españolas por campos y disciplinas científicas (Investigación)  Fundación CyD  Ranking IAIF de calidad de las universidades  “50 carreras” Diario El Mundo  Ranking universidades españolas (Gaceta Universitaria)  Ranking COTEC (Investigación) Reino Unido  The Times  The Sunday Times  The Guardian University Guide  NUBS (Transferencia) Australia  Melbourne Institute  The Good University Guide  Hobsons Alemania  CHE-Die Zeit  B-School  Center of Excellence  Women and Science Francia  Le Nouvel Observateur  Le Point Estados Unidos  Business Week*  Gourman  The Center (Investigación)  The Wall Street Journal*  NewsWeek Internacional*  AUTM (Transferencia)  Journal of Blacks in Higher Education* (compromiso social)  New Mobility Magazine* (compromiso social) * La clasificación incluye aquellos que evalúan las escuelas de negocios y los programas MBA ** Este ranking discrimina en función del continente. Fuente: adaptado de Fundación CyD (2005) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 62 El cuadro 1.6 presenta un listado de los principales rankings de universidades que se publican o se han publicado tanto a nivel internacional como a nivel español. A continuación se presentan algunos de estos rankings o clasificaciones de universidades, que se elaboran tanto a nivel internacional como a nivel nacional. El objetivo principal es observar aquellos patrones más comunes a todos ellos y, a la vez, examinar sus posibles deficiencias. Por otra parte se pretende presentarlos bajo una misma estructura de manera que sean fácilmente comparables entre ellos. Para ello resulta útil analizar las categorías que los caracterizan de forma similar a la propuesta por Buesa et al. (2009). El cuadro 1.7 presenta la descripción de estas categorías: Cuadro 1.7. Categorías para la clasificación de los rankings Categoría Descripción Tipo de clasificación  Ranking unificado: en este tipo de ranking se evalúa la calidad global de una institución dada (el más frecuente).  Ranking basado en disciplinas, programas de estudio o áreas de conocimiento: ofrece información de las instituciones en función de campos especializados. Frecuencia En función del período de tiempo en el que se publica:  Anual  Bienal  Trienal  Intervalos irregulares Procedencia de datos  Datos existentes: proporcionados por la institución, bases de datos, registro de resultados,…  Datos propios: Recolección de datos originales por vía de encuestas a alumnos, personal académico, investigadores,… Descripción Análisis descriptivo del estudio donde se recogen sus principales características y cualquier dato de interés reseñable, así como cualquier peculiaridad que pueda contener ranking. Estructura  Ranking numérico: las universidades son clasificadas ordinalmente.  Por agrupación o clusters: las universidades se presentan agrupadas en cuartiles o en niveles (alto-medio-bajo),..  Ranking de alto nivel (top level): es un ranking numérico, pero que presenta sólo un número fijo de Universidades que ocupan los primeros puestos. Metodología Explica cómo se ha realizado la clasificación así como los cálculos, indicadores y peso de los mismos, que han sido empleados. Página web Lugar de la red donde se puede consultar la clasificación correspondiente. Fuente: elaboración propia a partir de Buesa et al. (2009) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 63 Una vez presentadas las categorías que nos permiten caracteriza a los diferentes rankings de instituciones de educación superior, a continuación se presentan algunos de los más relevantes divididos por ámbito territorial: internacionales y nacionales. En el caso de los internacionales se muestran aquellos que consideran en su clasificación a universidades españolas. 1.4.1.Rankingsinternacionales A.TheTimes(HigherEducationSupplement) Cuadro 1.8. Ranking The Times (Higher Education Supplement) Tipo de ranking Combinación de sistema unificado y basado en disciplinas. Frecuencia Anual Procedencia de datos Datos propios y datos existentes Descripción Introduce indicadores y correcciones que pretenden mejorar el ranking ARWU y contiene una clasificación según distintas disciplinas. El ranking es publicado por The Financial Times, Times Higher Education Supplement, The Times y The Sunday Times. El ranking es el mismo en las distintas publicaciones con la diferencia en el mayor o menor análisis en una determinada parte del mismo, en función de los intereses de cada publicación y dependiendo del público hacia el que va dirigido. Estructura Combinación de sistema numérico y de alto nivel (200 mejores universidades del mundo) Metodología El 50% de la puntuación total se deriva de una encuesta realizada a 1.300 académicos de 88 países de todos los continentes, en la que se evalúa su juicio acerca de las mejores universidades en aquellas áreas y disciplinas en que ellos se consideran competentes. Además de estos datos recogidos específicamente para la elaboración de este ranking, se usaron otros indicadores basados en datos ya existentes recolectados en otras fuentes externas. En total usa los cinco indicadores que aparecen a continuación:  Juicio de expertos (50%).  Investigadores más citados en ISI: Número de citas en el Essential Science Indicators producidas por los miembros de las facultades (20%).  Ratio profesores-estudiantes (20%).  Alumnos internacionales (5%).  Personal académico internacional (5%) Página web http://www.timeshighereducation.co.uk/world-universityrankings/ Fuente: adaptado de Buesa et al. (2009) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 64 B.AcademicRankingofWorldUniversities(ARWU) Cuadro 1.9. Academic Ranking of World Universities (ARWU) Tipo de ranking Unificado Frecuencia Anual. Desde el año 2003 Procedencia de datos Datos existentes Descripción Elaborado por la Shanghai Jiao Tong University. Presenta clasificaciones según áreas geográficas (100 mejores Universidades de Norte América y Latinoamérica, 100 mejores Universidades de Europa, 100 mejores universidades de Asia). Este ranking es el resultado de un detallado estudio de más de 2000 Universidades del mundo, aunque finalmente presenta una clasificación con las quinientas mejores universidades de acuerdo a los siguientes criterios que, cómo se verá, están basados casi de forma exclusiva en la producción científica. Estructura Combinación de sistema numérico y de alto nivel (500 mejores universidades del mundo) Metodología Los indicadores que incluye son (entre paréntesis el peso de cada indicador en el valor del ranking):  Número de alumnos que han ganado el Premio Nobel y Medallas Académicas (Fields Medals) (10%).  Número de miembros de la plantilla del cuerpo docente e investigador que han ganado el Premio Nobel y Medallas Académicas (20%).  Número de investigadores más citados dentro de su campo de especialización (se tomaron en cuenta 21 categorías) (20%).  Número de artículos publicados en las revistas Science y Nature entre 1999 y 2003 (20%).  Calidad de los artículos: Número de artículos en ISI (Institute for Scientific Information) (20%)  Tamaño de la institución: Para ponderar el tamaño de las instituciones, la puntuación resultante de los cinco indicadores anteriores es dividida por el número de miembros académicos a tiempo completo que trabajan en la institución (10%). Además para cada indicador, la universidad que obtiene una mayor puntuación se le asigna una puntuación de 100 y el resto son calculadas como un porcentaje de la máxima puntuación. Se usan técnicas estadísticas para ajustar los indicadores si es necesario. Las puntuaciones en cada indicador son pesadas de acuerdo a los porcentajes indicados arriba para alcanzar una puntuación final. A la universidad que mayor puntuación global obtiene se le asigna el valor de 100 y esa universidad sirve de criterio para medir a las demás, cuyas puntuaciones son calculadas como un porcentaje de la máxima puntuación. Página web www.shanghairanking.com www.arwu.org Fuente: adaptado de Buesa et al. (2009) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 65 C.RankingWebdeUniversidades Cuadro 1.10. Ranking Web de Universidades Tipo de ranking Unificado Frecuencia Fue lanzado oficialmente en el año 2004, y es actualizado cada 6 meses. Los datos son recolectados durante los meses de Enero y Junio y publicados un mes más tarde. Procedencia de datos Datos existentes (registros y motores de búsqueda) Descripción Elaborado por el Laboratorio de Cibermetría del CSIC. El objetivo actual del Ranking de Universidades es el de promover la publicación en la web por las universidades, evaluando el compromiso de las mismas para con la distribución electrónica. Se proporciona un ranking principal que agrupa las 4000 primeras instituciones a nivel mundial (Top 4000) que también se muestran otros rankings regionales, o por países, con propósitos comparativos. Estructura Numérico Metodología Los indicadores que considera son:  Presencia (P).[20%]: Número de páginas obtenidas a partir del principal motor de búsqueda: Google. Para cada motor, los resultados se normalizan logarítmicamente a 1 para el valor más alto. Después, para cada dominio los resultados máximo y mínimo son excluidos y a cada institución se le asigna un rango de acuerdo a la suma combinada de los restantes valores obtenidos.  Impacto (I) [50%]: El número total de enlaces externos recibidos por un sitio. Los datos de visibilidad (enlaces y dominios enlazantes) se obtienen de los dos proveedores más importantes de esta información: Majestic SEO y ahrefs.  Apertura (A) [15%]: Recoge el esfuerzo global para crear repositorios institucionales de investigación, que tiene en cuenta el número total de ficheros ricos (pdf, doc, docx, ppt), publicado en sitios web tal como se recogen en el motor de búsqueda Google Académico. Solo se incluyen las publicaciones recientes.  Excelencia (E).[15%]: Se consideran los artículos comprendidos entre el 10% más citados de sus respectivas disciplinas científicas. Aunque ésta es una medida de la producción de alta calidad de las instituciones de investigación, el proveedor de datos (Grupo SCImago) suministra valores para más de 5200 universidades. Los cuatro valores ordinales se combinan para producir el indicador final. Página web www.webometrics.info/es Fuente: adaptado de Buesa et al. (2009) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 66 D.RankingIberoamericanoSCIMAGOInstitutionsRankings Cuadro 1.11. Ranking Iberoamericano SCIMAGO Institutions Rankings Tipo de ranking Ranking unificado que incluye también la información de las instituciones en función de disciplinas. Frecuencia Anual Procedencia de datos Datos existentes Descripción Parte del proyecto I+D “Atlas de la Ciencia” elaborado por el grupo Scimago El Ranking Iberoamericano SIR 2012 muestra un perfil detallado de la actividad investigadora de las Instituciones de Educación Superior basándose en datos cuantitativos de publicación y citación. Para su elaboración se ha analizado toda la producción científica presente en la base de datos Scopus, elaborada por Elsevier, en el periodo 2006-2010 y se ha asociado cada publicación y cada cita encontrada a la institución o instituciones correspondientes. El estudio permite el análisis de la producción científica desde diferentes puntos de vista: por países, por regiones o globalmente; por campos del conocimiento o por tipos de indicador científico. Estructura Numérico Metodología En la edición del 2012, el ranking muestra cinco indicadores:  Producción científica: Producción científica de la institución medida en número de publicaciones en revistas científicas.  Ratio de colaboración internacional: Ratio de publicaciones científicas de una institución que han sido elaboradas conjuntamente con instituciones de otros países.  Calidad científica promedio de cada institución: Impacto científico de una institución después de eliminar la influencia del tamaño y el perfil temático de la institución.  Proporción de artículos publicados en revistas de prestigio: porcentaje de publicaciones que una institución ha publicado en revistas incluidas en el primer cuartil (25%).  Ratio de excelencia investigadora (porcentaje del output de una institución que se encuentra incluido en el 10% de los trabajos más citados del mundo en sus respectivos campos científicos.) Página web http://www.scimagoir.com/index.php http://www.scimagoir.com/pdf/ranking_iberoamericano_2012.pdf Fuente: elaboración propia Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 67 E.CEST‐Suiza Cuadro 1.12. Ranking CEST-Suiza Tipo de ranking Basado en disciplinas Frecuencia Intervalos de cuatro años (1994-1998; 1998-2002,…) Procedencia de datos Datos existentes Descripción Este ranking se basa exclusivamente en el número de publicaciones realizadas en el periodo de análisis de instituciones de investigación pertenecientes a la «International Champions League of Research Institutions». Es elaborado por el Centro De Estudios De Ciencia Y Tecnología, CEST. En el documento de trabajo no se establece un orden clasificatorio único, sino un exhaustivo y complejo análisis por disciplinas, lo que dificulta extraer una única lista. Estructura Por agrupación Metodología El criterio usado para incluir una institución en esta Liga Internacional, es que tengan al menos una «subdisciplina cualificada», las cuales se definen a su vez por dos criterios: a. tener al menos 50 publicaciones en el periodo de cinco años b. alcanzar un impacto de al menos 120 durante este periodo. Se incluyen indicadores relativos a la subdisciplina y a la institución. Los indicadores relativos a la subdisciplina son:  Número de artículos en ISI  Impacto ponderado de las publicaciones  Actividad de Publicación  Porcentaje de Publicación Mundial Los indicadores relativos a la institución son:  Grado de especialización de las publicaciones  Publicaciones totales Se proponen diferentes estadísticos y cálculos de corrección para calcular la puntuación total obtenida por las instituciones en las diferentes subdisciplinas. El peso de cada indicador se establece mediante cálculos bibliométricos. Página web http://adminsrv3.admin.ch/cest/en/aktuell.htm Fuente: adaptado de Buesa et al. (2009) Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 74 A la hora de evaluar la calidad no hay que perder de vista que las universidades ya han empezado a competir con el fin de captar a los estudiantes. La comercialización de la educación superior se ha consolidado en varios países (Williams, 1997; Mok y Lo 2002), y en épocas recientes se empieza a trasladar al ámbito español. Es por ello que la posición de las diferentes universidades españolas dentro de este marco competitivo debe tenerse en cuenta a la hora de enfrentarse a una evaluación integral de la calidad. Además dado que las instituciones de educación superior desarrollan una variedad de actividades y objetivos específicos, la evaluación debe ser abordada desde una perspectiva multidimensional. En este sentido, al construir un mecanismo de evaluación de la calidad es esencial poder identificar las principales áreas de acción de la universidad e implementar una amplia gama de indicadores sencillos que cubran todo el campo de actividad de una institución de educación superior. En esta coyuntura y a pesar de las similitudes que existen entre los sistemas universitarios de diferentes países, deben destacarse las particularidades propias de cada sistema universitario. Además como se indicó en la primera sección de este capítulo las funciones de las instituciones universitarias son dinámicas y las dimensiones o indicadores válidos en un contexto pueden no serlo en otro momento o espacio diferente. Al mismo tiempo es importante señalar que el buen desempeño de las universidades en una sola de sus funciones no puede garantizar la calidad global de la institución. Por otra parte esto no implica que todas las funciones que se desarrollen tengan la misma importancia. Habitualmente los expertos y los gestores priorizan la docencia y la investigación dentro de la educación superior. Pero esto no quiere decir que los perfiles estratégicos de las universidades frente a estas y/u otras funciones deban ser idénticos, ni siquiera dentro de un mismo sistema universitario. En otras palabras, la evaluación de la calidad de Capítulo 1. La evaluación de la calidad en el ámbito de la educación superior La calidad en la educación superior a través de indicadores sintéticos 75 las universidades debe permitir que diferentes instituciones adopten diferentes estrategias buscando el aprovechamiento de ciertas ventajas competitivas generadas y consolidadas a lo largo del tiempo. Por esta razón cada institución presentará sus propias particularidades y una idiosincrasia y sistema de valores ligeramente diversos. Esta diversidad debe ser tenida en cuenta a la hora de evaluar comparativamente la calidad de las instituciones con el fin de evitar injusticias y juicios simplistas. Si así fuera la asignación de ponderaciones comunes entre las dimensiones o indicadores no sería pertinente en este caso. Éste es un problema que presentan todos los rankings aquí presentados y que, por lo tanto, debe superarse. Como se puede apreciar la evaluación integral de un concepto multidimensional como la calidad en el mundo universitario puede resultar compleja. Por una parte son necesarias herramientas que permitan un análisis multidimensional que resuma la diversidad de productos o logros de cada institución y por otra parte es preciso respetar las estrategias propias de cada universidad en la búsqueda de una imagen o reputación. El siguiente capítulo servirá para introducir una herramienta que cumple la primera de estas condiciones y se adapta perfectamente al ámbito del análisis multidimensional y por lo tanto es útil para el objetivo de esta memoria de poder afrontar una evaluación integral de la calidad de las universidades españolas. Además bajo ciertas condiciones, que se revelarán en el siguiente capítulo, permite respetar las peculiaridades propias de cada una de las instituciones que se analizan.  Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 77      Capítulo2.Delanociónalindicador sintético:cómomedirlasideas En el primer capítulo de esta memoria de tesis se ha planteado la necesidad de una herramienta multidimensional que permita el análisis de la calidad de las universidades a través de las diferentes funciones que realizan. En este contexto los indicadores sintéticos se presentan como una herramienta útil para este tipo de evaluaciones. La elaboración de indicadores sintéticos, a pesar de su reciente expansión, es un proceso delicado. En primer lugar porque la mayoría de estos indicadores se basan en conceptos y nociones abstractos que no son fácilmente mensurables y en segundo lugar porque durante el proceso de elaboración de los mismos han de adoptarse diferentes decisiones metodológicas, que si no basan en un marco sólido pueden conducir a resultados erróneos. En el presente capítulo se pretende abordar todo este proceso de elaboración del indicador sintético. En primer lugar se presenta el desarrollo del proceso de operacionalización que nos permitirá trasladar una noción, abstracta como la calidad en el caso que nos ocupa, a un indicador cuantitativo que refleje esa realidad. A continuación se abordará el proceso que nos permitirá construir este tipo de indicadores. Para ello se definirán cada una de las etapas o fases que Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 78 deberían afrontarse en su construcción así como las técnicas más empleadas en la literatura en cada una de estas fases. 2.1.Elprocesodeoperacionalización En el capítulo anterior se ha presentado la noción de calidad, sobre la cual gira esta tesis doctoral. Una noción se define como un conjunto de imágenes no sistematizadas cuya conceptualización implica una definición más rigurosa (Boudon y Lazarsfeld, 1973:14). Las nociones se caracterizan por representar constructos abstractos y de ellas se derivan conceptos, cuyo grado de abstracción varía de unos a otros. Las ciencias sociales trabajan fundamentalmente con nociones y conceptos de un elevado grado de abstracción, que no pueden ser directamente observados, de los cuales todos tenemos una idea, pero que aún así resultan difícilmente definibles. Éste es el caso de la calidad, el bienestar, la sostenibilidad o la solidaridad. Ahora bien, si resulta difícil definirlos, aún resulta más difícil medirlos, fundamentalmente porque suelen encerrar un importante componente subjetivo. La tarea fundamental de un investigador social consiste precisamente en transformar estas nociones en conceptos y éstos a su vez en características observables, en variables que por lo tanto pueden ser medidas (Miguel, 1967). El objetivo de este segundo capítulo consiste en describir de manera exhaustiva el proceso que permite cuantificar nociones abstractas y no directamente observables, como la calidad universitaria. El proceso que permite transformar conceptos y nociones en operaciones de investigación definidas se conoce como proceso de operacionalización (Boudon y Lazarsfeld, 1973:13). Miguel (1967) lo define como el procedimiento que “transcribe una imagen general a lenguaje científico”. Sierra (1989) habla de la sustitución de unas variables por otras más concretas. El procedimiento clásico para la Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 79 operacionalización de nociones es el descrito por Lazarsfeld (1973) que distingue 4 fases bien diferenciadas: 1. En la primera fase, el investigador parte de una noción, una construcción abstracta o conjunto de imágenes e intenta precisar en la medida de lo posible sus rasgos definitorios. Lazarsfeld se refiere a esta etapa como la “representación literaria del concepto” (1973: 36) 2. En un segundo momento, el investigador debe deducir los “distintos aspectos en que puede ser considerado un concepto” (González; 1994: 282). Se trata de las “componentes” o “dimensiones” del concepto. Ésta es la fase que Lazarsfeld denomina de “especificación del concepto”. Este mismo autor señala que un concepto se corresponde generalmente con un conjunto complejo de fenómenos, por lo que la mayoría de los conceptos son multidimensionales. Di Filippo y Mathey (2008) señalan que los conceptos complejos están formados por tantos aspectos que el investigador debe conformarse con identificar los más importantes. Para la deducción de las componentes se puede seguir una perspectiva analítica, a partir de los rasgos definitorios del concepto, o empírica, a partir de las correlaciones entre ellas (Lazarsfeld, 1973). 3. En la fase siguiente, el investigador da un paso más hacia la concreción e intenta aproximar las dimensiones a través de una o varias variables empíricas. Estas variables se denominan indicadores porque señalan la mayor o menor intensidad que alcanza la dimensión en las unidades investigadas. Sierra (1989: 112) define indicador como un “indicio de otra variable más general” cuya existencia permite inferir la concurrencia de dicha variable abstracta. Rodríguez (2002: 155) lo define como la “medición operativa de las dimensiones de un concepto dado”, mientras que Zarzosa (1996) lo entiende como la expresión matemática que da una Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 80 medida del estado en que se encuentra una componente en relación con un objetivo perseguido. Nowak (1977) habla de un fenómeno de cuya ocurrencia se puede concluir, con más o menos probabilidad, que el fenómeno que nos interesa ha tenido lugar. La definición de Nowak introduce un matiz importante: el indicador y el concepto original sólo se corresponden parcialmente, ya que el primero representa sólo una aproximación del segundo en términos de probabilidad (Cea, 1999). La bondad de esta tercera fase, y de todo el proceso de medición, depende en gran medida de que los indicadores seleccionados para aproximar las dimensiones cumplan una serie de propiedades deseables. Autores y organismos internacionales como la ONU o la UNESCO proporcionan una lista de propiedades o criterios a seguir en la elección de indicadores (Organización de las Naciones Unidas, 1975; Organización para la Cooperación y el Desarrollo Económico, 1976; UNESCO, 1976; Instituto Nacional de Estadística, 1986; García, 1989, Zarzosa 1996; Rodríguez, 2002;…). La mayoría de las listas coinciden en señalar 3 propiedades fundamentales: a. La validez; un indicador se considera válido si ofrece una buena representación del concepto, es decir, si mide lo que se pretendía medir (Cea, 1999) b. La fiabilidad; un indicador es fiable si expresa la estabilidad de una definición operativa (González, 1997), es decir, si ofrece las misma respuesta ante observaciones repetidas del mismo observador. c. La objetividad; un indicador es objetivo si ofrece la misma respuesta independientemente del sujeto que lo observe (Galtung, 1966) Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 81 El resultado de esta etapa es una batería de indicadores que miden las dimensiones del concepto de partida y que suelen denominarse indicadores simples, indicadores parciales o subindicadores. 4. En la última etapa del proceso de operacionalización, el investigador construye una medida única a partir de los indicadores parciales de la etapa anterior. Aunque en la investigación social se puede optar por describir un concepto a través de un conjunto de indicadores parciales, el proceso de operacionalización con frecuencia culmina en la construcción de una medida única (Díez, 1967), que se denomina indicador sintético, indicador compuesto o índice. Esto ocurre por dos razones fundamentales. En primer lugar sólo de esta forma se realiza una operacionalización propiamente dicha del concepto (Miguel y Guzmán-Sevilla, 1973), de tal manera que “un concepto único pueda ser medido por una variable única” (Rodríguez, 2002: 157). Por otra parte, no tiene por qué ocurrir que todas las dimensiones o los indicadores parciales tengan la misma importancia en la definición del concepto por lo que puede resultar necesario ponderarlos. Díez (1967: 195) define un indicador sintético como “un número estadístico que intenta resumir la información proporcionada por uno o más indicadores de un concepto”. Zarzosa (1996: 66-68) habla de “una función matemática de los indicadores parciales que cumple un conjunto de condiciones necesarias para dar una buena medida del objetivo buscado”, entre las que se encuentran la existencia, la determinación, la monotonía, la unicidad o la transitividad. Cea (1999:139) los define como una cifra “resumen” que resulta de la combinación ponderada de diversos indicadores de un concepto. La Comisión Europea refleja perfectamente la problemática de esta última fase del proceso de operacionalización cuando dice que “los indicadores sintéticos se basan en indicadores parciales que no tienen una unidad Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 82 común de medida y que no tienen una forma obvia de ponderarlos”4. El cuadro 2.1 presenta una serie de definiciones sobre conceptos relevantes en el ámbito de los indicadores sintéticos que se utilizarán a lo largo de este capítulo. Cuadro 2.1. Conceptos relevantes en el ámbito de los indicadores sintéticos Fuente: elaboración propia La figura 2.1 resume el proceso que acabamos de describir y que permite llegar desde una noción a un índice cuantitativo: dado un conjunto de indicadores parciales válidos, fiables y objetivos, la bondad del proceso operativo dependerá de los procedimientos de normalización, ponderación y agregación de los mismos.  4 Definición que aparece en la “Note on composite indicators” presentada en el Interservice Consultation Meeting of the European Commision en Bruselas el 14 de Marzo del 2000 Indicador: es una unidad de información que resume las características de un sistema o de un fenómeno y que destaca un aspecto de lo que ocurre en ese sistema. Variable: es una medida construida como resultado del proceso que representa, en un punto dado en el espacio y el tiempo. Objetivo: indica la dirección deseada del cambio. Dimensión o componente: es el nivel jerárquico más alto en el análisis e indica el alcance de los objetivos, los indicadores individuales y las variables. Indicador parcial, indicador simple o subindicador: es una medida cuantitativa o cualitativa, formada por una o más variables, que se deriva de una serie de hechos observados que pueden revelar posiciones relativas en una dimensión o un área determinada Indicador sintético, índice sintético o indicador compuesto: es una representación simplificada que busca resumir un concepto multidimensional en una medida unidimensional con base en un modelo conceptual subyacente. Se construye como una combinación matemática de un conjunto de indicadores parciales. Según la Comisión Europea “se basan en subindicadores que no tienen una unidad común de medida y que no tienen una forma obvia de ponderarlos”. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 83 Figura 2.1. De la noción al índice Fuente: elaboración propia a partir de Rodríguez (2002) 2.2.Indicadoressintéticos.Ventajase inconvenientes En el apartado anterior se ha descrito el proceso de operacionalización de una noción abstracta como puede ser la de calidad. El proceso descrito por Lazarsfeld (1973) culminaba en la determinación de una medida unidimensional para aproximar una realidad inalcanzable y multidimensional. Sin embargo, no todos los científicos sociales son partidarios de esta posición y algunos optan por no agregar los indicadores parciales en una medida sintética y analizar la noción teórica a partir de una batería de indicadores simples (Henderson, 1974). Sharpe (2004: 9) habla de hecho de una división en la comunidad científica entre “agregacionistas” y “no agregacionistas”. Los primeros consideran que los indicadores sintéticos proporcionan una herramienta importante a los gestores cuya principal ventaja es la facilidad de comunicación. Los segundos sin embargo opinan que el Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 90 para la elaboración del marco teórico se necesita un conocimiento y una definición de lo que va a ser medido. Nardo et al. (2008) indican que quizá en este paso deba tenerse en cuenta la participación de expertos y de los partes involucradas y que una adecuada elaboración del marco teórico es necesaria, entre otros motivos para:  obtener una clara comprensión y definición del fenómeno multidimensional que debe medirse,  conocer la estructura de los diversos subgrupos del fenómeno (en caso de que sea necesario), y  recopilar una lista de criterios para selección de las variables subyacentes. A través de este proceso se establece la base teórica que permita combinar los indicadores parciales en un índice sintético significativo, así como proporcionar las bases para la selección de componentes y el esquema de ponderaciones del indicador. Idealmente, este marco permitirá que las variables se seleccionen, se combinen y se ponderen de una forma que recoja la dimensión y la estructura del fenómeno que estamos midiendo. Las variables seleccionadas deberían contener información relevante sobre el fenómeno a medir y estar basadas en un paradigma cercano al comportamiento que va a ser analizado. Es este marco teórico, por lo tanto, el que indica qué componentes incluir y como ponderarlas para reflejar su importancia relativa en el índice compuesto global. La robustez de un indicador compuesto, así como la solidez de los mensajes que transmite no sólo dependen de la metodología utilizada en su construcción, sino en gran medida de la calidad del marco teórico utilizado. Un índice compuesto basado en una base teórica débil o poco robusta puede llevar a mensajes discutibles, a pesar de una utilización correcta de la metodología en su construcción. En esta sección poco aportaremos acerca de los marcos teóricos específicos y determinados Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 91 en cada caso: el foro legítimo en última instancia para juzgar la solidez del marco teórico debería ser la propia comunidad científica en la que se encuentre el indicador. Por otra parte cualquiera que sea el marco en que se encuadre, la transparencia debe ser el principio rector de todo el proceso. Este proceso debería basarse idealmente en lo que es deseable medir y no en la disponibilidad de indicadores. Sin embargo no todos los conceptos multidimensionales tienen fundamentos teóricos y empíricos sólidos. Los indicadores compuestos de reciente aparición en diversos ámbitos, por ejemplo, la competitividad, el desarrollo sostenible,… pueden ser muy subjetivos, puesto que la investigación económica en estos sectores está todavía en desarrollo. Por este motivo la transparencia es esencial en la construcción de indicadores fiables. Esto implica:  Definir el concepto que se pretende medir. La definición debe dar al lector una idea clara de lo que está siendo medido por el indicador compuesto. Se debe hacer referencia a la base teórica sobre la que se fundamentan las dimensiones y los indicadores subyacentes.  Determinación de dimensiones o componentes. Los conceptos multidimensionales se pueden dividir en varias dimensiones o componentes. Estas dimensiones no tienen por qué ser necesariamente independientes entre sí estadísticamente. Sin embargo en este caso podrían no estar midiendo el mismo fenómeno y, por lo tanto, podrían no ser susceptibles de integrarse en un índice sintético. En todo caso los vínculos existentes deben ser descritos tanto teórica como empíricamente en la mayor medida posible. Esta estructura anidada mejora la comprensión para el usuario de las fuerzas que impulsan la elaboración del indicador compuesto. Este proceso también puede facilitar el trabajo de pasos posteriores como la determinación del peso relativo de los diferentes Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 92 factores. En este paso, así como en el siguiente, deberían participar expertos y partes involucradas en la medida de lo posible, a fin de tener en cuenta diferentes puntos de vista y para incrementar la solidez del marco conceptual y del conjunto de indicadores.  Identificación de los criterios de selección de los indicadores subyacentes. Los criterios de selección de los indicadores deben ser una guía para conocer si un indicador debe incluirse o no en el índice compuesto. Estos criterios deben ser lo más precisos posibles y deben describir el fenómeno que se mide. Con demasiada frecuencia, los indicadores sintéticos incluyen tanto medidas de entrada como de salida. Sin embargo si el índice tiene por objeto medir resultados sólo debería incluirse el último conjunto de indicadores (o como mínimo expresarse en términos de outputs por unidad de input). En cualquier caso el marco teórico es un elemento básico en la construcción de indicadores sintéticos, pero a la vez es un elemento muy particular de cada indicador y su elaboración debe realizarse de acuerdo a la teoría y a los paradigmas de las realidades analizadas en cada caso. 2.3.1.2.Seleccióndelosindicadoresparciales Una vez establecido el marco teórico y las componentes o dimensiones que representan el fenómeno que pretendemos evaluar a través del índice sintético el siguiente paso es la selección de los indicadores parciales que representan cada una de esos componentes o dimensiones. Este paso es necesario, entre otros motivos, para:  comprobar la calidad de los indicadores disponibles, Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 93  analizar las fortalezas y debilidades de cada indicador seleccionado, y  crear una tabla resumen de las características de los datos, por ejemplo, disponibilidad, fuente, tipo,… con objeto de tener una base de datos completa para poder elaborar el índice sintético. Este paso debe basarse en la solidez analítica, en la mensurabilidad, la cobertura de las unidades consideradas, la pertinencia de los indicadores con el fenómeno que se está midiendo y la relación entre ellos. De igual modo debe considerarse el uso de variables proxy cuando los datos sean escasos. En algunos casos, también se podría incluir la participación de expertos y de las partes interesadas en este paso. Las fortalezas y las debilidades de un indicador sintético se derivan en gran parte de la calidad de los indicadores subyacentes. La selección de indicadores parciales implica identificar y calcular las variables relevantes, si bien no existe una manera totalmente objetiva de seleccionar estos indicadores. Idealmente, las variables deberían seleccionarse en base a su relevancia, validez analítica, accesibilidad,…6 Por su naturaleza los indicadores sintéticos pueden ocultar más problemas de datos que los que presentan los resultados estadísticos aparentemente. Mientras que indicadores parciales de baja calidad sólo pueden producir débiles indicadores sintéticos, indicadores simples de alta calidad pueden producir indicadores sintéticos tanto fuertes como débiles en función de otros factores. El mayor problema en la construcción de un indicador sintético es la carencia de datos relevantes. De este modo podemos encontrarnos con que los datos estadísticos no estén disponibles porque un determinado comportamiento no es mensurable o porque no ha habido intentos por medirlo, que los datos disponibles no sean comparables  6 Una revisión más detallada de las dimensiones de calidad de los indicadores puede encontrarse en Nardo et al. (2008). Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 94 entre las distintas unidades que se comparan o que existan sólo para algunas de ellas, o bien que los indicadores sean medidas poco fiables del comportamiento que se pretende analizar o no representen los conceptos analíticos. La construcción de los indicadores sintéticos generalmente involucra trade-offs entre una amplia cobertura de las unidades analizadas y una baja calidad de los datos. Debido a los costes y al tiempo necesario para desarrollar indicadores, los índices sintéticos frecuentemente confían en fuentes de datos de menor calidad que la deseada, midiendo sólo los aspectos más obvios y fácilmente accesibles. Si bien la elección de indicadores debe guiarse en base al marco teórico, el proceso de selección de datos puede ser muy subjetivo, dado que puede haber más de un conjunto de indicadores adecuados para un propósito dado. De este modo distintos indicadores que aporten resultados distintos podrían ser susceptibles de ser elegidos para controlar progresos en un mismo campo. La falta de datos relevantes también puede limitar la capacidad a la hora de crear indicadores compuestos sólidos. A pesar de los avances a la hora de crear bases de datos estadísticas a diferentes niveles (internacional, nacional, regional,…), todavía existe una escasez de datos cuantitativos comparables, especialmente en algunos campos. Esto lleva a que, en algunos casos, los indicadores compuestos acaben incluyendo datos cualitativos de menor calidad que podrían ser otra fuente de error para los índices. En los casos en que no estén disponibles los datos deseados, o bien cuando la comparabilidad de las distintas unidades sea limitada pueden utilizarse variables proxy. Por ejemplo, podrían no estar disponibles los datos sobre el número de empleados que utilizan ordenadores y en cambio sí estarlo el número de empleados que tienen acceso a ordenadores, en cuyo caso esta última podría utilizarse como una proxy. De todos modos deben tomarse precauciones con la utilización de este tipo de indicadores. En la medida en que los datos lo Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 95 permitan, se debe comprobar a través de la correlación y el análisis de sensibilidad la precisión de las variables proxy. Al construir un índice sintético también debe prestarse mucha atención a si los indicadores simples están afectados por el tamaño o por otros factores relacionados. Una comparación de una unidad pequeña y una grande, tratadas igualmente, puede ser engañosa considerando su tamaño relativo. Por ello las variables dentro de un indicador sintético pueden desvirtuar los resultados si no se relativizan a factores relacionados con el tamaño. Para tener una comparación objetiva entre unidades de distinto tamaño es importante relativizar las variables por una medida de tamaño apropiado en función del fenómeno que se esté midiendo. Además el tipo de variables seleccionadas debe encajar, obviamente, con la definición del indicador compuesto deseado. Por otra parte la calidad y la precisión de los indicadores compuestos debería ser algo dinámico que evolucione en paralelo con las mejoras en la recopilación de los datos precisos en su construcción y en la elaboración de los indicadores parciales. La tendencia actual hacia la construcción de índices sintéticos en diversos ámbitos puede dar un nuevo impulso a la mejora de las bases de datos existentes, la identificación de nuevas fuentes de datos y a la mejora de la comparabilidad internacional de las estadísticas. Además debe combatirse la idea de que usar los indicadores disponibles sea suficiente. La escasez o mala elección de los datos producirá resultados erróneos, ya que un proceso que comienza contaminado no puede presentar resultados inocuos. Otra cuestión que puede resultar problemática en la construcción de un indicador compuesto es sincronizar en el tiempo los valores de las variables para las distintas unidades que se comparan en el indicador. Por ejemplo la selección de un año base o la mezcla de años a través de los indicadores parciales. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 96 En cualquier caso desde un punto de vista práctico cuando se construye un indicador sintético deben asumirse una serie de compromisos y lo que es esencial es la transparencia de estos compromisos. 2.3.1.3.Imputacióndevaloresperdidos Al elaborar un índice sintético se debe disponer de una base de datos completa de los indicadores parciales. Los datos de los indicadores parciales suelen proceder de series estadísticas, que habitualmente presentan problemas por la existencia de valores perdidos. En estos casos los datos de los indicadores parciales sólo están disponibles para un número limitado de unidades. Los valores perdidos proporcionan al índice una menor autenticidad para las unidades para los cuales sólo hay disponible información limitada y pueden distorsionar la posición relativa de todas las unidades dentro del indicador, ya que para esas unidades no se estaría analizando la totalidad del fenómeno que captura el indicador sintético. Por esta razón es posible (siempre que existan valores perdidos en la base de datos) que entre los pasos para elaborar el índice sintético sea necesario completar las series de datos de todos los indicadores parciales sustituyéndolos por alguna alternativa o bien prescindir de dichos indicadores. A lo hora de imputar valores sería deseable dar una medida de la fiabilidad de cada valor imputado, a fin de evaluar el impacto de la imputación en los resultados del indicador compuesto, aunque este paso puede (y debe) ser incluido en el análisis de incertidumbre del indicador. Además este tipo de análisis debe realizarse con cuidado ya que debe tenerse cuidado con la presencia de valores atípicos (outliers) en el conjunto de datos que pueden sesgar la imputación. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 97 Los valores perdidos obstaculizan el desarrollo de indicadores compuestos robustos y pueden presentarse en diferentes formas. Habitualmente se distinguen tres patrones de valores perdidos en función de la forma en que se presenten (Howell, 2008): a) Valores perdidos completamente aleatorios (Missing Completely At Random, MCAR). En este caso, los valores perdidos no dependen de la variable de interés o de cualquier otra variable observada en el conjunto de datos. Por ejemplo, los valores que faltan en la variable tesis de una universidad serían de este tipo si (i) las universidades que no publican el número de tesis leídas tienen, en promedio, las mismas tesis que las universidades que sí las publican, y si (ii) cada una de las otras variables en el conjunto de datos son, en promedio, las mismas para las universidades que no publican sus tesis y las universidades que informan de ellas. b) Valores perdidos aleatorios (Missing At Random, MAR). Los valores perdidos en este caso no dependen de la variable de interés, pero están condicionadas por otras variables del conjunto de datos. Por ejemplo, los valores perdidos en la variable tesis leídas serán de este tipo si la probabilidad de que falten datos sobre las tesis depende del número de doctores de la universidad, pero dentro de cada categoría del número de doctores, la probabilidad de que no publiquen el número de tesis no está relacionado con el valor de éstas. Este tipo de valores perdidos aleatorios pueden ser habituales en estudios que usan encuestas: por ejemplo cuando a la pregunta 1 de una encuesta se respondió que sí y entonces no es necesario responder a la pregunta 2, los valores perdidos de este tipo también son MAR. c) Valores perdidos no aleatorios (Not Missing At Random, NMAR). Los valores perdidos en este caso dependen de los propios valores de la variable. Por ejemplo, los alumnos de peores calificaciones suelen ser más reacios a informar de sus notas. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 98 Desafortunadamente no hay ninguna prueba estadística para determinar si los valores perdidos son NMAR, y con frecuencia no existe una base sobre la cual juzgar si la falta datos se da de forma aleatoria o sistemática. Esto puede resultar un problema ya que la mayoría de los métodos para imputar valores perdidos requiere que estos valores sean aleatorios, es decir, MCAR o MAR. Cuando existan razones para asumir un patrón no aleatorio sobre los valores perdidos (NMAR), el patrón debe ser incluido explícitamente en el modelo y en el análisis. La existencia de este tipo de valores sin embargo podría dificultar el análisis y podría implicar hipótesis ad hoc que puedan influir en el resultado de todo el proceso. Hay tres métodos generales para hacer frente a los valores perdidos: el primero es la supresión de casos, mientras que los otros dos consideran los datos perdidos como parte del análisis y tratan de imputar esos valores a través de diferentes métodos de imputación, ya sea individual o múltiple (Little y Rubin, 2002). A continuación se describen brevemente estas técnicas7. A.Supresióndedatos El primer método, también llamado análisis de casos completos, simplemente omite los registros que faltan en el análisis. Este enfoque hace caso omiso de las posibles diferencias sistemáticas entre las muestras completas e incompletas y produce estimaciones no sesgadas sólo si se asume el supuesto MCAR. Además los errores serán mayores por lo general en una muestra reducida, dado que se utiliza una cantidad menor de información. Little y Rubin (2002) recomiendan como regla general que los casos no se eliminen si una variable tiene más de un 5% de valores perdidos.  7 Para una información más detallada sobre cada una de estas técnicas puede acudirse a otras referencias como son los trabajos de Little y Schenker (1994), Little (1997), Allison (2001), Little y Rubin (2002), Howell (2008) o Nardo et al. (2008). Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 99 B.Imputaciónindividualosimple La imputación es una herramienta que consiste en asignar una distribución a la variable que contiene valores perdidos. En la imputación individual la asignación se realiza dato a dato aisladamente. Esta distribución debe ser generada a través del empleo de datos observados, y según el tipo de modelo empleado se suele dividir a estas técnicas en implícitas o explícitas. a) Modelos implícitos. En este caso se realizan una serie de supuestos implícitos. Debe analizarse cuidadosamente si estos supuestos son razonables y se ajustan al contenido en cuestión. El mayor peligro que surge al adoptar este tipo de modelos es la tendencia a considerar el conjunto de datos resultante como completo, obviando la imputación que se ha llevado a cabo. Los modelos implícitos incluyen:  Imputación en caliente o hot deck. En este modelo se completan los valores perdidos con datos individuales procedentes de unidades "similares".  Sustitución. Sustitución de las unidades sin respuesta con otras unidades no seleccionadas en la muestra.  Imputación en frío o cold deck. Sustitución de los valores perdidos con un valor de una fuente externa, por ejemplo, una realización anterior del mismo dato. b) Modelos explícitos. En estos modelos la distribución predictiva se basa en un modelo estadístico formal en el que se realizan hipótesis de forma explícita. Los principales modelos son los siguientes:  Imputación incondicional de la media/mediana/moda. Se sustituyen los valores perdidos para el indicador parcial de determinada unidad por el valor medio, la mediana o la moda de la muestra de los valores registrados8. Al sustituir valores  8Una variante de la imputación incondicional de la media es sustituirla por la media condicionada. Otro método común, llamado imputación de medias dentro de las Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 106 se puede obtener una reducción significativa cuando las variables originales están muy correlacionadas, ya sea positiva o negativamente. La principal ventaja del ACP en el análisis multivariante del conjunto de indicadores es que se tienen en cuenta las posibles relaciones causales existentes entre los indicadores, evitándose así el problema de la doble contabilización de la información. En concreto, para evitar la distorsión de los resultados que provoca la doble contabilización, el ACP define las componentes principales de forma independiente y, por tanto, no correlacionadas entre sí, de forma que cada una de ellas proporciona información no contenida en el resto. Sin embargo, el ACP presenta importantes limitaciones al interpretar el indicador sintético obtenido. Los indicadores sintéticos obtenidos muestran una alta sensibilidad ante modificaciones en la base de datos inicial. En este sentido, los resultados del ACP varían de forma importante ante cambios como la introducción de un nuevo indicador, la consideración de nuevos casos o la simple actualización de las variables que se utilizan para cuantificar el sistema. Además, la presencia de valores extremos condicionan en gran medida los resultados obtenidos al introducir un mayor grado de variabilidad en los datos de partida. (Nardo et al., 2005; Domínguez et al., 2011). Asimismo, los valores obtenidos por el indicador sintético para cada unidad analizada, al ser las componentes principales combinaciones lineales de los indicadores iniciales, no son fácilmente interpretables. En este sentido, la principal dificultad existente está ligada al análisis de los efectos de las variaciones del valor de cada indicador inicial sobre el indicador sintético, aunque existen técnicas como la rotación de componentes (no siempre efectivas) que podrían minimizar este problema. Finalmente, hay que tener presente que los resultados del ACP vienen condicionados en gran medida por las decisiones que el analista adopta al aplicar esta técnica. Así, la elección del procedimiento de selección de las componentes depende del analista. Todo ello puede producir un incremento de la subjetividad asociada si Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 107 las decisiones adoptadas no se fundamentan objetivamente sobre la literatura existente y se realiza un análisis de robustez. B.Análisisfactorial(AF) El AF pretende encontrar relaciones matemáticas que permitan expresar las variables originales a través de una serie de factores comunes más otra serie de factores específicos de cada variable observada (Luque, 2000). El AF comprende varios métodos que permiten examinar la estructura subyacente de las variables y condensar la información que contienen. En función del método utilizado estaremos ante distintos tipos de análisis11. El análisis factorial (AF) es similar al ACP. El objetivo de ambos métodos es describir un conjunto de variables en términos de un menor número de factores, y destacar la relación entre estas variables. Sin embargo, mientras el ACP se basa simplemente en combinaciones lineales de los datos, el AF se basa en un modelo más genérico (Luque, 2000; Pérez, 2005). El AF trata de encontrar variables latentes, no observables y aún no medidas, cuya existencia se sospecha en las variables originales y que permanecen a la espera de ser halladas, mientras en el ACP se obtienen variables sintéticas que son combinación de las originales y cuyo cálculo es posible basándose en aspectos matemáticos independientes de su interpretabilidad práctica. Contrariamente al ACP, el modelo del AF supone que los datos se basan en los factores subyacentes del modelo, y que la varianza de los datos se puede descomponer a través de una serie de factores comunes y únicos. En el ACP la varianza de cada variable original se explica completamente por sus componentes. En el AF sólo una parte de la varianza de cada variable original se explica completamente por las variables cuya combinación lineal la determinan (factores) (Domínguez et al., 2011).  11 En particular, el ACP es un caso especial del AF en el que los factores comunes explican el 100% de la varianza total (Pérez, 2005: 497–498). Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 108 Nicoletti et al. (2000) presentan la técnica de AF más empleada en el desarrollo de indicadores compuestos, que tiene la virtud de la simplicidad y permite además que se represente la información contenida en los indicadores individuales para la construcción de los pesos. Al igual que en el caso del ACP, la utilización del AF en el análisis multivariante para la reducción de los indicadores parciales en una serie de factores básicos, solo será posible si existen indicadores que den información adicional que pueda ser obviada; es decir, los indicadores parciales deberán presentar una alta correlación entre ellos, puesto que de lo contrario todos aportarán información sustancial y el número de factores no podrá ser inferior al de indicadores originales. Otra limitación es la división existente en la literatura en el debate sobre el número de factores que mantener en el análisis sin perder demasiada información. Esta decisión es bastante arbitraria. Sin embargo se han desarrollado varias directrices para su uso en las ciencias sociales (Dunteman, 1989; Jackson, 1993). C.ElcoeficientealfadeCronbach(α‐Cronbach). Es una forma alternativa para investigar el grado de correlación entre un conjunto de variables y mide la parte de la variabilidad total debida a la correlación de los indicadores. El α-Cronbach (Cronbach, 1951) es la estimación más común de la coherencia interna y de la fiabilidad de los elementos de un modelo o una encuesta. Evalúa cuánto se adecúa un conjunto de elementos (en nuestra terminología, los indicadores parciales) a las medidas de un fenómeno unidimensional (el fenómeno que estamos representando a través del índice compuesto). El coeficiente alfa de Cronbach puede ser definido como:                                   )var( )var( 1 1)var( ),cov( 100 x x Q Q x xx Q Qjj ji ji c  c=1,…,M; i,j=1,…,Q (2.1) Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 109 donde M indica el número de unidades consideradas, Q el número de los indicadores individuales, y   Q qj xx 1 0 es la suma de todos los indicadores individuales. α-Cronbach aumenta con el número de indicadores individuales. Si no existe ninguna correlación y los indicadores individuales son independientes, entonces α-Cronbach es igual a cero, mientras que si los indicadores individuales están perfectamente correlacionados, αCronbach es igual a uno. α-Cronbach no es una prueba estadística, sino un coeficiente de fiabilidad basada en la correlación entre los indicadores individuales. Es decir, si la correlación es alta, entonces no hay pruebas de que los indicadores individuales estén midiendo el mismo constructo subyacente. Por tanto, un α-Cronbach alto indica que los indicadores individuales miden el mismo fenómeno latente. Aunque es ampliamente interpretado como tal, en sentido estricto α-Cronbach no es una medida de la unidimensionalidad. Un conjunto de indicadores individuales pueden tener un α-Cronbach alta y aún así ser multidimensional. Una cuestión relevante es cuán grande debe ser el α-Cronbach. Nunnally (1978) sugiere un umbral de 0,7 como fiabilidad aceptable. Sin embargo, algunos autores utilizan 0,75 o 0,80 como valor de corte, mientras que otros son más indulgentes y lo sitúan en 0,6. Si las varianzas de los indicadores son muy distintas una práctica habitual es normalizar los indicadores individuales a una desviación estándar de 1 antes de calcular el coeficiente α. Un ejercicio interesante puede ser determinar cómo la varía el coeficiente con la supresión de cada indicador. Esto ayuda a revelar la existencia de grupos de indicadores individuales, lo que es útil para determinar la estructura anidada del índice compuesto. Si el coeficiente de fiabilidad aumenta después de la eliminación de un indicador individual de la escala, se puede asumir que el indicador individual no está altamente correlacionado con otros indicadores individuales. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 110 La principal desventaja del α-Cronbach es que las correlaciones no necesariamente representan la influencia real de los indicadores individuales sobre el fenómeno expresado por el indicador compuesto y además sólo es útil o significativo cuando el indicador sintético se calcula como una escala (es decir, como la suma de los indicadores individuales). D.Elanálisisclústerodeconglomerados El análisis clúster o de conglomerados (CLA) es una herramienta para la clasificación de grandes cantidades de información en grupos manejables12. El análisis clúster también se utiliza en el desarrollo de indicadores compuestos para agrupar la información de las unidades en función de su similitud en base a los indicadores parciales. CLA sirve como instrumento de diagnóstico para explorar el impacto de las opciones metodológicas durante la fase de construcción del indicador compuesto y como método de selección de los grupos de unidades para la imputación de valores perdidos con el fin de disminuir la varianza de los valores imputados (Nardo et al., 2008). La técnica del CLA se basa en un conjunto de algoritmos que sirven para clasificar las unidades objeto de análisis (Anderberg, 1973; Massart y Kaufman, 1983). La clasificación tiene por objeto reducir la dimensionalidad de un conjunto de datos mediante la exploración de las similitudes y diferencias entre las unidades. Estas técnicas pueden ser jerárquicas, si la clasificación tiene un número creciente de clases anidadas, por ejemplo, el diagrama de árbol, o no jerárquica, cuando el número de grupos se decide a priori, por ejemplo, la agrupación de kmedias. Sin embargo, se debe tener cuidado de que las clases sean significativas y no arbitrarias o artificiales (Pérez, 2005).  12 El análisis clúster se ha aplicado a una amplia variedad de problemas de investigación y a campos que abarcan desde la medicina a la psiquiatría y la arqueología. Una revisión más detallada del método puede revisarse en Anderberg (1973), Pérez (2005) o Hair et al. (2006). Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 111 Los grupos homogéneos y distintos se delimitan de acuerdo a la evaluación de distancias13 o, como en el caso del método de Ward, de un test estadístico (Davis, 1986). Los métodos para decidir el algoritmo de agrupamiento, es decir, las normas que regulan cómo se miden las distancias entre los grupos, son varios14 (Spath, 1980):  Encadenamiento individual (el vecino más cercano)  Encadenamiento completo (el vecino más lejano)  Promedio no ponderado entre grupos  Promedio ponderado entre grupos  Método de Ward Los criterios de selección difieren y, por lo tanto, pueden obtenerse de los mismos datos diferentes clasificaciones, incluso utilizando como medida la misma distancia. Uno de los mayores problemas con el CLA es identificar el número óptimo de grupos. Como el proceso de fusión es continuo, se fusionan cada vez grupos más desiguales, es decir, la clasificación se hace cada vez más artificial. Decidir el número óptimo de grupos es en gran parte una medida subjetiva, aunque puede ayudar observar la distancia entre los grupos (Milligan y Cooper, 1985). Saltos bruscos en el nivel de similitud podría indicar que se están fusionando grupos diferentes o valores extremos. Otro método empleado en el CLA es la agrupación de k-medias (Hartigan, 1975). Se trata de un método no jerárquico de agrupación y es útil cuando el objetivo es dividir la muestra en k grupos lo más distintos posible. El parámetro k es decidido por el analista y, por lo tanto, fuente de subjetividad. El algoritmo de k-medias suministrará k  13 Una medida de distancia es una valoración del grado de similitud o disimilitud entre los casos en el conjunto. Una pequeña distancia es equivalente a una gran similitud. El análisis puede basarse en una dimensión única o en múltiples dimensiones. Algunas de las medidas de distancia más comunes son la euclídea, el cuadrado de la euclídea, la distancia Manhattan, la distancia de Chebychev,…. (Pérez, 2005) 14 Para una mayor comprensión de cada uno de estos métodos puede acudirse a las revisiones señaladas anteriormente o, para el método de Ward, al artículo seminal de Ward (1963). Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 112 grupos, lo más diferentes posible, mediante el análisis de la varianza de cada grupo. Es importante realizar una advertencia: el CLA siempre produce agrupaciones, lo que no significa que los grupos sean útiles para clasificar los objetos, dependiendo de los objetivos del análisis. Además, los métodos de CLA no están claramente establecidos y hay muchas alternativas que producen resultados muy diferentes (Everitt, 1979). Además es una herramienta puramente descriptiva y puede no ser transparente si las opciones metodológicas realizadas durante el análisis no están claramente explicadas. Las técnicas de análisis multivariante son muy diversas y aquí se han presentado sólo las principales que se emplean en la construcción de indicadores. Quizá sea importante señalar que también existen técnicas que combinan varios métodos. Así se han propuesto algunas alternativas que combinan varios métodos de análisis de conglomerados y la búsqueda de una baja dimensión y que se centran, por ejemplo, en el análisis unfolding (Heiser, 1993; De Soete y Heiser, 1993). Vichi y Kiers (2001) también han planteado un método que combina el análisis de conglomerados de k-medias con aspectos del AF y del ACP. Esta metodología se conoce como análisis factorial de k-medias y consigue un doble objetivo: la reducción de datos y la síntesis de forma simultánea tanto de objetos como de variables. Las técnicas de análisis multivariante son útiles para comprender mejor la estructura del conjunto de datos del indicador sintético. Sin embargo es importante evitar la realización de este tipo de análisis si la muestra es pequeña en comparación con el número de indicadores, ya que los resultados podrían presentar propiedades estadísticas no deseables. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 113 2.3.2.Etapadeestimación 2.3.2.1.Normalización La normalización es un paso importante a la hora de desarrollar un indicador sintético. La normalización de los indicadores parciales se hace necesaria para hacer las variables comparables y que las diferencias de escala no introduzcan distorsiones en el indicador compuesto. En cualquier caso como indican Jacobs et al. (2004) este paso no sería necesario si se diseña un sistema de pesos que evite estos efectos en el resultado final del indicador. Antes de cualquier agregación de los indicadores parciales en un indicador sintético puede ser necesario un proceso de normalización puesto que los indicadores que conforman el conjunto de datos frecuentemente tienen una gran variedad de unidades de medida y pueden tener diferentes rangos o escalas. Estas variables necesitan ser puestas en una base común para evitar problemas al combinar unidades de medida. Además las variables deberían relativizarse sobre dimensiones como el tamaño, la población o el ingreso, por ejemplo, y suavizarse, si es preciso, a través del tiempo contra variabilidades cíclicas. Las variables se normalizan también para evitar tener valores extremos dominantes que puedan convertirse en puntos de referencia no deseados y también para corregir parcialmente problemas en la calidad de los datos. Hay razones para creer que valores extremadamente alejados de la media o del rango normal pueden reflejar dificultades en la recogida de datos (Jacobs et al., 2004). Si ciertas variables tienen distribuciones altamente sesgadas, pueden suavizarse a través de transformaciones logarítmicas e incluso los datos pueden truncarse si hay valores extremos (outliers). Es importante prestar atención a las posibles transformaciones en los datos previas a la normalización (cambios de origen, de escala, transformaciones logarítmicas,…). Ciertos procedimientos de normalización producen transformaciones que no alteran el valor del Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 114 indicador con respecto al calculado sin normalizar los datos. Sin embargo otros procedimientos podrían provocar distorsiones no deseables en el indicador final. Los métodos de normalización más utilizados existentes en la literatura son los siguientes (Freudenberg, 2003; Jacobs et al., 2004): a. Clasificación o ranking. Es la técnica más simple de normalización. Consiste en dar a cada unidad como valor normalizado del indicador parcial, el puesto que ocupa esa unidad con respecto a las demás en ese indicador individual. Este método no se ve afectado por los valores extremos y permite seguir temporalmente los resultados de las unidades en términos de su posición relativa. Sin embargo se pierde información sobre los niveles por lo que no se puede evaluar los logros de las unidades en términos absolutos. Trabajos como los de Fagerberg (2001) y Jencks et al. (2000, 2003) utilizan este esquema de normalización. )( ,, t cq t cq xRankI  (2.2) donde Rank representa el puesto de la unidad c en el indicador xq b. Estandarización o z-scores. Este método convierte a los indicadores parciales a una escala común, imponiéndoles una distribución normal estándar con una media igual a cero y una desviación típica igual a uno. Por lo tanto, valores positivos (negativos) para una unidad indican resultados por encima (por debajo) de la media. Con este método de normalización los indicadores parciales con valores extremos tendrán un efecto mayor en el índice compuesto. Esto podría ser incluso conveniente si la intención es premiar comportamientos excepcionales, es decir, si se considera que destacar en algún(os) indicador(es) es mejor que muchos resultados cercanos al comportamiento medio (Saisana y Tarantola, 2002). Este efecto puede ser corregido con la metodología de agregación, por Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 115 ejemplo, mediante la exclusión de los mejores y peores resultados de los indicadores individuales incluidos en el índice o mediante la asignación de pesos diferenciados basándose en la “deseabilidad" de los resultados del indicador individual Muldur (2001) o el World Economic Forum (2002) utilizan las estandarización para normalizar sus indicadores. t q t q t cq t cq σ xx I , , (2.3) donde t q x representa la media del indicador individual xq y la desviación estándar del indicador individual xq. c. Reescala o min-Max (Re-scaling). El método de reescala o minMax normaliza los valores de los indicadores provocando que todos tengan un rango idéntico en el intervalo [0, 1]. Se obtiene restando el valor mínimo de los valores de la variable y dividiendo por el rango de los valores de cada indicador parcial. Sin embargo al basarse este indicador en los valores extremos de cada indicador parcial, la existencia de outliers podría distorsionar el indicador transformado (Jacobs et al., 2004). Por otra parte este método de normalización podría ampliar el rango de aquellos indicadores que están en un pequeño intervalo, aumentando su efecto sobre el indicador sintético más que con una normalización por estandarización, por ejemplo indicadores como el HDI y el Panel de Sostenibilidad utilizan este esquema de normalización (Organización de las Naciones Unidas, varios años; Jesinghaus, 2007). )(min)(max )(min ,, ,, ,t cqc t cqc t cqc t cq t cq xx xx I   (2.4) d. Distancia a una unidad de referencia. Este esquema de normalización considera la distancia de los valores de cada indicador parcial a la posición relativa de un indicador dado por un punto de referencia prefijado. Este punto de referencia podría Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 122 Entre los métodos participativos más utilizados, podemos destacar: el método del panel de expertos (Tsaur et al., 2006; Ugwu et al., 2006) y el método de opinión pública (Cottrell et al., 2004). Desde un punto de vista metodológico, ambos procedimientos funcionan de la misma manera, siendo su principal diferencia el colectivo de individuos al que va dirigido. Este enfoque es viable cuando existe un marco bien definido (Munda, 2005a, 2007). En los procesos de asignación de presupuesto (Budget Allocation processes, BAP), se pide a expertos sobre un tema determinado descrito por un conjunto de indicadores que asignen un "presupuesto" de N puntos al conjunto de indicadores parciales, basándose en su experiencia y en el juicio subjetivo de la importancia relativa de los respectivos indicadores (Jesinghaus, 1997). Los pesos se calculan como la media de estos presupuestos:   m s s j q x x w 1 (2.10), donde wq es el peso final otorgado al indicador q, xj es la puntuación media otorgada al indicador parcial j y xs es la puntuación media otorgada al conjunto de los indicadores s. En este esquema de ponderación es indispensable reunir a expertos que representan un amplio espectro de conocimiento y que tengan una extensa experiencia para garantizar que se establezca un sistema de ponderaciones adecuado. Debe tenerse especial cuidado en la identificación de la población de expertos y es crucial que los expertos seleccionados no sean especialistas en los indicadores individuales, sino en el marco general del índice (Nardo et al., 2008). El proceso de asignación de presupuesto tiene tres o cuatro fases:  selección de expertos para la valoración,  asignación de presupuestos para los indicadores individuales,  cálculo de los pesos, e Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 123  iteración de la asignación presupuestaria hasta alcanzar la convergencia (paso opcional). Por su parte los procesos de opinión pública, las encuestas de opinión, se centran en la noción de "preocupación". En este caso se pide a las poblaciones implicadas que expresen su grado de preocupación acerca de diversos problemas (medidos a través de alguna escala, por ejemplo de Likert). Estos problemas se evalúan a partir de los indicadores individuales. Como con las evaluaciones de expertos, el método de asignación de presupuesto se podría aplicar también a las encuestas de opinión pública. Sin embargo, resulta más difícil pedirle al público general asignar un volumen de puntos a varios indicadores individuales que expresar un grado de preocupación sobre un problema dado. Las principales ventajas de los métodos participativos son su naturaleza transparente y relativamente sencilla y su corta duración. Además la opinión de los expertos es probable que aumente la legitimidad del índice y cree un foro de debate en el que se forme un consenso para la acción política. Por el contrario muestra algunas desventajas. En primer lugar los pesos podrían reflejar las condiciones locales específicas, por lo que la ponderación de expertos puede no ser transferible de una zona a otra. Además asignar un presupuesto determinado sobre un número demasiado grande de indicadores puede provocar estrés cognitivo para los expertos por lo que el método es probable que produzca incoherencias para un número de indicadores elevado. Finalmente la ponderación no mide la importancia de cada indicador individual sino más bien la urgencia o necesidad de intervención política en la dimensión del indicador individual. C.Enfoquebeneficiodeladuda/Análisisenvolventededatos Otro método utilizado en la ponderación de los indicadores sintéticos son los mecanismos que siguen el enfoque Beneficio de la Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 124 Duda (BOD, en sus siglas inglesas)15. Este enfoque se basa en la asignación de pesos a través de la técnica del Análisis Envolvente de Datos (DEA). DEA es una técnica reconocida ampliamente y utilizada originariamente en la evaluación de la eficiencia de las unidades productivas públicas y privadas (Seiford, 1996; Tavares, 2002). La idea principal que subyace en DEA consiste en maximizar un índice de productividad total de los factores (unidades de output por cada unidad de input empleada) para cada unidad bajo evaluación. El numerador del índice tiene en cuenta todas los outputs; mientras que el denominador agrega todos los inputs utilizados en el proceso de producción. Considerando que es complicado disponer de un sistema de precios convencionales, DEA determina endógenamente un conjunto de pesos cuyo valor debe maximizar el ratio de productividad para cada unidad. Las similitudes con la construcción de índices compuestos son evidentes. Al construir un indicador compuesto, se dispone de la información cuantitativa respecto de los valores de algunos indicadores parciales para un conjunto de unidades, pero no se conoce un mecanismo único y adecuado para la asignación de pesos. Además es difícil lograr un consenso sobre un conjunto único de pesos y, en la práctica, a menudo es inalcanzable dada la heterogeneidad de perspectivas de los agentes implicados. El enfoque DEA determina endógenamente los pesos seleccionando aquellos que maximizan el valor resultante del indicador compuesto para cada unidad. La aplicación de la DEA en el campo de los indicadores compuestos fue originalmente propuesta para evaluar resultados macroeconómicos (Melyn y Moesen, 1991). Inicialmente, el indicador sintético se definía como la relación entre el resultado real de una unidad y el resultado de su unidad de referencia, pero trabajos más  15 Para una mejor comprensión del enfoque BOD puede acudirse a Cherchye et al. (2007) Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 125 recientes (Cherchye et al., 2004; Murias et al., 2012) han ido adaptando la presentación formal del indicador respetando la idea subyacente. Con el fin de ilustrar la metodología, se puede considerar un grupo de m unidades y q indicadores parciales, donde Iq,c representa el valor del indicador parcial q para la unidad c. De esta forma las ponderaciones para cada unidad c vendrían dadas por el resultado del siguiente problema de programación lineal: Qqω McIw IwIS Q q cqq Q q cqq ω c q ,...,, ,...,, · a sujeto ·max q , , 210 211 1 1        , (2.11) La función objetivo representa la suma ponderada de los indicadores parciales. El programa es una herramienta para elegir los pesos que maximizan esa función bajo dos restricciones. Por un lado, ninguna de las m unidades puede alcanzar un valor mayor que 1 bajo las ponderaciones elegidas (primera restricción) con el fin de garantizar una interpretación intuitiva del indicador (Cherchye et al., 2007). Por otro lado, los pesos deben ser no negativos (segunda restricción) y, por tanto, el índice sintético es una función no decreciente de los indicadores parciales. Según este enfoque el valor máximo para el indicador sintético es uno y las regiones que logren este valor serán las 'mejores prácticas' bajo estos indicadores. La diferencia entre el valor del índice para una unidad y el valor máximo muestra el déficit de las unidades y sus posibles márgenes de mejora. El enfoque BOD tiene una ventaja adicional: el índice tiene un grado de aceptación política como ningún otro esquema de ponderación ya que el indicador sintético obtenido representa el mayor valor del indicador compuesto para cada unidad bajo ese conjunto de indicadores parciales. Al permitir para cada unidad la selección de pesos individualmente, DEA respeta las características y los criterios de Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 126 valor propias de cada unidad. Como señalan Cherchye et al., (2007), endógeno implica flexibilidad. Sin embargo, en el caso de considerar excesiva esta flexibilidad en la asignación de los pesos de los indicadores, ésta puede limitarse mediante la introducción de restricciones adicionales a los valores absolutos o relativos de los pesos. La información proporcionada por expertos, sobre los rangos más adecuados en los que deberían moverse los pesos de los indicadores individuales, puede incorporarse fácilmente en el modelo de la DEA (Thompson et al, 1986, 1990; Dyson y Thanassoulis, 1988; Wong y Beasley, 1990; Roll et al., 1991; Roll y Golany, 1993; Thanassoulis, 1995; Thanassoulis et al., 1995; Allen et al., 1997; Sarrico y Dyson, 2004; Murias et al., 2006; 2008,…)16. Por otro lado algunos autores señalan como principales desventajas del método que puede darse una multiplicidad de soluciones que hagan indeterminado el conjunto óptimo de pesos y que se trata de un indicador en términos relativos (responde al esquema benchmarking) y, por lo tanto, las mejores unidades (con un valor del índice igual a uno) no verán reflejado su progreso en el tiempo en el indicador17 (Nardo et al., 2008). Además al imponer restricciones adicionales en el modelo pueden introducirse juicios de valor (Nardo et al., 2005). A pesar de estas posibles desventajas son muchos los trabajos que incorporan este esquema de ponderación en la construcción de índices sintéticos. Algunos de ellos son los de Melyn y Moesen (1991), Storrie y Bjurek (1999, 2000), Cherchye (2001), Mahlberg y Obersteiner, (2001), Cherchye y Kuosmanen (2002), Cherchye, et al. (2004), Murias et al. (2006, 2008, 2012),…  16 Además los pesos, al revelar información sobre las prioridades, pueden ayudar a definir compensaciones, que superen las dificultades de las agregaciones lineales que se verán más adelante. 17 Esto podría ser resuelto mediante la imposición, si se desea de una referencia externa. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 127 D.AnálisisdeComponentesPrincipales/AnálisisFactorial El análisis de componentes principales (ACP) y principalmente el análisis factorial (AF), agrupa los indicadores individuales que están correlacionados para formar un indicador compuesto que capture la mayor parte posible de la información común a los indicadores individuales. Hay que recordar que para aplicar este método los indicadores individuales deben tener un cierto grado de correlación. Cada factor (generalmente estimado mediante ACP) revela el conjunto de indicadores con los cuales tiene una asociación más fuerte. La idea que subyace bajo este método es tener en cuenta la mayor cantidad de variación posible en el indicador calculado utilizando el menor número posible de factores. Por lo tanto, el índice compuesto ya no depende de las dimensiones del conjunto de datos, sino más bien se basa en las dimensiones "estadísticas" de esos datos. Siguiendo el ACP/AF, las ponderaciones intervienen sólo para corregir la superposición de información entre dos o más indicadores correlacionados y no son una medida de la importancia teórica del indicador asociado. Si la correlación entre los indicadores es débil, es poco probable que compartan factores comunes y quizás debería prescindirse de este método de ponderación. El siguiente paso es la identificación de un cierto número de factores latentes (menor que el número de indicadores individuales) que represente a los datos. Cada factor depende de un conjunto de coeficientes (pesos), y cada uno de estos coeficientes mide la correlación entre el indicador de individual y el factor latente. El ACP se utiliza normalmente para extraer factores18 (Manly, 1994). Para un análisis factorial sólo se considera un subconjunto de las componentes principales, es decir, aquellas que representan la mayor cantidad de la varianza.  18 Se podrían utilizar otros métodos como la máxima verosimilitud, por ejemplo. Hay que tener en cuenta que si el número de unidades es pequeño los pesos resultantes de los distintos métodos también pueden ser bastante diferentes. Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 128 En la práctica es habitual elegir los factores que: (i) tengan asociados valores propios mayores que uno; (ii) contribuyan individualmente a la explicación de la varianza total en más del 10%; y (iii) contribuyan acumulativamente a la explicación de la varianza total en más del 60% (Nardo et al., 2008). Una vez identificados esos factores el indicador sintético se pondera otorgando a cada componente o factor un peso, idéntico o no (McIntyre et al., 2002; Jha y Murthy, 2003; Liou et al., 2004; Messer et al., 2006), o bien quedándose sólo con la primera componente y tomando como pesos los coeficientes asociados a la definición de esa componente (Cailas et al., 1996; Lai, 2000; Filmer y Pritchett, 2001; Singh, 2004; Onwujekwe et al., 2005; Heshmati, 2006; Vyas y Kumaranayake, 2006). Existen múltiples variaciones a la hora de escoger las ponderaciones utilizando ACP o AF (Domínguez et al., 2011), lo que añade un componente de subjetividad al proceso. Una de las ventajas de este método de ponderación es que permite la ponderación endógena de los indicadores y que evita el problema de la doble contabilización. Sin embargo, el ACP y el AF presentan importantes limitaciones al interpretar el indicador sintético obtenido (Nardo et al., 2005a). Por una parte, dada su definición, el ACP minimiza la contribución de los indicadores menos correlacionados con el resto en el indicador sintético final. Por otra parte, los indicadores sintéticos obtenidos muestran una alta sensibilidad ante modificaciones en la base de datos inicial. En este sentido, los resultados del ACP varían de forma importante ante cambios como la introducción de un nuevo indicador o la consideración de nuevas unidades. Además, la presencia de valores extremos condiciona en gran medida los resultados obtenidos al introducir un mayor grado de variabilidad en los datos de partida. Asimismo, los valores obtenidos por el indicador sintético para cada unidad analizada no son fácilmente interpretables (la combinación lineal de los indicadores parciales). En este sentido, la principal Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 129 dificultad existente está ligada al análisis de los efectos de las variaciones del valor de cada indicador inicial sobre el indicador sintético. Finalmente, hay que tener presente que los resultados del ACP vienen condicionados en gran medida por las decisiones que el analista adopta al aplicar esta técnica. Así, la elección del procedimiento de selección de las componentes depende del analista. Todo ello puede producir un incremento de la subjetividad asociada si las decisiones adoptadas no se fundamentan objetivamente sobre la literatura existente y se realiza un análisis de robustez. E.Procesosdeanálisisjerárquico(AHP) Los procesos de análisis jerárquico (Analytic Hierarchy Process, AHP) son una técnica ampliamente utilizada para la toma de decisiones multiatributo (Saaty, 1987). Estos procesos facilitan la descomposición de un problema en una estructura jerárquica y asegura que tanto los aspectos cualitativos como los aspectos cuantitativos del problema se incorporen en el proceso, durante el cual se extraen sistemáticamente opiniones por medio de comparaciones entre pares. Las metodologías de construcción de indicadores sintéticos basadas en AHP siguen varias fases y se basan en cuatro principios básicos de funcionamiento (Narayanan et al., 2007; Ramzan et al., 2008): la estructuración del problema mediante jerarquías, la valoración mediante una escala ratio derivada de la comparación por pares entre los elementos de la jerarquía; el establecimiento de prioridades y la consistencia lógica. El núcleo de AHP es una comparación por pares de atributos ordinal. La ponderación de indicadores sintéticos a partir de los resultados obtenidos al aplicar AHP requieren por parte del analista la realización de los siguientes pasos o tareas (Krajnc y Glavic, 2005a; Krajnc y Glavic, 2005b; Narayanan et al., 2007; Ramzan et al., 2008): Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 130 a. Estructurar de forma jerárquica el problema analizado, agrupando previamente los indicadores del sistema inicial en función de la dimensión conceptual a la que pertenecen. b. Comparar por pares todos los elementos de la jerarquía, de forma independiente, en función de su importancia respecto al elemento que se encuentra en el nivel superior del cual dependen. Para cuantificar la importancia relativa de cada indicador, el analista debe utilizar una escala de valoración previamente fijada (de Likert, por ejmeplo), que puede ser definida por él en función de la naturaleza de los indicadores que se comparan (Narayanan et al., 2007), siempre y cuando se indique claramente al usuario la correspondencia entre los valores absolutos de partida de cada indicador y los valores que muestran la intensidad de la preferencia en la escala de valoración. c. Obtener la importancia relativa de los indicadores de cada dimensión, utilizando como ponderaciones los valores de las componentes del autovector asociado al autovalor dominante de la matriz definida a partir de los valores de las comparaciones realizadas entre los elementos incluidos en ese grupo (Saaty, 1990). Para obtener un valor normalizado de los pesos de cada indicador, se aplica lo que se conoce como el método recíproco de columnas (Mondelo et al., 1996; Krajnc y Glavic, 2005a; Krajnc y Glavic, 2005b; Narayanan et al., 2007; Ramzan et al., 2008). Las principales ventajas de este método son que puede ser utilizado tanto para datos cualitativos como cuantitativos y que al basarse en la opinión de expertos y no en manipulaciones técnicas es probable que aumente la legitimidad del índice y cree un foro de debate en el que formar un consenso para la acción política. Sin embargo, a pesar de sus ventajas, esta metodología tiene asociada algunas limitaciones. Por una parte, las comparaciones por Capítulo 2. De la noción al indicador sintético: cómo medir las ideas La calidad en la educación superior a través de indicadores sintéticos 131 pares entre los indicadores dan lugar a que los resultados obtenidos dependan de juicios subjetivos realizados por el decisor. En este sentido estos indicadores sintéticos presentan una alta sensibilidad ante cambios en el sistema de indicadores (Hafeez et al., 2002), llegándose a demostrar que la inclusión de indicadores irrelevantes que modifiquen el ranking inicial de indicadores puede provocar un cambio total de la ordenación de las alternativas obtenidas a partir del indicador sintético. Es decir, los resultados dependen del conjunto de evaluadores elegido y de la configuración del experimento (es decir, de la manera en que se presenten las comparaciones). Por otro parte requiere un elevado número de comparaciones y, por lo tanto, puede ser computacionalmente costoso, sobre todo cuando el sistema de partida está compuesto por un alto número de indicadores. Además, los pesos calculados mediante AHP representan un trade-off entre indicadores. Miden la disposición a renunciar a una variable determinada a cambio de otra. Por lo tanto, no son coeficientes de importancia. Esto podría provocar una mala interpretación de los resultados del índice si los pesos se interpretan como tales coeficientes de importancia (Ülengin et al., 2001). Finalmente hay que señalar que este tipo de análisis puede no ser siempre consistente (Saaty, 1980; Karlsson, 1998). Puolaama et al. (1996) plantean con esta metodología un índice de familiaridad ambiental. F.Modelodecomponentesnoobservados En los modelos de componentes no observados, se asume que los indicadores individuales dependen de una variable más un término de error. Por lo tanto, estimar este componente no observado debe ayudar a definir la relación entre el índice compuesto y los indicadores parciales. La ponderación por componentes no observados pretende calcular los pesos que minimizan el error en el índice (Kauffmann et al., 1999, 2003). Este método es similar a los análisis de regresión, con la Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 234 Tabla 4.6. Importancia relativa de cada componente en el ISCUE original (en %) Universidad DOC ADAP INT INV POS SERV UAL 0,0186 48,6180 19,2290 0,0164 32,1078 0,0101 UCA 21,4122 25,0761 21,8517 0,0173 31,6300 0,0127 UCO 0,0196 0,0103 28,4040 3,9056 0,0061 67,6544 UGR 0,0198 47,2262 29,7937 0,0241 20,9213 2,0148 UHU 23,2752 20,8745 14,4715 0,0142 41,3578 0,0068 UJA 3,9631 93,1517 0,0088 0,0143 0,0079 2,8543 UMA 2,5263 94,2517 0,0088 2,0480 0,0063 1,1588 UPO 7,1739 87,9224 0,0121 0,0212 0,0078 4,8626 USE 2,6529 92,4875 0,0117 2,3915 0,0082 2,4482 UZA 87,2630 0,0105 0,0120 0,0201 2,1076 10,5868 UOV 0,0199 92,2364 0,0086 7,2337 0,0062 0,4953 UIB 0,0195 6,0914 0,0053 0,0149 93,8622 0,0066 ULL 0,0184 83,5496 0,0064 0,0204 1,5196 14,8856 ULPGC 0,0185 59,0688 14,7834 0,0105 22,9291 3,1897 UCN 0,0226 0,0109 0,0117 99,9307 0,0129 0,0112 UCLM 2,6594 94,7122 0,0092 0,0224 0,0086 2,5882 UBU 0,0200 73,1516 0,0062 0,0126 0,0050 26,8046 ULE 0,0195 45,1425 0,0103 0,0157 3,5244 51,2876 USAL 0,0217 0,0102 68,1947 0,0167 0,0085 31,7482 UVA 54,9797 0,0106 32,8020 0,0143 0,0065 12,1870 UAB 0,0224 0,0108 0,0138 29,3134 0,0093 70,6302 UBA 41,3308 14,2269 0,0079 16,8182 27,5995 0,0167 UDG 95,9288 0,0100 0,0062 0,0129 2,9439 1,0982 UDL 0,0236 0,0065 0,0082 0,0239 70,3141 29,6238 UPF 0,0241 0,0118 99,9081 0,0365 0,0062 0,0133 URV 43,7954 0,0069 0,0066 36,1660 19,4561 0,5690 UA 0,0197 97,1199 1,8027 0,0197 0,0088 1,0292 UJCS 51,4443 16,0982 0,0099 7,6640 23,2345 1,5491 UMH 86,3336 0,0077 0,0110 0,0228 13,6135 0,0115 UVEG 0,0213 96,1627 2,2703 0,0238 0,0095 1,5124 UEX 0,0214 82,1932 0,0069 14,1494 3,1442 0,4850 ULC 0,0188 56,7984 0,0094 3,2095 17,2552 22,7088 USC 0,0196 0,0100 0,0095 63,2490 0,0065 36,7055 UVI 0,0175 0,0108 0,0096 15,4763 84,4669 0,0189 UAH 0,0206 0,0071 0,0109 0,0183 71,2929 28,6501 UAM 0,0218 0,0088 0,0138 59,0437 39,6317 1,2802 UCAR 63,2330 0,0109 0,0121 21,6171 0,0034 15,1235 UCM 0,0200 0,0094 0,0101 0,0189 0,0146 99,9269 URJC 0,0177 4,3984 0,0064 0,0105 95,5582 0,0088 UMU 90,3486 0,0068 0,0100 3,5311 0,0101 6,0933 UPN 11,2409 36,4146 0,0094 0,0146 30,1736 22,1468 UPV 99,9420 0,0097 0,0060 0,0192 0,0052 0,0179 URI 6,1812 93,7904 0,0057 0,0102 0,0065 0,0060 Nota: Las universidades que alcanzan el valor máximo en el ISCUE original aparecen sombreadas Fuente: Elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 235 Es importante destacar que en 24 de las 43 universidades evaluadas la aportación de las componentes docencia e investigación, no alcanza conjuntamente ni el 10% del valor del ISCUE, y en 15 de esas 24 ese porcentaje ni siquiera alcanza el 1%. Además 11 de esas 24 universidades aparecen entre las instituciones españolas de mayor calidad al lograr un valor de uno en el ISCUE. Por lo tanto estas instituciones están logrando el máximo valor del índice obviando las funciones principales de la universidad: docencia e investigación. Por todas estas razones el ISCUE en su escenario original, sin restricciones, no parece un indicador sintético adecuado para aproximar la calidad de las universidades del SUE, por lo que en las siguientes secciones se procede a analizar los resultados del ISCUE en los escenarios alternativos, con restricciones, planteados. 4.2.2.Escenario1:ISCUEv1 El escenario 1 incluye unas cotas absolutas simples con el objetivo de que todos los indicadores parciales sean tenidos en cuenta en la valoración del índice y unas restricciones virtuales que garanticen: i. que docencia e investigación sean las componentes más valoradas, y ii. que la valoración conjunta de estos componentes no exceda el 60% del valor del indicador sintético. En este caso y, pese a la inclusión de restricciones adicionales, tampoco se han presentado problemas de no factibilidad del programa y se ha obtenido un conjunto de ponderaciones que otorga una solución del ISCUE v1 para las 43 universidades analizadas. La tabla 4.7 recoge dichos valores. Los valores de la tabla muestran la posición de las universidades en el mercado de educación superior español. En línea con lo señalado en el marco teórico las instituciones con un mayor valor en el índice Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 236 sintético pueden ser vistas como las más eficaces y además como las más preparadas para abordar un mercado cada vez más competitivo. Tabla 4.7. Valores del ISCUE v1 Universidad ISCUE v1 Universidad ISCUE v1 Universidad ISCUE v1 UAL 0,8570 UCA 0,8415 UCO 0,9109 UGR 0,8228 UHU 0,7724 UJA 0,6990 UMA 0,7086 UPO 0,8610 USE 0,7878 UZA 0,9902 UOV 0,8920 UIB 0,8307 ULL 0,7834 ULPGC 0,6380 UCN 1,0000 UCLM 0,8409 UBU 0,7723 ULE 0,7627 USAL 0,9389 UVA 0,8688 UAB 1,0000 UBA 0,9524 UDG 0,8188 UDL 1,0000 UPF 1,0000 URV 0,9534 UA 0,7706 UJCS 0,7982 UMH 0,7606 UVEG 0,7953 UEX 0,8700 ULC 0,7766 USC 1,0000 UVI 0,9340 UAH 0,8965 UAM 1,0000 UCAR 0,9853 UCM 0,9139 URJC 0,6461 UMU 0,7669 UPN 0,9218 UPV 0,7920 URI 0,6144 Nota: Las universidades que alcanzan el valor máximo en el ISCUE v1 aparecen sombreadas Fuente: Elaboración propia El primer resultado que hay que destacar es el incremento en la capacidad discriminante del indicador sintético con respecto al escenario original. Con respecto al escenario sin restricciones existe una mayor variabilidad en los valores del índice dependiendo de la institución analizada. El valor mínimo del ISCUE v1 es de 0,61, mientras que en el escenario original ese valor ascendía hasta 0,77. Además sólo un 34% de las universidades evaluadas, 15 de las 43, alcanzan un valor en el ISCUE v1 superior a 0,90 (10 de ellas más de 0,95) lo que supone veinte menos que en el escenario presentado en la sección anterior. Por el contrario el 40% de las instituciones evaluadas, 17, obtienen valores inferiores a 0,80 y cuatro universidades se quedan por debajo del valor 0,70. Esta variabilidad se manifiesta en la desviación típica de los valores del ISCUE v1 que se incrementa en un 75% pasando de 0,06 en el escenario sin restricciones a 0,11 en este escenario. El valor promedio del ISCUE v1 es 0,85 lo que supone una caída del 11% con respecto al escenario original, aunque sigue siendo un valor relativamente elevado y en este caso mucho más preciso, Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 237 puesto que las restricciones del modelo imponen una estructura de ponderaciones mucho más coherente con la visión integral de la calidad planteada a través del indicador sintético. En segundo lugar hay que destacar que seis universidades alcanzan el valor máximo del ISCUE v1: Cantabria, Autónoma de Barcelona, Lleida, Pompeu Fabra, Santiago de Compostela y Autónoma de Madrid. Además otras dos universidades, Zaragoza y Carlos III, obtienen valores muy próximos a uno. Estos resultados colocan a estas universidades como las de mayor calidad o de mayor eficacia de acuerdo al marco teórico y a los indicadores parciales considerados. Por el contrario entre las universidades que obtienen los peores resultados en el ISCUE v1, cuatro de ellas no alcanzan el valor 0,70: La Rioja, Las Palmas de Gran Canaria, Rey Juan Carlos y Jaén. La tabla 4.8, que muestra la importancia relativa de cada uno de los indicadores parciales en el ISCUE v1, ayuda a realizar un análisis de cómo las universidades alcanzan esos valores. Además las diferencias en la contribución de cada indicador ofrecen información sobre la importancia relativa de cada indicador parcial, lo que a su vez permite identificar los puntos fuertes y débiles de cada universidad. Esto es así porque cada institución otorga una mayor importancia relativa a aquellos indicadores que más le benefician en comparación con el resto de universidades consideradas. Es necesario apuntar, sin embargo, que un modelo DEA puede ofrecer soluciones alternativas, es decir esquemas de ponderación diferentes que lleven a la misma solución del programa de maximización, por lo que las ponderaciones pueden no ser únicas y los valores de la contribución porcentual de los distintos indicadores y de las diferentes componentes tampoco. Por esta razón las posibles conclusiones sobre los perfiles competitivos de las diferentes universidades deberían tomarse con cierta cautela. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 238 Tabla 4.8. Importancia relativa de cada indicador en el ISCUE v1 (en %) Univ. I1 I2 I3 I4 I5 I6 I7 I8 I9 UAL 0,0104 43,6596 16,3300 0,0134 16,3229 0,0071 16,3300 0,0000 7,3266 UCA 0,0122 43,6431 16,3447 6,3290 16,3355 0,0092 16,3447 0,9705 0,0110 UCO 21,3032 0,0110 21,3143 14,7362 21,3021 0,0122 0,0067 7,4181 13,8962 UGR 0,0098 24,1221 24,1319 3,2136 12,3190 11,8129 24,1319 0,2506 0,0082 UHU 39,9982 0,0127 19,9891 0,0131 9,3775 10,6115 19,9891 0,0000 0,0087 UJA 0,0115 47,4400 12,5485 4,1420 12,5405 0,0080 12,5485 1,6643 9,0967 UMA 0,0112 40,2647 19,7240 0,0108 18,3109 1,4131 8,3950 1,1235 10,7467 UPO 0,0101 46,0970 13,8929 7,7537 13,8830 0,0099 13,8929 4,4562 0,0043 USE 0,0112 32,3667 27,6221 4,7078 27,6108 0,0114 4,5139 3,1479 0,0083 UZA 49,9893 0,0107 10,0000 10,0000 6,9594 3,0406 10,0000 2,6283 7,3717 UOV 39,9981 0,0102 19,9917 0,0097 15,1212 4,8705 0,0069 0,3464 19,6453 UIB 39,9412 0,0659 19,9929 0,0064 10,8089 9,1840 19,9929 0,0000 0,0079 ULL 4,3446 39,9627 15,6927 0,0081 15,0685 0,6242 8,6065 3,8280 11,8647 ULPGC 12,6814 35,7036 11,6151 11,6151 11,6066 0,0085 11,6151 5,1481 0,0067 UCN 19,9789 0,0101 0,0109 19,9890 40,0033 0,0078 19,9890 0,0000 0,0112 UCLM 0,0107 44,2919 15,6974 0,0099 15,6867 0,0106 10,0692 0,0010 14,2226 UBU 43,3380 0,0123 16,6496 0,0080 0,0052 16,6444 6,6928 0,0103 16,6393 ULE 0,0115 46,6596 13,3290 0,0131 0,0085 13,3205 13,3290 0,6541 12,6749 USAL 49,5862 0,0112 10,4026 10,4026 0,0043 10,3983 8,7922 2,6532 7,7494 UVA 49,9885 0,0115 10,0000 10,0000 0,0065 9,9935 10,0000 1,9232 8,0768 UAB 29,9887 0,0113 0,0108 9,9799 0,0144 29,9856 0,0093 29,9887 0,0113 UBA 0,0104 35,5319 15,5169 0,0081 0,0114 24,4464 24,4578 0,0088 0,0084 UDG 46,6555 0,0136 13,3309 0,0073 0,7045 12,6264 13,3309 0,0123 13,3186 UDL 29,9889 0,0111 0,0065 0,0082 22,7437 7,2563 9,9853 4,9514 25,0486 UPF 0,0112 29,9888 0,0118 30,0000 0,0157 29,9843 0,0062 0,0000 9,9820 URV 0,0091 16,7568 6,4612 0,0068 29,1175 14,1165 16,7660 0,6896 16,0763 UA 43,8049 0,0119 16,1832 7,6181 0,0097 16,1735 16,1832 0,0044 0,0111 UJCS 0,0127 44,3681 15,6192 0,0105 15,6115 0,0077 15,6192 2,4763 6,2748 UMH 0,0121 36,2292 6,3748 0,0118 0,0087 23,7501 23,7588 0,0000 9,8546 UVEG 0,0103 38,1931 20,5888 0,0170 0,0104 20,5784 20,5888 0,0059 0,0075 UEX 0,0107 29,9893 30,0000 0,0071 29,9921 0,0079 3,1589 0,2446 6,5894 ULC 19,9863 0,0114 19,9978 0,0112 0,0090 19,9887 19,9978 0,0000 19,9978 USC 29,9901 0,0099 0,0100 9,9835 29,9901 0,0099 0,0065 10,2889 19,7111 UVI 20,0760 4,9164 24,9924 0,0103 11,5659 13,4264 24,9924 0,0100 0,0102 UAH 42,4022 0,0110 0,0079 4,8185 0,0084 17,5784 17,5868 2,3866 15,2002 UAM 19,7521 0,0108 0,0088 5,5571 3,1067 37,1303 19,7630 0,0169 14,6542 UCAR 34,2063 0,0118 25,7819 0,2832 25,7722 0,0096 0,0035 13,9227 0,0088 UCM 24,9838 0,0108 0,0103 0,0111 20,3672 4,6275 24,9947 24,9848 0,0098 URJC 46,6560 0,0139 13,3301 0,0097 6,5542 6,7759 13,3301 0,0000 13,3301 UMU 10,4069 19,5931 0,0069 0,0101 0,0092 29,9908 9,9830 1,0601 28,9399 UPN 0,1003 46,7312 13,1685 0,4945 13,1623 0,0062 13,1685 3,8265 9,3421 UPV 39,8138 0,0112 20,1750 0,0074 14,2523 5,9227 3,0396 2,0721 14,7058 URI 28,7251 16,4220 14,8529 0,0089 0,0064 14,8465 14,8529 0,0000 10,2853 Nota: Las universidades que alcanzan el valor máximo en el ISCUE v1 aparecen sombreadas Fuente: Elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 239 Tabla 4.9. Importancia relativa de cada componente en el ISCUE v1 (en %) Universidad DOC ADAP INT INV POS SERV UAL 43,6700 16,3300 0,0134 16,3300 16,3300 7,3266 UCA 43,6553 16,3447 6,3290 16,3447 16,3447 0,9815 UCO 21,3143 21,3143 14,7362 21,3143 0,0067 21,3143 UGR 24,1319 24,1319 3,2136 24,1319 24,1319 0,2588 UHU 40,0109 19,9891 0,0131 19,9891 19,9891 0,0087 UJA 47,4515 12,5485 4,1420 12,5485 12,5485 10,7610 UMA 40,2760 19,7240 0,0108 19,7240 8,3950 11,8701 UPO 46,1071 13,8929 7,7537 13,8929 13,8929 4,4605 USE 32,3779 27,6221 4,7078 27,6221 4,5139 3,1562 UZA 50,0000 10,0000 10,0000 10,0000 10,0000 10,0000 UOV 40,0083 19,9917 0,0097 19,9917 0,0069 19,9917 UIB 40,0071 19,9929 0,0064 19,9929 19,9929 0,0079 ULL 44,3073 15,6927 0,0081 15,6927 8,6065 15,6927 ULPGC 48,3849 11,6151 11,6151 11,6151 11,6151 5,1548 UCN 19,9890 0,0109 19,9890 40,0110 19,9890 0,0112 UCLM 44,3026 15,6974 0,0099 15,6974 10,0692 14,2236 UBU 43,3504 16,6496 0,0080 16,6496 6,6928 16,6496 ULE 46,6710 13,3290 0,0131 13,3290 13,3290 13,3290 USAL 49,5974 10,4026 10,4026 10,4026 8,7922 10,4026 UVA 50,0000 10,0000 10,0000 10,0000 10,0000 10,0000 UAB 30,0000 0,0108 9,9799 30,0000 0,0093 30,0000 UBA 35,5422 15,5169 0,0081 24,4578 24,4578 0,0172 UDG 46,6691 13,3309 0,0073 13,3309 13,3309 13,3309 UDL 30,0000 0,0065 0,0082 30,0000 9,9853 30,0000 UPF 30,0000 0,0118 30,0000 30,0000 0,0062 9,9820 URV 16,7660 6,4612 0,0068 43,2340 16,7660 16,7660 UA 43,8168 16,1832 7,6181 16,1832 16,1832 0,0155 UJCS 44,3808 15,6192 0,0105 15,6192 15,6192 8,7511 UMH 36,2412 6,3748 0,0118 23,7588 23,7588 9,8546 UVEG 38,2033 20,5888 0,0170 20,5888 20,5888 0,0133 UEX 30,0000 30,0000 0,0071 30,0000 3,1589 6,8340 ULC 19,9978 19,9978 0,0112 19,9978 19,9978 19,9978 USC 30,0000 0,0100 9,9835 30,0000 0,0065 30,0000 UVI 24,9924 24,9924 0,0103 24,9924 24,9924 0,0203 UAH 42,4132 0,0079 4,8185 17,5868 17,5868 17,5868 UAM 19,7630 0,0088 5,5571 40,2370 19,7630 14,6711 UCAR 34,2181 25,7819 0,2832 25,7819 0,0035 13,9315 UCM 24,9947 0,0103 0,0111 24,9947 24,9947 24,9947 URJC 46,6699 13,3301 0,0097 13,3301 13,3301 13,3301 UMU 30,0000 0,0069 0,0101 30,0000 9,9830 30,0000 UPN 46,8315 13,1685 0,4945 13,1685 13,1685 13,1685 UPV 39,8250 20,1750 0,0074 20,1750 3,0396 16,7780 URI 45,1471 14,8529 0,0089 14,8529 14,8529 10,2853 Nota: Las universidades que alcanzan el valor máximo en el ISCUE v1 aparecen sombreadas Fuente: Elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 240 A pesar de la introducción de restricciones continúa habiendo indicadores parciales que en la práctica son obviados en cuanto a su importancia en el índice sintético, es decir, cuya contribución virtual es casi nula, si bien en una cantidad muy inferior a lo que ocurría con el escenario original. Esto tiene que ver con dos razones:  En primer lugar, las cotas inferiores sobre las ponderaciones se han establecido en términos absolutos, por lo tanto a pesar de que esos indicadores en la práctica han sido ponderados la aportación al ISCUE v1 no es muy elevada proporcionalmente. En este sentido el análisis de sensibilidad nos ayudará a conocer cómo hubiesen cambiado los resultados del índice si se hubiesen tenido en cuenta esquemas alternativos de restricciones sobre los pesos.  En segundo lugar, la forma en la que se han introducido las restricciones de priorización en términos virtuales, atendiendo a componentes y no a indicadores parciales, provoca que dentro de aquellas componentes representadas por dos indicadores parciales las universidades otorguen mayor peso al indicador parcial que más le favorece en esa área. Es este sentido quizá sea más relevante la información aportada por la tabla 4.9 que refleja la contribución de cada componentes al ISCUE v1. Atendiendo a los valores obtenidos en la resolución del problema llama la atención que la contribución virtual de la componente adaptación de la oferta a la demanda para las seis universidades que obtienen el valor máximo del índice sintético es casi nula. Esto no quiere indicar que el comportamiento de estas universidades en esa área sea malo, sino que simplemente su posición relativa con respecto al resto de universidades en otras áreas es mejor. Por ejemplo, la universidad Pompeu Fabra es la tercera mejor universidad en el indicador parcial de esa componente entre las universidades evaluadas Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 241 y las de Cantabria y Autónoma de Barcelona están entre las 12 mejores y, sin embargo, la importancia relativa en el índice de esa componente está por debajo del 1%. Además, y como se comentó anteriormente, la estructura de ponderaciones que lleva a la solución de un índice sintético construido con DEA puede no ser única y, por lo tanto, los valores de la contribución porcentual de los distintos indicadores y componentes tampoco. Por otra parte las seis universidades que alcanzan el valor máximo en el ISCUE v1 saturan la restricción virtual simple que impone una cota superior a la importancia relativa de las dos áreas más valoradas, docencia e investigación. Es decir, la aportación virtual conjunta de estas dos componentes al índice sintético es la máxima permitida por la restricción, el 60% del valor del ISCUE v1. De todas formas hay que señalar que esta característica se da para casi la totalidad de las instituciones consideradas. Sólo seis de las universidades evaluadas, el 14%, no saturan esta restricción: Córdoba, Granada, Valencia (Estudi General), La Coruña, Vigo y Complutense. En lo que si existe mayor variabilidad es en la combinación entre componentes que lleva a saturar la restricción. Entre las seis universidades que alcanzan el valor máximo del indicador cuatro de ellas, Autónoma de Barcelona, Lleida, Pompeu Fabra y Santiago de Compostela, otorgan el mismo peso a ambas componentes, el 30%. Mientras las dos restantes, Cantabria y Autónoma de Madrid, le dan a la componente investigación el doble de peso que a la docencia. Además de estas dos, sólo otra universidad, la Rovira i Virgili, entre las 43 evaluadas tiene una estructura de ponderaciones que otorga un peso mayor a la componente investigación que a la componente docencia. De las restantes 40 universidades, 11 otorgan el mismo peso a ambas componentes y las 29 restantes dan mayor peso a la componente docencia que a la componente investigación. En este último conjunto se sitúan las dos universidades que se quedan muy próximas al valor máximo del ISCUE v1, Zaragoza y Carlos III. Entre ambas también hay Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 242 diferencias significativas, ya que para la universidad Carlos III el peso de la docencia es ligeramente superior al de la investigación, mientras en el caso de la universidad de Zaragoza el peso de la componente docencia es cinco veces mayor que el de la investigación. Entre las universidades que alcanzan el valor máximo del ISCUE v1 la universidad de Cantabria otorga el mayor peso a la componente investigación, un 40%, principalmente motivado porque es la universidad española que obtiene el mejor ratio en el indicador ingresos de investigación por PDI duplicando el valor medio de las universidades españolas. Las siguientes áreas más priorizadas son la docencia, donde destaca por ser la cuarta en el indicador de profesor por alumno, la internacionalización y el postgrado. En estas dos últimas áreas a pesar de situarse por encima del promedio de las universidades analizadas, no se encuentra entre las diez mejores. Finalmente, esta universidad otorga un valor residual a la componente servicios. Las universidades Autónoma de Barcelona y Santiago de Compostela muestran una estructura de ponderaciones por componentes idénticas. Otorgan el mismo peso a las componentes docencia, investigación y servicios, 30% a cada una, un peso sensiblemente inferior a la internacionalización y un peso residual a las restantes componentes. Esta estructura demuestra que ambas universidades son muy eficaces en cuanto a la componente de servicios puesto que su ponderación iguala el peso de las dos componentes más priorizadas. La universidad Autónoma de Barcelona se encuentra entre las 12 mejores universidades en siete de los nueve indicadores analizados y sólo se encuentra por debajo de la media española en el indicador de postgrado. Además es la mejor institución en tesis por PDI doctor, la segunda en plazas de residencias por alumno, la tercera en tasa de rendimiento académico y la quinta en alumnos de intercambio. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 243 Por su parte la universidad de Santiago de Compostela destaca como se ha indicado en los indicadores de servicios. Es segunda entre las universidades evaluadas en el indicador de puestos en bibliotecas y séptima en el indicador de plazas en residencias doblando el promedio de todas las instituciones. Además la universidad de Santiago de Compostela destaca en el indicador de ingresos de investigación por PDI en el que es segunda tras la universidad de Cantabria y junto con esta la única cuyo valor dobla al valor medio de las universidades analizadas. Sin embargo, se queda por debajo del valor medio en los restantes seis indicadores, si bien sólo en el indicador de postgrado con un valor que se aleja de la media de las universidades analizadas. La universidad de Lleida es un caso similar a las dos anteriores y presenta una estructura de pesos análoga a la Autónoma de Barcelona y a la de Santiago de Compostela. Otorga el mismo peso, 30%, a las componentes docencia, investigación y servicios al igual que éstas. La única diferencia es que la universidad de Lleida da un peso residual a la internacionalización y un peso considerable al postgrado. La universidad de Lleida tiene sus mejores valores relativos en los indicadores de servicios y docencia. En cuanto a los servicios es la mejor de las universidades analizadas en cuanto a puestos en bibliotecas y está considerablemente por encima de la media española en cuanto a plazas en residencias. Por otra parte se encuentra entre las seis mejores universidades tanto en los dos indicadores de docencia como en el indicador de postgrado. Además se encuentra por encima de la media española en los dos indicadores de investigación, destacando más en el de ingresos de investigación por PDI. En los dos indicadores restantes se encuentra bastante por debajo del promedio español, siendo la tercera peor entre las universidades evaluadas en cuanto a adaptación de la oferta a la demanda. Este indicador quizá pueda explicarse por la presencia en su entorno de otras universidades, como la Autónoma de Barcelona o la Pompeu Fabra, de mayor renombre y Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 250 Entre las universidades que obtienen los peores resultados se mantienen tres de las universidades que ya aparecían en el escenario anterior: La Rioja, Las Palmas de Gran Canaria y Rey Juan Carlos. La otra institución que no alcanzaba el valor 0,70 en el ISCUE v1, la universidad de Jaén, supera en este nuevo escenario a las universidades de las Islas Baleares y Málaga. Además se incrementa de cuatro a nueve el número de universidades que no llegan al valor 0,70 en el ISCUE v2 y dos de ellas no alcanzan el 0,60. Como se puede apreciar ninguna universidad mejora los resultados obtenidos en el escenario anterior, debido a que la introducción de nuevas restricciones reduce el conjunto factible de soluciones. Esto se traduce en una mayor capacidad discriminante del modelo, pasando el valor mínimo de 0,61 a 0,53. En las tablas 4.13 y 4.14 se presenta la importancia relativa en el ISCUE v2 de cada indicador parcial y de cada componente, respectivamente. Como se puede apreciar se reduce considerablemente, en un 72% con respecto al escenario 1, el número de aportaciones virtuales residuales (inferiores al 1%) en términos de componentes. En otras palabras las nuevas restricciones obligan a las universidades a tener más presentes la calidad que reflejan los diferentes indicadores parciales y las distintas áreas. Otra diferencia significativa con respecto al escenario anterior es que ahora la mayoría de universidades, el 63%, no saturan la restricción del 60% de aportación máxima de docencia e investigación. Entre éstas se encuentra una de las universidades que obtienen el valor máximo, la universidad de Cantabria, para la cual la importancia relativa de las dos componentes más priorizadas sólo llega al 43%. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 251 Tabla 4.13. Importancia relativa de cada indicador en el ISCUE v2 (en %) Univ. I1 I2 I3 I4 I5 I6 I7 I8 I9 UAL 15,5925 1,0742 16,6667 16,6667 16,6592 0,0075 16,6667 0,0000 16,6667 UCA 23,9832 16,0168 12,0000 12,0000 11,9907 0,0093 12,0000 1,0946 10,9054 UCO 22,2083 0,0111 16,6676 16,6676 22,2071 0,0123 0,0067 7,7915 14,4279 UGR 0,0106 39,9894 12,0000 12,0000 11,9842 0,0158 12,0000 2,3638 9,6362 UHU 39,9861 0,0139 12,0000 12,0000 10,3974 1,6026 12,0000 0,0000 12,0000 UJA 0,0122 39,9878 12,0000 12,0000 11,9914 0,0086 12,0000 2,5214 9,4786 UMA 11,8638 28,1362 8,9458 8,9458 19,9881 0,0119 8,9458 1,7162 11,4462 UPO 0,0105 39,9895 8,0069 15,9794 19,9897 0,0103 8,0069 8,0024 0,0045 USE 13,0109 26,9891 10,0000 10,0000 19,9879 0,0121 10,0000 3,1511 6,8489 UZA 39,9890 0,0110 12,0000 12,0000 9,4204 2,5796 12,0000 3,1611 8,8389 UOV 39,9890 0,0110 9,0094 9,0094 19,2111 0,7889 1,9811 0,7381 19,2619 UIB 39,9854 0,0146 12,0000 12,0000 11,9898 0,0102 12,0000 0,0000 12,0000 ULL 17,3204 22,6796 6,9325 6,9325 19,5908 0,0105 6,9325 6,0730 13,5283 ULPGC 0,0137 39,9863 12,0000 12,0000 11,2455 0,7545 12,0000 6,2161 5,7839 UCN 18,5026 0,0101 0,7457 18,5127 25,1958 0,0078 18,5127 0,0000 18,5127 UCLM 0,0118 39,9882 6,6667 6,6667 19,9883 0,0117 6,6667 0,2992 19,7008 UBU 39,9859 0,0141 6,6667 6,6667 0,0059 19,9941 6,6667 1,6371 18,3629 ULE 0,0122 39,9878 12,0000 12,0000 0,0090 11,9910 12,0000 1,9894 10,0106 USAL 39,9887 0,0113 12,0000 12,0000 0,0043 11,9957 12,0000 2,5540 9,4460 UVA 39,9881 0,0119 12,0000 12,0000 0,0067 11,9933 12,0000 2,2063 9,7937 UAB 29,9887 0,0113 0,0108 9,9799 0,0144 29,9856 0,0093 29,9887 0,0113 UBA 39,9862 0,0138 10,0000 10,0000 0,0138 19,9862 10,0000 2,3472 7,6528 UDG 39,9839 0,0161 12,0000 12,0000 0,0074 11,9926 12,0000 3,9329 8,0671 UDL 33,2162 0,0113 0,0066 6,6105 22,2784 4,4941 6,6105 3,6712 23,1013 UPF 0,0112 29,9888 0,0118 30,0000 0,0157 29,9843 0,0062 0,0000 9,9820 URV 0,0098 29,9902 0,0076 4,9962 29,9832 0,0168 4,9962 0,6124 29,3876 UA 39,9876 0,0124 12,0000 12,0000 0,0101 11,9899 12,0000 0,6759 11,3241 UJCS 35,5321 4,4679 12,0000 12,0000 11,9920 0,0080 12,0000 3,5688 8,4312 UMH 39,9860 0,0140 0,0089 14,9978 0,0093 14,9884 14,9978 0,0000 14,9978 UVEG 0,0113 39,9887 12,0000 12,0000 0,0114 11,9886 12,0000 1,7528 10,2472 UEX 5,8761 15,2584 6,2885 6,2885 38,8566 0,0089 6,2885 0,0026 21,1319 ULC 39,9873 0,0127 12,0000 12,0000 0,0100 11,9900 12,0000 0,0000 12,0000 USC 29,9901 0,0099 4,9968 4,9968 29,9901 0,0099 0,0065 12,5982 17,4018 UVI 16,6563 0,0104 16,6667 16,6667 16,6518 0,0149 16,6667 4,2746 12,3920 UAH 39,9888 0,0112 0,0081 14,9980 11,2017 3,7962 14,9980 8,3420 6,6560 UAM 16,7714 0,0110 0,0090 16,7824 22,8769 9,9845 16,7824 4,1254 12,6570 UCAR 39,9880 0,0120 13,3322 13,3322 19,9902 0,0098 0,0035 13,3232 0,0089 UCM 39,9887 0,0113 12,0000 12,0000 9,0104 2,9896 12,0000 11,9898 0,0102 URJC 39,9842 0,0158 12,0000 12,0000 11,0458 0,9542 12,0000 0,0000 12,0000 UMU 29,9875 0,0125 0,0072 4,9964 0,0096 29,9904 4,9964 1,8309 28,1691 UPN 28,3314 11,6686 12,0000 12,0000 11,9935 0,0065 12,0000 5,2889 6,7111 UPV 39,9879 0,0121 9,4528 9,4528 19,9883 0,0117 3,7046 5,1601 12,2297 URI 39,9816 0,0184 12,0000 12,0000 0,0074 11,9926 12,0000 0,0000 12,0000 Nota: Las universidades que alcanzan el valor máximo en el ISCUE v2 aparecen sombreadas Fuente: Elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 252 Tabla 4.14. Importancia relativa de cada componente en el ISCUE v2 (en %) Universidad DOC ADAP INT INV POS SERV UAL 16,6667 16,6667 16,6667 16,6667 16,6667 16,6667 UCA 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UCO 22,2194 16,6676 16,6676 22,2194 0,0067 22,2194 UGR 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UHU 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UJA 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UMA 40,0000 8,9458 8,9458 20,0000 8,9458 13,1625 UPO 40,0000 8,0069 15,9794 20,0000 8,0069 8,0069 USE 40,0000 10,0000 10,0000 20,0000 10,0000 10,0000 UZA 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UOV 40,0000 9,0094 9,0094 20,0000 1,9811 20,0000 UIB 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 ULL 40,0000 6,9325 6,9325 19,6013 6,9325 19,6013 ULPGC 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UCN 18,5127 0,7457 18,5127 25,2036 18,5127 18,5127 UCLM 40,0000 6,6667 6,6667 20,0000 6,6667 20,0000 UBU 40,0000 6,6667 6,6667 20,0000 6,6667 20,0000 ULE 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 USAL 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UVA 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UAB 30,0000 0,0108 9,9799 30,0000 0,0093 30,0000 UBA 40,0000 10,0000 10,0000 20,0000 10,0000 10,0000 UDG 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UDL 33,2275 0,0066 6,6105 26,7725 6,6105 26,7725 UPF 30,0000 0,0118 30,0000 30,0000 0,0062 9,9820 URV 30,0000 0,0076 4,9962 30,0000 4,9962 30,0000 UA 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UJCS 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UMH 40,0000 0,0089 14,9978 14,9978 14,9978 14,9978 UVEG 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UEX 21,1345 6,2885 6,2885 38,8655 6,2885 21,1345 ULC 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 USC 30,0000 4,9968 4,9968 30,0000 0,0065 30,0000 UVI 16,6667 16,6667 16,6667 16,6667 16,6667 16,6667 UAH 40,0000 0,0081 14,9980 14,9980 14,9980 14,9980 UAM 16,7824 0,0090 16,7824 32,8614 16,7824 16,7824 UCAR 40,0000 13,3322 13,3322 20,0000 0,0035 13,3322 UCM 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 URJC 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UMU 30,0000 0,0072 4,9964 30,0000 4,9964 30,0000 UPN 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 UPV 40,0000 9,4528 9,4528 20,0000 3,7046 17,3898 URI 40,0000 12,0000 12,0000 12,0000 12,0000 12,0000 Nota: Las universidades que alcanzan el valor máximo en el ISCUE v2 aparecen sombreadas Fuente: Elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 253 Bajo este escenario de restricciones sólo tres universidades, Cantabria, Extremadura y Autónoma de Madrid, otorgan un peso mayor a la componente investigación que al área de docencia. Otras ocho otorgan la misma importancia a ambas componente y para las 32 restantes la mayor importancia relativa en el índice procede de la componente docencia. Entre las mejores universidades en términos del ISCUE v2, la universidad de Cantabria es la que presenta una estructura de ponderaciones más equilibrada. Mantiene como área con mayor contribución al índice a la investigación, pero ahora el peso de este área es sólo ligeramente superior al del resto de componentes cuyo participación en el ISCUE v2 es equitativa, con la salvedad de la adaptación de la oferta a la demanda que tiene una participación ínfima. Las otras tres universidades, Autónoma de Barcelona, Pompeu Fabra y Santiago de Compostela, saturan la restricción del 60% de aportación máxima de las componentes docencia e investigación, con una importancia relativa idéntica de ambas áreas al valor del ISCUE v2. En las tres universidades hay otra componente con un peso idéntico al de las dos más priorizadas: los servicios en el caso de las universidades Autónoma de Barcelona y de Santiago de Compostela y la internacionalización en el caso de la Pompeu Fabra. Como puede apreciarse a pesar de la introducción de nuevas restricciones los cambios en el indicador, especialmente en términos relativos, son pequeños. 4.2.4.Comparacióndelosdistintosescenarios La tabla 4.15 proporciona una comparación de los tres modelos presentados en las secciones anteriores, el ISCUE original, el ISCUE v1 y el ISCUE v2, a través de un resumen de los resultados que arrojan. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 254 Tabla 4.15. Resumen de los resultados de los tres escenarios Escenario original Escenario 1 Escenario 2 Media 0,9553 0,8499 0,7989 Desviación típica 0,0610 0,1066 0,1264 Mínimo 0,7719 0,6144 0,5307 Nº de unidades con valor 1 20,000 6,0000 4,0000 Porcentaje de universidades con valor 1 46,5116 13,9535 9,3023 Fuente: elaboración propia Como se aprecia en la tabla la introducción de restricciones adicionales en el cálculo del índice sintético endurece las condiciones para que las universidades se acerquen al valor máximo del indicador. Mientras en el escenario original, sin restricciones, casi la mitad de las instituciones evaluadas, 20, obtienen un valor de uno, la incorporación de restricciones provoca que sólo sean 6 y 4 en los escenarios 1 y 2, respectivamente. Además el valor medio del ISCUE original está muy próximo a uno, 0,96, mientras en los escenarios más restrictivos esos valores sólo alcanzan 0,85 y 0,80. Otro aspecto importante de la introducción de restricciones es el incremento en la capacidad discriminatoria del indicador sintético, ya que los escenarios 1 y 2 duplican o casi la desviación típica de los resultados del modelo. Todo esto ocurre porque el sistema de ponderaciones debe respetar las prioridades establecidas de manera que todos los indicadores parciales planteados deben ser tenidos en cuenta y las áreas de docencia e investigación, deben ser las más valoradas. En cambio como se vio con anterioridad estas prioridades eran violadas por diversas instituciones que en el escenario original alcanzaban el valor máximo. La introducción de restricciones adicionales, por lo tanto, previene que las universidades se aprovechen de tener un buen comportamiento en un único indicador parcial o componente y le asignen la práctica totalidad del peso del índice sintético. Esta prevención es coherente con la visión que se adoptó en el marco teórico del ISCUE de la calidad como eficacia, ya que como ha sido señalado no resulta posible asegurar la calidad de las instituciones universitaria a través de un solo indicador parcial o una sola componente, sino que el Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 255 logro de la calidad debe hacerse de manera integral. Las restricciones del modelo evitan así comportamientos como, por ejemplo, el de las universidades Pompeu Fabra o Complutense en el escenario original que logran un valor 1 en el ISCUE pero donde el 99% del valor del índice proviene de las componentes internacionalización, en el primer caso, y servicios, en el segundo, obviando casi completamente las restantes componentes. Es importante advertir que la introducción de restricciones no impide a las universidades lograr el valor máximo del indicador, sino que simplemente les obliga a escoger una estructura de ponderaciones más realista con la visión integral de la calidad propuesta. Así, por ejemplo, la universidad Pompeu Fabra obtiene el valor máximo en los tres escenarios, pero mientras en el escenario original lo logra ponderando, casi exclusivamente, la componente internacionalización, en los escenarios con restricciones lo hace con una estructura de ponderaciones mucho más equilibrada. Por este motivo la introducción de restricciones en el modelo queda plenamente justificada ya que evitan la flexibilidad total en la asignación de pesos y la obtención de resultados que no reflejen la realidad del fenómeno que se está estudiando, la calidad de las universidades. 4.3.Análisisdeincertidumbreysensibilidad Una vez presentados los resultados del ISCUE, es conveniente realizar un análisis de cómo han podido influir las opciones metodológicas seleccionadas en los resultados obtenidos. Para ello se aborda a continuación un análisis de incertidumbre y de sensibilidad en los términos presentados en la sección 3 del capítulo anterior. Como se indicó en su momento el análisis de sensibilidad se presenta Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 256 solamente para el ISCUE v1, dada la poca idoneidad del escenario original para reflejar la realidad que nos ocupa y dada la mayor controversia que pueden generar las restricciones adicionales del segundo escenario. 4.3.1.Análisisdeincertidumbre En el caso del ISCUE v1 el análisis de incertidumbre se centra en tres grupos de factores principales: las cotas absolutas sobre las ponderaciones (factores X1, X2,…, X9), el esquema de normalización (X10) y el uso de indicadores parciales alternativos (X11 para el indicador parcial Tasa de rendimiento académico y X12 para el indicador parcial Tesis leídas). Estos factores dan lugar como se explicó en el capítulo anterior a 31145.728 combinaciones posibles de los factores de incertidumbre, definiendo cada combinación a través de un esquema de Monte Carlo una simulación con diferentes umbrales de las ponderaciones, esquema de normalización e indicadores parciales. Ante la dificultad computacional para realizar un análisis completo de todo el espacio de incertidumbre, se seleccionó una muestra aleatoria representativa de ese espacio de 16.501 combinaciones de factores de incertidumbre54. Para realizar el análisis se calcularon los resultados del indicador sintético para cada una de las realizaciones de la muestra obteniendo 16.501 valores distintos del ISCUE v1. En cada ocasión se utilizó cada uno los factores determinados por la muestra seleccionada del espacio de incertidumbre. Análogamente a lo realizado para el cálculo del indicador parcial, los resultados de todos los escenarios han sido obtenidos utilizando el paquete lpSolve del software y lenguaje de programación de código abierto R en su versión 2.14.0.  54 Los resultados del análisis de esta muestra arrojan un nivel de confianza del 99% y un error muestral del 1%. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 257 Este esquema provoca que los valores obtenidos del ISCUE v1 estén asociados a los correspondientes factores de incertidumbre de manera que se pueda apreciar su influencia. Como resultado, todos los valores del indicador sintético son funciones no lineales de los factores de incertidumbre y el objetivo del análisis de incertidumbre es la estimación de las funciones de distribución de probabilidad. El gráfico 4.1 presenta los resultados del análisis de incertidumbre del ISCUE v1 sintetizados a través de los estadísticos (mediana y percentiles 5 y 95) para cada universidad, junto con el valor del propio índice sintético. Las barras representan el rango que va del 5º al 95º percentil de los valores obtenidos en las simulaciones del ISCUE v1. La altura de la caja representa la distancia entre el valor del ISCUE v1 y el valor mediano de las simulaciones realizadas. Las cajas blancas indican que el ISCUE v1 sobrevalora el valor mediano de las simulaciones realizadas y la caja negra que el valor mediano es superior al valor del índice presentado en la sección anterior. Gráfico 4.1. Resultados del análisis de incertidumbre (Valores del ISCUE v1) Nota: La caja blanca indica que el valor del ISCUE v1 es mayor que la mediana y el color oscuro que la mediana es mayor que el valor del índice Fuente: elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 258 Considerando el rango de los umbrales de incertidumbre, los resultados más volátiles se presentan para las universidades que obtienen los peores resultados en el índice sintético. Buenos ejemplos de esto son las universidades de Las Palmas de Gran Canaria, Rey Juan Carlos, La Rioja y Burgos, que presentan un rango de variación entre el percentil 5 y el 95 superior a 0,50. Sin embargo, entre estas universidades sólo la de Burgos se cuela entre las cinco universidades que presentan, en términos absolutos, una mayor discrepancia entre el valor del ISCUE v1 y la mediana. La tabla 4.16 presenta estas diferencias entre los valores del indicador y la mediana para todas las universidades, tanto en términos absolutos como relativos. Cinco de las seis universidades que obtienen los mejores resultados en el ISCUE v1 reafirman sus valores bajo el análisis de incertidumbre, y tanto el valor mediano como sus percentiles 5 y 95 alcanzan el valor uno. La única universidad que alcanza el valor máximo del ISCUE v1 cuyo percentil 5 es menor que uno es la universidad de Santiago de Compostela. En cualquier caso el valor mediano de esta universidad también es uno. Asimismo las dos universidades cuyos valores para el índice sintético están próximos a la unidad también refrendan su valor en el análisis de incertidumbre y presentan muy poca variabilidad ante los factores considerados. Estos resultados parecen indicar que las universidades que obtienen los mejores resultados en el ISCUE v1 lo harían también en cualquiera de los escenarios alternativos considerados. Por lo que respecta a las universidades más afectadas por la incertidumbre del indicador sintético sólo tres universidades obtienen un valor en el ISCUE v1 por debajo del valor mediano de los diferentes escenarios: las universidades de La Laguna, Pública de Navarra y Girona. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 259 Tabla 4.16. Diferencia entre los valores del ISCUE v1 y la mediana Univ. ISCUE v1 Mediana Diferencia Mediana/ISCUE v1 (%) UAL 0,8570 0,8540 0,0030 0,35% UCA 0,8415 0,8328 0,0086 1,03% UCO 0,9109 0,9107 0,0002 0,02% UGR 0,8228 0,8167 0,0061 0,74% UHU 0,7724 0,7710 0,0014 0,18% UJA 0,6990 0,6955 0,0035 0,49% UMA 0,7086 0,7070 0,0016 0,23% UPO 0,8610 0,7871 0,0739 8,58% USE 0,7878 0,7866 0,0012 0,16% UZA 0,9902 0,9901 0,0001 0,01% UOV 0,8920 0,8918 0,0002 0,02% UIB 0,8307 0,8286 0,0021 0,25% ULL 0,7834 0,8398 -0,0564 -7,20% ULPGC 0,6380 0,6380 0,0000 0,00% UCN 1,0000 1,0000 0,0000 0,00% UCLM 0,8409 0,7754 0,0654 7,78% UBU 0,7723 0,7194 0,0529 6,85% ULE 0,7627 0,7584 0,0043 0,57% USAL 0,9389 0,9065 0,0324 3,45% UVA 0,8688 0,8613 0,0076 0,87% UAB 1,0000 1,0000 0,0000 0,00% UBA 0,9524 0,9345 0,0179 1,88% UDG 0,8188 0,8274 -0,0087 -1,06% UDL 1,0000 1,0000 0,0000 0,00% UPF 1,0000 1,0000 0,0000 0,00% URV 0,9534 0,9184 0,0350 3,67% UA 0,7706 0,7674 0,0032 0,42% UJCS 0,7982 0,7939 0,0043 0,54% UMH 0,7606 0,7540 0,0066 0,87% UVEG 0,7953 0,7848 0,0105 1,32% UEX 0,8700 0,8564 0,0135 1,56% ULC 0,7766 0,7494 0,0272 3,51% USC 1,0000 1,0000 0,0000 0,00% UVI 0,9340 0,9318 0,0022 0,23% UAH 0,8965 0,8869 0,0096 1,07% UAM 1,0000 1,0000 0,0000 0,00% UCAR 0,9853 0,9851 0,0002 0,02% UCM 0,9139 0,9195 -0,0056 -0,62% URJC 0,6461 0,6460 0,0002 0,03% UMU 0,7669 0,7520 0,0150 1,95% UPN 0,9218 0,9607 -0,0389 -4,22% UPV 0,7920 0,7862 0,0058 0,73% URI 0,6144 0,6144 0,0000 0,00% Nota: En negrita los valores relativos mayores que el |5%|. En cursiva los valores relativos entre el |2%| y el |5%|. Sombreados los valores relativos negativos. Fuente: elaboración propia Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 266 Si excluimos del análisis a las cinco universidades cuya volatilidad es prácticamente nula (todas las que obtienen el valor máximo del indicador menos la universidad de Santiago de Compostela), la incertidumbre en los valores del índice sintético es debida fundamentalmente al factor X10, es decir, al tipo de normalización elegido. En promedio hasta un 79% de la incertidumbre de los valores del ISCUE v1 viene explicado por este factor. Esto es especialmente relevante en el caso de las universidades con valores medios y bajos que son las presentan una mayor volatilidad en los resultados del índice, esto es, las que presentan un mayor rango de variación en los escenarios de incertidumbre. Sólo para tres universidades, La Laguna, Rovira i Virgili y Pública de Navarra, el factor normalización no es el que más afecta a la incertidumbre de los resultados. Para las dos primeras universidades el factor que más afecta a la incertidumbre de sus resultados es la elección del segundo indicador de investigación (tesis leídas o publicaciones WoS), mientras que para la universidad Pública de Navarra es la elección del segundo indicador de docencia (tasa de rendimiento académico o tasa de abandono). Entre los dos factores que representan la elección de indicadores parciales alternativos, la elección del indicador de docencia explica más de un 7% de la incertidumbre de los resultados de las universidades en promedio, mientras que la elección del indicador de investigación explica casi un 6% de esa incertidumbre. Por lo tanto, podemos concluir que la introducción de estos indicadores adicionales introduce poca volatilidad sobre los resultados del indicador sintético. La elección de cotas simples sobre las restricciones absolutas del modelo puede decirse que no afecta de ninguna manera a la incertidumbre de los resultados. En concreto, en promedio para cada universidad los nueve factores de incertidumbre que representan a dichas cotas no alcanzan a capturar conjuntamente ni un 1% de la variabilidad de los resultados. Capítulo 4. Resultados del ISCUE (Curso 2008/2009) La calidad en la educación superior a través de indicadores sintéticos 267 Finalmente hay que indicar que las medidas de primer orden capturan la mayor parte de la variabilidad del modelo. En concreto si excluimos a las seis universidades que obtienen el valor máximo del ISCUE v1, más de un 93% de la incertidumbre en los valores del índice, puede explicarse a partir de los efectos directos de los factores de incertidumbre considerados. Para esas seis universidades los efectos de primer orden sólo capturan el 11% de la incertidumbre. Sin embargo, teniendo en cuenta que la volatilidad de los resultados para estas universidades es casi nula, carece de sentido adentrarse en el análisis de las medidas de segundo orden. Conclusiones La calidad en la educación superior a través de indicadores sintéticos 269      Conclusiones Como no podía ser de otra manera, las últimas páginas de esta Tesis Doctoral están dedicadas a resaltar, a modo de reflexiones finales, las principales conclusiones que se han ido obteniendo en los sucesivos capítulos. El objetivo de partida consistía en proponer un enfoque cuantitativo para la evaluación integral de la calidad de las instituciones en el sistema universitario español. Un complemento para enfoques más cualitativos, que contribuya a aumentar la transparencia sobre la Educación Superior pública española, pero respetando las particularidades de las distintas instituciones. Una pequeña contribución, un grano de arena, en la cultura de búsqueda de calidad en la que está inmersa la Universidad española, en un momento en el que, si la calidad es fundamental para la Universidad, la Universidad lo es todavía más para la sociedad. Precisamente era esa la idea fundamental que inspiraba y guiaba esta investigación, y que parece conveniente hacer explícita de nuevo al final de este recorrido. La Universidad española afronta ahora mismo una compleja combinación de retos; un verdadero cambio de ciclo en el que se juega (todos nos jugamos), no sólo la supervivencia de algunas instituciones, sino el éxito o el fracaso como sociedad en nuestro intento de salir de esta crisis económica con bases, sociales y económicas, mucho más sólidas de las que nos han llevado a ella. En Conclusiones La calidad en la educación superior a través de indicadores sintéticos 270 este contexto, todas las iniciativas que favorezcan la búsqueda de la calidad y su evaluación a través de métodos transparentes y fácilmente comprensibles podrían ayudar directamente a la institución en sí y a su imagen y contribución a la sociedad. Con este propósito, el de contribuir y complementar modestamente a este proceso, se ha realizado esta Tesis Doctoral. En el primer capítulo se ha revisado la historia de la universidad desde la perspectiva de la creciente complejidad de la institución, encargada cada vez de más funciones y objetivos. Esta realidad multifuncional de las instituciones universitarias actuales implica que cualquier evaluación integral de las mismas, o de su calidad, deba hacerse necesariamente desde una perspectiva multidimensional. Además se ha fundamentado la actual cultura de la calidad universitaria, y las vías en las que ésta se plasma: la acreditación y la evaluación. En el capítulo segundo, se ha revisado la metodología para la aproximación de nociones multidimensionales a través de su operacionalización en una única variable cuantitativa. La construcción de un indicador sintético requiere de la observación de una serie de pasos y de elegir, en cada uno de ellos, por unas u otras opciones metodológicas en función de su mayor o menor coherencia con el marco teórico de partida. En el capítulo tercero se ha propuesto un índice sintético para la evaluación de la calidad de 43 instituciones en el sistema universitario público español, el ISCUE. Para ello se han considerado hasta seis áreas o componentes distintas de la calidad universitaria: docencia, adaptación de la oferta a la demanda, nivel de internacionalización, investigación, postgrado y servicios a la comunidad universitaria. Cada componente se ha representado a través de uno o dos indicadores parciales. Éstos ya han sido utilizados en diversos planes de Conclusiones La calidad en la educación superior a través de indicadores sintéticos 271 financiación de las universidades públicas, así como en otros trabajos tanto a nivel nacional como internacional. Una de las principales contribuciones de este trabajo es ofrecer una herramienta para la evaluación de la calidad de las universidades desde una perspectiva integral y cuantitativa. El concepto de calidad que se ha utilizado en este trabajo se acerca a la visión de eficacia, o lo que es lo mismo la congruencia entre objetivos y resultados alcanzados, y es uno de los principales determinantes de la competitividad y la reputación de las universidades. Aunque la evaluación ha sido estrictamente objetiva, otra de las principales virtudes del presente trabajo, especialmente con respecto a trabajos similares, ha sido respetar la subjetividad inherente y las peculiaridades propias de las distintas instituciones que se han comparado. Esto ha sido posible puesto que el proceso de ponderación y agregación de los indicadores se llevó cabo utilizando la metodología del análisis envolvente de datos (DEA). Esta técnica no impone un conjunto común de pesos para todas las unidades; al contrario tiene en cuenta la diversidad de estrategias seguida por las universidades en su búsqueda de la calidad y la diferenciación, objetivos que deben ser primordiales si estas instituciones quieren sobrevivir en el marco competitivo que se está presentando en los últimos años, y que lleva vigente desde las últimas décadas en el ámbito anglosajón. El estudio ha servido por otra parte para mostrar la utilidad del análisis envolvente de datos como herramienta para el análisis multidimensional fuera del campo de la estimación de la eficiencia, para el que fue inicialmente propuesto. Al usar esta técnica las ponderaciones han sido obtenidas de manera endógena, con un grado de flexibilidad que permite que cada institución utilice un conjunto de ponderaciones que se adapte a sus circunstancias. Esta flexibilidad, que puede tener consecuencias negativas si es ilimitada, como se ha demostrado en los diferentes escenarios propuestos, ha sido restringida Conclusiones La calidad en la educación superior a través de indicadores sintéticos 272 a través de la inclusión en el modelo de varias restricciones adicionales, que no hacen más que plasmar un conjunto de juicios de valor que, considero, pueden ser aceptados sin grandes reparos. De cualquier forma, no habría ningún problema en considerar juicios o estructuras de priorización alternativos. En el capítulo cuarto se presentan los resultados del índice, que permiten obtener una visión orientativa de la situación en la que se encuentran las universidades públicas y presenciales españolas en relación a los indicadores parciales considerados. En el escenario central presentado, el ISCUE v1, seis universidades alcanzan el valor máximo para el indicador sintético: Cantabria, Autónoma de Barcelona, Lleida, Pompeu Fabra, Santiago de Compostela y Autónoma de Madrid. Asimismo otras como la de Zaragoza o la Carlos III obtienen valores muy cercanos a este valor. Las instituciones situadas en los primeros y en los últimos puestos con respecto al indicador estimado ocupan posiciones parecidas en otros rankings publicados recientemente sobre las universidad pública española. El valor promedio para el índice de calidad propuesto fue 0,8499, relativamente elevado, pero que refleja diferencias en la efectividad entre dichas universidades. En cualquier caso es importante recordar que la metodología empleada genera una medida de calidad relativa y no absoluta. Esto nos indica que las universidades que han obtenido los valores máximos en el ISCUE v1 son las mejores en términos de calidad entre todas las universidades analizadas, pero no necesariamente de manera absoluta. El estudio se ha completado con un análisis de incertidumbre y sensibilidad de los resultados obtenidos. Se ha apreciado que las opciones metodológicas escogidas a la hora de elaborar el índice sintético ha tenido efectos sobre los valores del indicador. Estos efectos han sido moderados en cuanto a las universidades que obtienen los peores resultados del índice y prácticamente nulos en cuanto a las mejores. Sin embargo, a pesar de esos efectos sobre los valores, las diferencias en cuanto a la clasificación son bastante más reducidas y Conclusiones La calidad en la educación superior a través de indicadores sintéticos 273 únicamente siete universidades sufren variaciones significativas en su clasificación. Estas universidades se encuentran entre las que obtienen valores medios en el índice. De este análisis se puede deducir que el ISCUE v1 es una buena proxy de la calidad universitaria, bajo la aceptación de los indicadores parciales obtenidos, especialmente en cuanto a la clasificación de aquellas universidades que obtienen los valores más altos y más bajos en el índice. La diversidad en los resultados obtenidos puede corresponderse a variaciones en el funcionamiento de estas instituciones, aunque también se ha planteado la hipótesis de que otros factores externos relacionados tanto con el entorno socioeconómico de la universidad y sus estudiantes como con la política universitaria en los últimos decenios, hayan podido tener influencia en los resultados obtenidos. Específicamente, la proliferación de nuevas universidades, con ofertas de grado comparables, parece plantear la cuestión de si la demanda estudiantil es lo suficientemente grande para cumplir con la oferta de la universidad y, si hay o no recursos para desarrollar una investigación adecuada, particularmente en aquellas áreas que son económicamente menos dinámicas. El problema para estas instituciones es aún más grave si la financiación que reciben está condicionada por este tipo de indicadores, es decir, si los recursos se obtienen cada vez en mayor grado a través de los resultados de investigación, por ejemplo. En este sentido, parece necesario replantear la conveniencia de contar con un marco altamente descentralizado de la universidad. Hasta ahora universidades diferentes en zona geográfica próximas han estado proporcionando ofertas similares, un escenario que podría abordarse mediante la adopción de estructuras de grado complementarias para las que se encuentran en la misma zona geográfica. Además, la política financiera debería tener en cuenta el entorno económico específico de cada una de las instituciones, para que las universidades ubicadas en las zonas menos privilegiadas, a la larga, no contribuyen al deterioro de estas áreas, sino a impulsar el Conclusiones La calidad en la educación superior a través de indicadores sintéticos 274 crecimiento económico dentro su ámbito de influencia. Esta y otras cuestiones similares deberían abordarse en próximas y necesarias investigaciones que aportarán luz a un problema todavía más grave en el contexto actual en el que vivimos de claro recorte de los fondos públicos asignados a educación. El autor de este trabajo es consciente de numerosas limitaciones en el mismo. Por una parte, no siempre se ha dispuestos de los indicadores parciales más adecuados para la estimación de resultados. El conjunto de restricciones propuesto en las distintas versiones puede ser también discutido, de hecho constituye sólo un ejemplo de las posibilidades ofrecidas por la metodología de agregación y de cómo los juicios de expertos pueden incorporarse a la misma, pero no pretenden ser un conjunto de restricciones rígido e indiscutible. En cualquier caso, ambos aspectos obligan a analizar con cautela los resultados presentados. Pero es que además, la propia metodología utilizada, basada en la construcción de un indicador sintético, tiene también inconvenientes, especialmente si se cae en una interpretación simplista de los resultados. El indicador sintético no puede convertirse en un fin en sí mismo, desviando nuestra atención de los verdaderos objetivos a largo plazo del sistema universitario, y perjudicándolos en aras de medidas que tengan un impacto cortoplacista en el índice. El índice no constituye un fin en sí mismo, sólo el reflejo de una realidad compleja y abstracta, que no puede perderse de vista si se pretende encontrar la raíz última de los problemas que resaltan dichos indicadores compuestos. Finalmente, quisiera dejar explícito que este trabajo no pretendía en sí mismo elaborar un ranking entre las universidades. De hecho, técnicamente hablando, es imposible hablar de ranking cuando se han empleado ponderaciones distintas para las distintas universidades. A cambio, el análisis realizado sí nos parece útil para mostrar los puntos débiles y fuertes de cada institución, y resaltar qué aspectos deben ser mejorados para poder ofrecer una universidad de mayor calidad, capaz Conclusiones La calidad en la educación superior a través de indicadores sintéticos 275 de adaptarse a los nuevos retos que se están viviendo en el ámbito académico en estos inicios del siglo XXI. En cualquier caso, el estudio realizado ha supuesto un esfuerzo por acercarse a la medición de la calidad en la educación superior, una cuestión que resulta muy compleja pero que tiene que ser necesariamente abordada en un momento como el actual. Si las mejoras en las bases de datos lo permiten, podrán construirse índices con mayores niveles de precisión en el futuro, incorporando también aspectos relacionados con la calidad percibida por los usuarios de las instituciones universitarias, que en este caso no han podido ser tenidos en cuenta. Otra línea de investigación que deja abierta este trabajo es el análisis longitudinal de la calidad universitaria, que permita incorporar una perspectiva temporal en la evolución del sistema universitario español. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 282 2003. <http://europa.eu/legislation_summaries/education_training_yo uth/lifelong_learning/c11067_en.htm> Comisión Europea (2004). Economic Sentiment Indicator. Bruselas: DG ECFIN. Comisión Europea (2010). Erasmus student mobility for placements by institution in 2008/09: top 500 outgoing. [En línea] <ec.europa.eu/education/erasmus/doc/stat/studentout0809.pdf > Comisión Europea (2010). Erasmus student mobility for studies by institution in 2008/09: top 500 incoming. [En línea] <ec.europa.eu/education/erasmus/doc/stat/studentin0809.pdf> Comunicado de Praga (2001). Comunicado de la Conferencia de Ministros Europeos responsables de la Educación Superior. 19 de Mayo de 2001. <http://www.eees.es/pdf/Praga_EN.pdf> Comunidad Europea (1997). Tratado de Amsterdam por el que se Modifican el Tratado de la Unión Europea, los Tratados Constitutivos de las Comunidades Europeas y Determinados Actos Conexos. Luxemburgo: Oficina de Publicaciones Oficiales de las Comunidades Europeas. Consejo de Coordinación Universitaria (2003). Plan Nacional de Evaluación de la Calidad de las Universidades. Informe global 1996-2000. Madrid: Ministerio de Educación, Cultura y Deporte. Consejo de Universidades (2001). Borrador del catálogo de indicadores del sistema universitario público español. Madrid: Ministerio de Educación, Ciencia y Deporte. <http://www.mec.es/educa/ccuniv/html/indicadores/indicado.p df> Consejo de Universidades (2010). Documento reflexión sobre la mejora de las Políticas de Financiación de las Universidades para promover la Bibliografía La calidad en la educación superior a través de indicadores sintéticos 283 excelencia académica e incrementar el impacto socioeconómico del Sistema Universitario Español (SUE). Madrid: Ministerio de Educación. <www.mecd.gob.es/dctm/eu2015/documento-definanciacion-26042010.pdf?documentId=0901e72b800d97ce> Cooper, W.W.; Seiford, L.M.; Tone, K. (2000). Data Envelopment Analysis: A Comprehensive Text with Models, Applications, References and DEA-Solver Software. Dordrecht: Kluwer Academic Publishers. Cottrell, S.P.; van der Duim, R.; Ankersmid, P.; Kelder, L. (2004). “Measuring the Sustainability of Tourism in Manuel Antonio and Texel: A Tourist Perspective”, Journal of Sustainable Tourism, 12(5), 409–431. Cronbach L.J. (1951). Coefficient alpha and the internal structure of tests, Psychometrika, 16, 297-334. Crosby, P.B. (1979). Quality Is Free: The Art of Making Quality Certain. New York: Penguin. Crosby, P.B. (1984). Quality Without Tears. New York: McGraw-Hill Book Company. Cuadras, C.M. (1981). Métodos de análisis multivariante. Barcelona: Editorial Universitaria de Barcelona. Davis, J. (1986). Statistics and Data Analysis in Geology, Toronto: John Wiley & Sons. De la Orden, A. (1988). “La calidad de la educación”. Bordón, 40(2), 149–161. De la Orden, A.; Garduño, L.; Asensio, I.; Mafokozi, J.; González, C.; Muñoz, A. (2002). “Funciones de la Universidad”, Revista de Educación, 328, 267–281. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 284 De Miguel, J.M.; Caïs, J.; Vaquera, E. (2001). Excelencia. Calidad de las universidades españolas. Madrid: Centro de Investigaciones Sociológicas. De Miguel, M. (2007). “Cultura Versus Burocracia. Un Dilema Sobre el Impacto de los Planes de Evaluación” en ANECA: 10 años de Evaluación de la Calidad de las Universidades (1996-2006). Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación. De Soete, G.; Heiser, W.J. (1993). “A latent class unfolding model for analyzing single stimulus preference ratings”, Psychometrika, 58, 545-565. Declaración de Bergen (2005). Comunicado de la Conferencia de Ministros Europeos responsables de la Educación Superior. 19-20 de Mayo de 2005. <www.eees.es/pdf/Bergen_ES.pdf> Declaración de Berlín (2003). Comunicado de la Conferencia de Ministros responsables de la Educación Superior. 19 de Septiembre de 2003. <www.eees.es/pdf/Berlin_ES.pdf> Declaración de Bolonia (1999). Comunicado de la Conferencia de Ministros Europeos responsables de la Educación Superior. 19 de Junio de 1999. <http://www.eees.es/pdf/Bolonia_ES.pdf> Declaración de La Sorbona (1998). Declaración conjunta para la armonización del diseño del Sistema de Educación Superior. 25 de Mayo de 1998. <http://www.eees.es/pdf/Sorbona_EN.pdf> Declaración de Leuven (2009). Comunicado de la Conferencia de Ministros Europeos responsables de la Educación Superior. 28-29 de Abril de 2009. <www.eees.es/pdf/Leuven_Louvain-laNeuve_Communique_April_2009.pdf>. Declaración de Londres (2007). Comunicado de la Conferencia de Ministros Europeos responsables de la Educación Superior. 17-18 Bibliografía La calidad en la educación superior a través de indicadores sintéticos 285 de Mayo de 2007. <www.eees.es/pdf/London_Communique18May2007.pdf> Declaración de Salamanca (2001). Mensaje de la Convención de Instituciones Europeas de la Enseñanza Superior. 30 de Marzo de 2001. <http://www.eees.es/pdf/Salamanca2001.pdf> Deming, W.E. (1986). Out of the Crisis. Cambridge, MA: Massachusetts Institute of Technology Center for Advanced Engineering Study Dempster A.P.; Rubin D.B. (1983). “Introduction”, en Madow. W.G.; Olkin, I.; Rubin, D.B. [Eds.]: Incomplete Data in Sample Surveys (vol. 2): Theory and Bibliography .New York: Academic Press. den Butter, F.A.G.; van den Eyden, J.A.C. (1998). “A Pilot Index for Environmental Policy in the Netherlands”, Energy Policy, 26, 95101. Despotis, D.K. (2005). “A reassessment of the human development index via data envelopment analysis”, Journal of the Operational Research Society, 56, 969–980. Di Filippo, M.S.; Mathey D. (2008). Los indicadores sociales en la formulación de proyectos de desarrollo con enfoque territorial. Programa Nacional de Apoyo al Desarrollo de los Territorios. Documento de trabajo Nº 2. INTA. <http://www.inta.gov.ar/ies/docs/otrosdoc/indicadores_prognac _territorios.pdf> Díez, J. (1967). “Segundo Estudio de Indicadores Sociales” en Fundación FOESSA (Ed.), Tres estudios para un sistema de indicadores sociales. Madrid: Euramérica. Dill, D.D.; Soo, M. (2004). Is There a Global Definition of Academic Quality? A Cross-National Analysis of University Ranking Systems. Chapel Hill: Public Policy for Academic Quality background paper, University of North Carolina. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 286 Domínguez, M.; Blancas, F.J.; Guerrero, F.M.; González, M. (2011). “Una revisión crítica para la construcción de indicadores sintéticos”, Revista de Métodos Cuantitativos para la Economía y la Empresa, 11, 41-70. DuFour, R. (2004). “What Is a “Professional Learning Community?”, Educational Leadership, 2004(May), 1-6. Dunteman, G.H. (1989). Principal components analysis. Thousand Oaks, CA: Sage Publications, Quantitative Applications in the Social Sciences Series, No. 69. Dyson, R.G.; Allen, R.; Camanho, A.S.; Podinovski, V.V.; Sarrico, C.S.; Shale, E.A. (2001). “Pitfalls and protocols in DEA”, European Journal of Operational Research, 132, 245–259. Dyson, R.G.; Thanassoulis, E. (1988). “Reducing weight flexibility in data development analysis”, Journal of the Operational Research Society, 46, 563-576. Ebert, U.; Welsch, H. (2004). “Meaningful environmental indices: a social choice approach”, Journal of Environmental Economics and Management, 47, 270-283. Eccles, C. (2002). “The Use of University Rankings in the United Kingdom”, Higher Education in Europe, 27(4), 423-432. Efron, B. (1979). “Bootstrap methods: Another look at the jackknife”, The Annals of Statistics, 7, 1-26. Enders, J.; File, J.; Huisman, J.; Westerheijden, D. (2005). The European Higher Education and Research Landscape 2020: Scenarios and Strategic Debates. Enschede: Center for Higher Education Policy Studies (CHEPS) Escudero, T. (2007). “Superar el Estado Evaluativo” en ANECA: 10 años de Evaluación de la Calidad de las Universidades (1996-2006). Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 287 European Association for Quality Assurance in Higher Education (2005). Standards and Guidelines for Quality Assurance in the European Higher Education Area. Helsinki <www.enqa.net/files/ENQA%20Bergen%20Report.pdf> Everitt, B.S. (1979). “Unresolved Problems in Cluster Analysis”, Biometrics, 35, 169-181. Fagerberg, J. (2001). “Europe at the Crossroads: The Challenge from Innovation-based Growth”, en Lundvall, B.; Archibugi, D. (Eds.) Globalising Learning Economy. New York: Oxford University Press. Fallis, G. (2005). “The mission of the university”. CSSHE Professional File, Canadian Society for the Study of Higher Education, 26, summer. Feigenbaum, A.V. (1983). Total Quality Control (3rd Edition). New York: McGraw-Hill. Fernández, M. (1991). "Historia", en Fernández, M.; Rodríguez-San Pedro, L.E.; Álvarez, J. [Ed.]: La Universidad de Salamanca. Ocho siglos de magisterio, Salamanca: Ediciones Universidad de Salamanca Fernández, S. (2001). Modelos de financiación de la educación superior: una aplicación al sistema universitario gallego. Tesis Doctoral. Santiago de Compostela: Servicio de publicaciones de la Universidad de Santiago de Compostela. Fernández, S.; Vaquero, A. (2006). “La nueva financiación del Sistema Universitario de Galicia: Algunas consideraciones”, Revista de Estudios Regionales, 76, 49-75. Fichte, J.G. (1959). La idea de la universidad en Alemania. Buenos Aires: Editorial Sudamericana. Filipic, P.; Simunovic, I.; Grcic, B. (1998). “Regional (Im)Balances in Transitional Economies: The Croatian Case”, Proceedings of 38th Bibliografía La calidad en la educación superior a través de indicadores sintéticos 288 Congress of the European Regional Science Association. Vienna, Austria. Filmer, D.; Pritchett, L.H. (2001). “Estimating Wealth Effects without Expenditure Data or Tears: An Application to Educational Enrollments in States of India”, Demography, 38(1), 115–132. Foster, J.; Sen, A. (1997). On economic inequality (2nd, Expanded Edition). Oxford: Clarendon Press. Freudenberg, M. (2003). Composite indicators of country performance: a critical assessment. Paris: Organisation for Economic Cooperation and Development. Frijhoff, W. (1992). "Universities: 1500-1900” en Clark, B.C.; Neave, G. (Ed.): The Encyclopedia of Higher Education. Oxford: Pergamon Press. Fundación CyD (2005). Informe CyD 2005 Madrid: Fundación Conocimiento y Desarrollo. Fundación CyD (2010). Informe CyD 2009 Madrid: Fundación Conocimiento y Desarrollo. Gall, M. (2007). Indices of social vulnerability to natural hazards: A comparative evaluation. PhD dissertation, Department of Geography, University of South Carolina. Galtung, J. (1966). Teoría y métodos de la investigación social. Tomo I. Buenos Aires: Editorial Universitaria de Buenos Aires. García, M. (1989). Socioestadística. Introducción a la estadística en sociología. Madrid: Alianza Universidad Textos Garvin, D.A. (1983). “Quality on the line”, Harvard Business Review, 61, 65-73. Garvin, D.A. (1988). Managing Quality. New York: Free Press. Geiger, R. (1993). “Investigación, educación de graduados y la ecología de las universidades en EEUU: una historia interpretativa”, en Bibliografía La calidad en la educación superior a través de indicadores sintéticos 289 Rothblatt, S.; Wittrock, B. [Ed.]: La universidad europea y americana desde 1800: Las tres transformaciones de la universidad moderna. Barcelona: Ed. Pomares-Corredor. Geldermann, J.; Rentz, O. (2005). “Multi-Criteria Analysis for the Assessment of Environmentally Relevant Installations”, Journal of Industrial Ecology, 9(3), 127–142. George, D.; Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4th ed.). Boston: Allyn & Bacon. Girardin, P.; Bockstaller, C.; Van der Werf, H. (2000). "Assessment of potential impacts of agricultural practices on the environment: the AGRO*ECO method." Environmental Impact Assessment Review, 20(2), 227-239. Global Leaders of Tomorrow Environment Task Force (2002). Environmental Sustainability Index. Yale: Yale Center for Environmental Law and Policy, World Economic Forum. <http://www.ciesin.org/indicators/ESI/> Global University Network for Innovation (2006). La educación superior en el mundo 2007. Acreditación para la garantía de la calidad. ¿Qué está en juego?. Madrid: Ediciones Mundi-Prensa Libros. Golany, R. (1988). “A note on including ordinal relations among multipliers in DEA”, Management Science, 34(3), 1029-1033. González, A. [Dir.] (2004). Guía práctica de la Unión Europea. Madrid; Comunidad de Madrid. González, B. (1994). “La utilización de los datos disponibles”, en García, M.; Ibáñez, J.; Alvira, F. [Coord.]: El análisis de la realidad social. Madrid: Alianza. González, M.J. (1997). Metodología de la investigación social. Técnicas de recolección de datos. Alicante: Aguaclara. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 290 González-Laxe, F.; Castillo, J.I. (2007). A Port Competitiveness Indicator through the Multicriteria Decision Method PROMETHEE. A Practical Implementation to the Spanish Port System. Proceedings of International Association of Maritime Economist (IAME). Annual Conference. Green, D.M. (1994). “What is quality in higher education? Concepts, Policy and Practice”, en Green, D.M. [Ed.]: What is quality in higher education?. Buckhingham: Open University Press. Green, P.E.; Srinivasan, V. (1978). “Conjoint analysis in consumer research: issues and outlook”, Journal of Consumer Research, 5, 103-123. Grimvall, A.; Wackernagel, H.; Lajaunie, C. (2001). “Normalisation of Environmental Quality Data” en Hilty, L.M.; Gilgen, P.W. (Eds.): Sustainability in the Information Society. Marburg: MetropolisVerlag. Gronroos, C. (1984). "A Service Quality Model and Its Marketing Implications", European Journal of Marketing, 18(4), 36-44. Hafeez, K.; Zhang, Y.; Malak, N. (2002). “Determining Key Capabilities of a Firm Using Analytical Hierarchy Process”, International Journal of Production Economics, 76(1), 39–51. Hair, J.F.; Anderson, R.E.; Tatham, R.L.; Black, W.C. (1995). Multivariate data analysis with readings (Fourth edition). Englewood Cliffs, NJ: Prentice Hall. Hair, J.F.; Black, W.C.; Babin, B.J.; Anderson, R.E.; Tatham, R.L. (2006): Multivariate data analysis (Sixth edition). Upper Saddle River, NJ: Pearson Prentice Hall. Hajkowicz, S. (2006). “Multi-attributed Environmental Index Construction”, Ecological Economics, 57, 122–139. Haksever, C.; Muragishi, Y. (1998). “Measuring value in MBA programmes”. Education Economics, 6, 11–25. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 291 Hanke, M.; Leopoldseder, T. (1998). “Comparing the efficiency of Austrian universities. A Data Envelopment Analysis application”, Terciary Education and Management, 4(3), 191-197. Hartigan J.A. (1975). Clustering Algorithms. New York: John Wiley & Sons, Inc. Harvey, L. (1998). “An Assessment of Past and Current Approaches to Quality in Higher Education”, Australian Journal of Education, 43(3), 237-255. Harvey, L. (1999). “Quality in higher education”. Swedish Quality Conference, November. Göteborg. <http://www0.bcu.ac.uk/crq/publications/goterburg.pdf> Harvey, L. (2002). “The End of Quality?”, Quality in Higher Education, 8(1), 5–22. Harvey, L. (2003). “The Power of Accreditation: Views of Academics”, en Di Nauta, P; Omar, P.L.; Schade, A.; Scheele, J.P. [Ed.]: Accreditation Models in Higher Education. Experiences and Perspectives. ENQA Workshop Reports 3. Helsinki: European Network for Quality Assurance in Higher Education. Harvey, L.; Green, D.M. (1993). “Defining quality”, Assessment & Evaluation in Higher Education, 18(1), 9-34. Hashimoto, A.; Ishikawa, M. (1993). “Using DEA to evaluate the state of society as measured by multiple social indicators”, Socio-Economic Planning Sciences, 27, 257–268. Hashimoto, A.; Kodama, M. (1997). “Has livability of Japan gotten better for 1956–1990?: a DEA approach”, Social Indicators Research, 40, 359–373. Heiser, W.J. (1993). “Clustering in low-dimensional space”, en: Opitz, O.; Lausen, B.; Klar, R. [Eds.]: Information and Classification, Berlin: Springer. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 298 McIntyre, D.; Muirhead, D.; Gilson, L. (2002). “Geographic Patterns of Deprivation in South Africa: Informing Health Equity Analyses and Public Resource Allocation Strategies”. Health Policy and Planning, 17, 30–39. Melyn, W.; Moesen, W. (1991). Towards a Synthetic Indicator of Macroeconomic Performance: Unequal Weighting when Limited Information is Available. Discussion Paper Number 17. Leuven: Center for Economic Studies, Katholieke Universiteit Leuven. Merino, J.V. (2002). “Funciones de la universidad en la sociedad actual. La función social y cultural de la universidad. ¿Es todavía posible esta función en la sociedad del conocimiento y de la información?”, en Álvarez, V.; Lázaro, Á. [Ed.]: Calidad de las universidades y orientación universitaria. Málaga: Ediciones Aljibe. Messer, L.; Laraira, B.; Kaufman, J.; Eyster, J.; Holzman, C.; Culhane, J.; Elo, I.; Burke, J.; O’Campo, P. (2006). “The Development of a Standardized Neighborhood Deprivation Index”, Journal of Urban Health: Bulletin of the New York Academy of Medicine, 83(6), 1041–1062. Miguel, A. de (1967). “Introducción al estudio de los indicadores sociales” en Fundación FOESSA (Ed.) Tres estudios para un sistema de indicadores. Madrid: Euramérica. Miguel, J.M.; Sevilla-Guzamán, E. (1973). "Tipos de índices en sociología", Revista de Estudios Sociales, 8. Milligan, G.W.; Cooper, M.C. (1985). “An Examination of Procedures for Determining the Number of Clusters in a Data Set”, Psychometrika, 50, 159-179. Ministerio de Educación (2011). Estrategia Universidad 2015. Contribución de las universidades al progreso socioeconómico español. Madrid: Ministerio de Educación. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 299 <www.educacion.es/dctm/eu2015/2011-estrategia-2015espanol.pdf?documentId=0901e72b80910099> Mok, J.K.H.; Lo, E.H.C. (2002). “Marketisation and the changing governance in higher education: A comparative study”, Higher Education Management and Policy, 14(1), 42–74. Mokhtari, A.; Frey, H.C. (2005). “Sensitivity analysis of a twodimensional probabilistic risk assessment model using analysis of variance”, Risk Analysis, 25, 1511–1529. Mondelo, N.; Sánchez, R.; Carrasquero, N. (1996). “El Proceso Analítico Jerárquico como Herramienta para la Selección de la Mejor Ubicación de un Relleno Sanitario”, Memorias del XXV Congreso Interamericano de Ingeniería Sanitaria y Ambiental. Tomo III: Tratamiento y Disposición de Residuos Sólidos. México. Monroe, K.B.; Krishnan, R. (1985). “The Effect of Price on Subjective Product Evaluations”, en Jacoby, J.; Olson, J.C. [Eds.]: Perceived Quality. Lexington , MA: Lexington Books. Mora, J.G. (2007). “La Auténtica Historia de Dos Décadas de Puesta en Marcha de un Sistema de Garantía de la Calidad en las Universidades Españolas” en ANECA: 10 años de Evaluación de la Calidad de las Universidades (1996-2006). Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación. Muldur, U. (2001): Technical Annex on Structural Indicators. Two composite indicators to assess the progress of Member States in their transition towards a knowledge-based economy. Working paper DG RTD. Muller, M (2009). “World water development report indicators” en UNESCO (Ed.) The United Nations World water development report #3. Water in a changing world. London: Butler, Tanner & Dennis. Munda, G. (1995). Multicriteria evaluation in a fuzzy environment. Heidelberg: Physica-Verlag, Contributions to Economics Series. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 300 Munda, G. (2005a). “Multi-Criteria Decision Analysis and Sustainable Development” en Figueira, J.; Greco, S.; Ehrgott, M. (Eds.) Multiple-criteria decision analysis. State of the art surveys, New York: Springer International Series in Operations Research and Management Science. Munda, G. (2005b). “Measuring Sustainability: A Multi-Criterion Framework”, Environment, Development and Sustainability, 7, 117–134. Munda, G. (2007). Social multi-criteria evaluation. Heidelberg: SpringerVerlag. Munda, G. (2008). Social Multi-Criteria Evaluation for a Sustainable Economy. Berlin: Springer. Munda, G.; Nardo, M. (2003). On the Methodological Foundations of Composite Indicators Used for Ranking Countries. Ispra: OECD/JRC Workshop on composite indicators of country performance. <http://webfarm.jrc.cec.eu.int/uasa/evt-OECDJRC.asp> Munda, G.; Nardo, M. (2005). Constructing Consistent Composite Indicators: the Issue of Weights. Working paper EUR 21834 EN, Ispra: Joint Research Centre. Munda, G.; Nardo, M. (2009). “Noncompensatory/Nonlinear Composite Indicators for Ranking Countries: A Defensible Setting”, Applied Economics, 41, 1513–1523. Muñoz, E. [Dir.] (2004). Los Costes de calidad del sistema Universitario de Galicia. Santiago de Compostela: Axencia para a Calidade do Sistema Universitario de Galicia. Murias, P.; Martínez, F.; Miguel, J.C. de (2006). “An economic wellbeing index for the Spanish provinces: a data envelopment analysis approach”, Social Indicators Research, 77, 395–417. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 301 Murias, P.; Miguel, J.C. de; Rodríguez, D. (2008). “A Composite Indicator for University Quality Assesment: The Case of Spanish Higher Education System”, Social Indicators Research, 89, 129– 146 Murias, P.; Novello, S.; Martínez, F. (2012): “The Regions of Economic Well-being in Italy and Spain”, Regional Studies, 46(6), 793-816. Narayanan, D.; Zhang, Y.; Mannan, M.S. (2007). “Engineering for Sustainable Development (ESD) in Bio-Diesel Production”. Process Safety and Environmental Production, 85 (B5), 349–359. Nardo, M.; Saisana, M.; Saltelli, A.; Tarantola, S. (2005). Tools for Composite Indicators Building. Documento de trabajo EUR 21682 EN. Ispra: Joint Research Centre, European Commission. Nardo, M.; Saisana, M.; Saltelli, A.; Tarantola, S.; Hoffman, A.; Giovannini, E. (2008). Handbook on constructing composite indicators: Methodology and user guide. Paris: Organisation for Economic Co-operation and Development. Neave, G.; van Vught, F.A. [Eds.] (1991). Prometheus bound: The changing relationship between government and higher education in Western Europe. Oxford: Pergamon. Neter, J.; Kutner, M.; Nachtsheim, C.; Wasserman, W. (1996). Applied Linear Statistical Models (4th Ed.). Chicago: McGraw-Hill. Newby, P. (1999). "Culture and quality in higher education", Higher Education Policy, 12, 261-275. Newman, J. H. (1886). The idea of a university: defined and illustrated. London: Longmans, Green and Co.. Nicoletti, G.; Scarpetta, S.; Boylaud, O. (2000). ”Summary Indicators of Products Market Regulation with an Extension to Employment Protection Legislation”. OECD Economics Department Working Papers no 226. Paris: OECD. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 302 Nilsson, R. (2000). Confidence Indicators and Composite Indicator. Paris: CIRET conference. Nowak, S. (1977). Methodology of sociological research: general problems. Boston: D. Reidel Pub. Co.. Nunnally, J. (1978). Psychometric theory. New York: McGraw-Hill. Núñez, J.J. (2009). “Estado actual y nuevas aproximaciones a la medición de la pobreza”, Estudios de Economia Aplicada, 27(2), 325-344. Observatorio IUNE (2012). Actividad investigadora en la universidad española [en línea]. <www.iune.es> Onwujekwe, O.; Malik, E.F.; Mustafa, S.; Mnzaava, A. (2005). “Do Malaria Preventive Interventions Reach the Poor? Socioeconomic Inequities in Expenditure on and Use of Mosquito Control Tools in Sudan”. Health Policy and Planning, 7, 10–16. Organización de las Naciones Unidas (1975): Towards a System of Social and Demographic Statistics, Studies in Methods. Series F, 18. New York. Organización de las Naciones Unidas (1990). Human Development Report 1990. Concept and Measurement of human development. New York: United Nations Development Programme. Organización de las Naciones Unidas (1991). Human Development Report 1991. Financing Human Development. New York: United Nations Development Programme. Organización de las Naciones Unidas (2000). Human Development Report 2000. Human Rights and Human Development. New York: United Nations Development Programme. Organización de las Naciones Unidas (2011). Human Development Report 2011. Sustainability and Equity: A Better Future for All. New York: United Nations Development Programme. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 303 Organización para la Cooperación y el Desarrollo Económico (1976): Mesure du Bien-être Social. París: Organización para la Cooperación y el Desarrollo Económico Ortega, J. (1930). Misión de la Universidad. Madrid: Revista de Occidente. Osseo-Asare, A.E.; Longbottom, D. (2002): "The need for education and training in the use of the EFQM model for quality management in UK higher education institutions", Quality Assurance in Education, 10(1), 26-36. O’Leary, J.; Hindmarsh, A.; Kingston, B. (2004): The Times Good University Guide 2005. Hammersmith, London: Times Newspapers Limited. O’Leary, J.; Kingston, B.; Hindmarsh, A. (2007). The times good University Guide 2007. London: Times Book. Parasuraman, A.; Zeithaml, V.A.; Berry, L.L. (1985). "A Conceptual Model of Service Quality and Its Implications for Future Research", Journal of Marketing, 49 (Fall), 41-50. Parasuraman, A.; Zeithaml, V.A.; Berry, L.L. (1988): “SERVQUAL: A Múltiple-Item Scale for Measuring Consumer Perceptions of Service Quality”, Journal of Retailing, 64(1), 12-40. Parker, J. (1991). Environmental reporting and environmental indices, PhD Dissertation. Cambridge, UK. Pena, B. (1977). Problemas en la medición del bienestar y conceptos afines. Una aplicación al caso español. Madrid: INE. Pena, J.B. (1978). “La Distancia P: un Método para la Medición del Nivel de Bienestar”, Revista Española de Economía, 8, 49–89. Pérez, C. (2005). Métodos estadísticos avanzados con SPSS. Madrid: Thomson. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 304 Pérez, J. (2009). “Un análisis dinámico de la privación en España”, Estudios de Economía Aplicada, 27(2), 501–522. Pérez, J.; Fajardo, M.A. (2003). “Un método alternativo para identificar los hogares en situación de pobreza”, Estadística Española, 45(152), 115–134. Pérez, M.; Torres, J.A. (2000). La calidad de los procesos educativos. Barcelona: Oikos-Tau Phillips, L.W.; Chang, D.R.; Buzzell, R.D. (1983). “Product Quality, Cost Position and Business Performance: A Test of Some Key Hypotheses”, Journal of Marketing, 47, 26-43. Pike, G.R. (2004). “Measuring Quality: A Comparison of US News Rankings and NSSE Benchmarks”, Research in Higher Education, 45(2), 193-208. Podinovski, V.V. (1994). “Criteria Importance Theory”, Mathematical Social Sciences, 27, 237–252. Provan, D.; Abercromby, K. (2000). University League Tables and Rankings: A Critical Analysis. CHEMS Paper N° 30. London: Commonwealth Higher Education Management Service (CHEMS), Association of Commonwealth Universities. Puolamaa, M.; Kaplas, M.; Reinikainen, T. (1996). Index of Environmental Friendliness. A methodological study. Eurostat. Rabin, J.H. (1983). “Accent Is on Quality in Consumer Services This Decade”, Marketing News, 17, 12. Ramzan, N.; Degenkolbe, S.; Witt, W. (2008). “Evaluating and Improving Environmental Performance of HC’s Recovery System: A Case Study of Distillation Unit”, Chemical Engineering Journal, 140, 201–213. Real Academia Española (2001). Diccionario de la lengua española (22ª edición). Madrid: Espasa Calpe. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 305 Rodríguez, M.J. (2002). Atlas social de la ciudad de Alicante. Modelos socio-demográficos. Alicante: Instituto Alicantino de Cultura Juan Gil-Albert. Rodríguez, S. (2007). “De la prehistoria de los planes de evaluación de la calidad de las universidades españolas. Algunas reflexiones de futuro”, en ANECA: 10 años de Evaluación de la Calidad de las Universidades (1996-2006). Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación. Roll, Y.; Golany, B. (1993). “Alternative methods of trating factor weights in DEA”, OMEGA, 21(1), 99-109. Roll, Y.; Cook, W.D.; Golany, B. (1991). “Controlling factor weights in Data Envelopment Analysis”, IIE Transactions, 23(1), 2-9. Ross, J.E.; Perry S. (1999). Total Quality Management: Text, Cases and Readings (3rd Edition). Florida: CRC Press. Roy, B. (1996). Multicriteria methodology for decision analysis. Dordrecht: Kluwer. Ruggiero, J. (1996). “On the measurement of technical efficiency in the public sector”, European Journal of Operational Research, 37, 1620–1628. Russell, K. (2003). “The Nations of the University of Paris: The Rise and Fall of a Medieval Corporation”, The Banyan, 3(1). Saaty, T. L. (1980). The Analytic Hierarchy Process. New York: McGrawHill. Saaty, R.W. (1987). “The analytic hierarchy process: what it is and how it is used”, Mathematical Modelling, 9, 161-176. Saaty, T.L. (1990). “How to Make a Decision: The Analytic Hierarchy Process”, European Journal of Operational Research, 48, 9–26. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 306 Saisana M.; Tarantola S. (2002). State-of-the-art report on current methodologies and practices for composite indicator development. ISPRA: European Commission, Joint Research Centre. Saisana, M.; Tarantola, S.; Saltelli, A. (2005): “Uncertainty and sensitivity techniques as tools for the analysis and validation of composite indicators”, Journal of the Royal Statistical Society A, 168(2), 307-323. Saltelli, A. (2007). “Composite indicators between analysis and advocacy”, Social Indicators Research, 81, 65-77. Saltelli, A., Chan, K.; Scott, M. (2000). Sensitivity analysis, Probability and Statistics series. New York: John Wiley & Sons. Saltelli, A.; Ratto, M.; Andres, T.; Campolongo, F.; Cariboni, J.; Gatelli, D.; Saisana, M.; Tarantola, S. (2008). Global Sensitivity Analysis. The Primer. Chichester: John Wiley & Sons. Saraph, J.V.; Benson, P.G.; Schroeder, R.G. (1989). “An Instrument for Measuring the Critical Factors of Quality Management”, Decision Sciences, 20(4), 810-829. Sarrico, C.S.; Dyson, R.G. (2004). “Restricting virtual weights in data envelopment analysis”, European Journal of Operational Research, 159, 17–34. Sarrico, C.S.; Hogan, S,M.; Dyson, R.G.; Athanassopoulos, A.D. (1997). “Data envelopment analysis and university selection”, Journal of the Operational Research Society, 48, 1163-1177. Seiford, L. (1996). “Data Envelopment Analysis: The Evolution of the State of the Art (1978-1995)”, Journal of Productivity Analysis, 7, 99-137. Shapiro, B.P. (1973). “Price Reliance: Existence and Sources”, Journal of Marketing Research, 10(August), 286-294. Bibliografía La calidad en la educación superior a través de indicadores sintéticos 307 Sharpe. A. (2004). Literature Review of Frameworks for Macro-indicators, Ottawa: Centre for the Study of Living Standards. Shils, E. (1992). "Universities: Since 1900” en Clark, B.C.; Neave, G. (Ed.): The Encyclopedia of Higher Education. Oxford: Pergamon Press. Sierra, R. (1989). Técnicas de investigación social. Madrid: Paraninfo. Silber, J. (2007). “Measuring poverty: taking a multidimensional perspective”, Hacienda Pública Española, 182(3), 29–73. Simon, U.; Brüggemann, R.; Pudenz, S. (2004). “Aspects of Decision Support in Water Management-Example Berlin and Potsdam (Germany): I-Spatially Differentiated Evaluation”, Water Research, 38, 1809–1816. Simar, L. (2003). “Detecting Outliers in Frontiers Models: a Simple Approach”, Journal of Productivity Analysis, 20, 391–424. Singh, R. (2004). “Rural Infrastructure, Agricultural Development, and Poverty in India: An Inter-State Study”, Journal of Rural Development, 23(1), 31–57. Slaughter, S.; Leslie, L. (1997). Academic Capitalism: Politics, Policies and the Entrepreneurial University. Baltimore: Johns Hopkins University. Spath H. (1980). Cluster Analysis Algorithms. Chichester: Ellis Horwood. Storrie, D.; Bjurek, H. (1999). Benchmarking European labour market performance with efficiency frontier technique, Discussion Paper FS I 00-2011. Storrie, D.; Bjurek, H. (2000) Benchmarking European Labour Market Performance with Efficiency Frontier Techniques. Discussion Paper. Gothenburg: Centre for European Labour Market Studies, Universidad de Göteborg. Anexos La calidad en la educación superior a través de indicadores sintéticos 315      Anexos Anexo 1. Ejemplos de indicadores de calidad propuestos en el Sistema Universitario Español Anexo 2. Valores de los indicadores parciales que forman el ISCUE Anexo 3. Ponderaciones absolutas del ISCUE en los distintos escenarios Anexo 4. Gráficos del análisis Jacknife Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 317      Anexo1.Ejemplosdeindicadores decalidadpropuestosenel SistemaUniversitarioEspañol Cuadro A1.1. Indicadores de calidad del Programa Plurianual de Financiación del Sistema Público Universitario Valenciano 1999/2003 Cuadro A1.2. Indicadores de calidad del Plan de Financiación del Sistema Universitario de Canarias 2001-2004 Cuadro A1.3. Propuesta de indicadores de calidad para el Plan de Financiación del Sistema Universitario Gallego (Fernández, 2001) Cuadro A1.4. Indicadores de calidad del Plan de Financiación del Sistema Universitario Gallego 2011-2015 Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 318 Cuadro A1.1. Indicadores de calidad del Programa Plurianual de Financiación del Sistema Público Universitario Valenciano 1999/2003 Área Objetivo Indicador o Acción Docencia Aumento del rendimiento docente  Tasa créditos aprobados/créditos matriculados  Nº de egresados/ingresados Reducción del nº de grupos con pequeño nº de alumnos  Créditos matriculados en asignaturas con grupos de clases teóricas de menos de 15 alumnos/créditos matriculados totales Adaptación de la oferta a la demanda  Tasa de admisiones en 1ª y 2ª preferencias/total de admitidos Mejora de la calidad docente  Inversión en equipamiento docente/PTC  Gasto en formación docente del profesorado/PTC  Gasto en programas de innovación educativa/PTC  Existencia de programas de evaluación institucional de la docencia Aumento de la movilidad de estudiantes  Nº de meses de estancias en universidades extranjeras/ETC Mejora del conocimiento de idiomas extranjeros  Nº de estudiantes que pasan un nivel acreditado/Nº total de alumnos I+D Mejora de los resultados  Indicadores bibliométricos (nº de artículos en pub. científicas, nº de referencias citadas,…)/PTC  Nº de patentes registradas/PTC Incremento de los recursos  Volumen de contratación con empresas e instituciones/PTC  Financiación competitiva pública obtenida/PTC Fomento de la formación  Nº de estudiantes en programas de doctorado/PTC  Nº de tesis leídas/PTC  Nº de becarios/PTC Postgrado Ampliación de la actividad de formación de postgrado  Nº de estudiantes matriculados en Masters, Cursos de Especialización y Formación Continuada/PTC  Horas lectivas de formación de postgrado/PTC Empleo Aumento de la inserción laboral de los titulados  Existencia de oficina de empleo  Nº de estudiantes que realizan prácticas en empresas/ETC  Nº de trabajos fin de carrera en empresas/ETC  Ratio empleados en 1er año/Titulados Innovación Promoción de la creación de empresas innovadoras  Nº de proyectos sobre creación de empresas evaluados/Titulados  Nº de prototipos en desarrollo/Titulados  Nº de empresas creadas/Titulados PTC: Profesor equivalente a tiempo completo (22 créditos/año) ETC: Estudiante a tiempo completo (65 créditos/año) Fuente: Universidad de Alicante (1999) Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 319 Cuadro A1.1. Indicadores de calidad del Programa Plurianual de Financiación del Sistema Público Universitario Valenciano 1999/2003 (cont.) Área Objetivo Indicador o Acción Gestión Promoción del uso de técnicas avanzadas de dirección y gestión  Certificaciones de implantación de sistemas de gestión de la calidad  Participación en planes nacionales o internacionales de evaluación de la calidad de las universidades  Implantación de modelos de dirección y gestión estratégicas Cultura Promoción del bilingüismo  Nº de créditos impartidos en valenciano/PTC Promoción y difusión de la cultura universitaria  Acciones especiales de promoción y difusión cultural PTC: Profesor equivalente a tiempo completo (22 créditos/año) ETC: Estudiante a tiempo completo (65 créditos/año) Fuente: Universidad de Alicante (1999) Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 320 Cuadro A1.2. Indicadores de calidad del Plan de Financiación del Sistema Universitario de Canarias 2001-2004 Área Objetivo Indicador Docencia Adaptar la oferta a la demanda  Porcentaje de estudiantes admitidos en 1ª opción sobre el total de estudiantes de nuevo ingreso.  Número de créditos ofertados en asignaturas optativas y de libre configuración con una demanda mínima de cinco estudiantes. Aumentar el rendimiento docente del alumnado  Porcentaje de créditos aprobados sobre el total de créditos matriculados.  Porcentaje de estudiantes que abandonan sus estudios sobre total ETC.  Porcentaje de egresados sobre el total de estudiantes de nuevo ingreso. Mejorar la calidad docente  Puntuación global alcanzada por la Universidad en las encuestas de satisfacción de los estudiantes .  Número de profesores que realizan planes de formación psicopedagógica del profesorado.  Porcentaje de titulaciones evaluadas en el Plan Nacional de Evaluación de la Calidad de las Universidades sobre el total de titulaciones.  Número de titulaciones con plan de acción tutorial sobre el total de titulaciones.  Número de proyectos de innovación docente presentados por los departamentos. Incrementar la movilidad de estudiantes  Número de meses de estancia de estudiantes de la Universidad en universidades nacionales y extranjeras. (Programa Erasmus + Leonardo)  Número de meses de estancia en la Universidad de estudiantes nacionales y extranjeros (estudiantes nacionales - Sénecamás extranjeros - Erasmus): (Nº de meses de estancia media: 6.) Investigación Aumentar la producción científica y su calidad  Número de artículos, capítulos y libros publicados anualmente  Número de comunicaciones y ponencias en congresos anualmente.  Número de patentes registradas anualmente.  Número de tesis doctorales leídas anualmente.  Número de nuevos tramos de investigación reconocidos. Mejorar la formación investigadora  Número de estudiantes matriculados en programas de doctorado.  Número de alumnos de tercer ciclo con suficiencia investigadora.  Porcentaje de becarios de investigación sobre total ETC.  Porcentaje de profesores involucrados en investigación sobre total ETC.  Número de servicios generales de apoyo a la investigación. Incrementar los recursos externos de I+D  Incremento del volumen de recursos procedentes de convenios y contratos (en millones de pesetas).  Incremento de la financiación competitiva pública obtenida (en millones de pesetas). Fuente: Universidad de Las Palmas de Gran Canaria (2001) Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 321 Cuadro A1.2. Indicadores de calidad del Plan de Financiación del Sistema Universitario de Canarias 2001-2004 (cont.) Área Objetivo Indicador Gestión y servicios Mejorar la cualificación profesional de los recursos humanos de la gestión  Número de créditos realizados en los planes de formación del PAS.  Porcentaje de PAS que realiza cursos en los planes de formación. Promover el uso de técnicas de gestión avanzadas  Número de unidades estructurales y servicios que inician la planificación estratégica. Generar una cultura de mejora de la gestión  Número de servicios y unidades de gestión que tienen manuales de procedimientos actualizados.  Número de servicios y unidades de gestión que realizan procesos de evaluación de acuerdo con el Plan Nacional de Evaluación de l a Calidad de las  Universidades.  Número de servicios y unidades de gestión que implantan encuestas de satisfacción de los usuarios/clientes. Adecuar la plantilla del PAS a la mejora de la profesionalización de la gestión  Número de personal técnico del PAS que colabora en tareas de alta dirección.  Tener realizado un estudio de plantilla del PAS conducente a la reorganización y de los servicios y unidades de gestión. Impacto social Aumentar la inserción laboral de los titulados  Porcentaje de estudiantes que realizan prácticasen empresas sobre estudiantes con el 50% decréditos aprobados.  Grado de satisfacción de estudiantes y empresascon respecto a las prácticas realizadas (seempezarán a realizar en 2002, utilizando unaescala 1-5).  Número de titulados colocados en el mercado laboral a través de la bolsa de trabajo de l a Universidad.  Número de estudiantes que crean empresas e implantan iniciativas de autoempleo desde l a Universidad. Mejorar la atención a los estudiantes  T otal de estudiantes atendidos en los servicios deinformación, orientación y asesoramiento de laUniversidad  T otal de estudiantes que participan en actividades deportivas universitarias. Ampliar las actividades de formación permanente  Total de créditos impartidos en cursos de formación y extensión.  Número de estudiantes matriculados en mastersy cursos de especialización.  Número de estudiantes matriculados en cursos oactividades de formación permanente y extensiónuniversitaria.  Número de alumnos matriculados en cursos de formación a mayores. Fuente: Universidad de Las Palmas de Gran Canaria (2001) Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 322 Cuadro A1.3. Propuesta de indicadores de calidad para el Plan de Financiación del Sistema Universitario Gallego (Fernández, 2001) Área Objetivo Indicador o Acción Docencia Incremento del rendimiento docente  Créditos aprobados/créditos demandados  Reducción de la tasa de abandonos  Tituladosn/ingresados(n-años de duración de estudios ) Disminución del nº de grupos con pocos matriculados  Créditos demandados en materias con menos de 15 alumnos/créditos demandados totales Mejora de la calidad docente  Recursos destinados a programas de innovación educativa/PTC  Gasto en formación del profesorado/PTC  Control del cumplimiento horario del profesorado  Evaluación del profesorado por parte de los alumnos con la posibilidad de primas económicas para aquel Internacionalización Aumento de la movilidad de alumnos y profesores domésticos  Estudiantes que parten al extranjero/Total de estudiantes  Nº de meses de estancia en universidades extranjeras/ETC Atracción de alumnos extranjeros  Estudiantes extranjeros/Total de estudiantes  Personal destinado a atender a estudiantes extranjeros/estudiantes extranjeros Satisfacción de las necesidades sociales Mejora de la adaptación de la oferta de estudios a la demanda de la sociedad  Alumnos admitidos en 1ª y 2ª preferencia/Total de alumnos admitidos  Alumnos no tradicionales/Total de alumnos Incremento de la creación de empresas  Nº de empresas creadas/Titulados  Nº de empresas en desarrollo/Titulados Incremento en la inserción laboral de los titulados  Titulados con un trabajo relacionado con sus estudiosn/Tituladosn-1  Estudiantes realizando prácticas en empresas/Estudiantes totales Investigación Aumento de la labor investigadora  Indicadores bibliométricos (nº de artículos en publicaciones científicas, nº de referencias,…)/PTC  Nº de patentes registradas/PTC Aumento de los recursos propios captados para investigación  Volumen de recursos captados de empresas e instituciones/PTC  Convenios de colaboración con otras empresas e instituciones Fomento de la formación  Estudiantes de doctorado/Total de estudiantes  Nº de tesis leídas/PTC  Nº de becarios/PTC Fuente: Fernández (2001) Anexo 1. Ejemplos de indicadores de calidad propuestos en el SUE La calidad en la educación superior a través de indicadores sintéticos 323 Cuadro A1.3. Propuesta de indicadores de calidad para el Plan de Financiación del Sistema Universitario Gallego (cont.) Área Objetivo Indicador o Acción Postgrado Ampliación de las actividades de postgrado  Nº de estudiantes matriculados en cursos de postgrado/PTC  Variedad de los cursos de postgrado ofertados  Becas de trabajo concedidas para estudiantes de cursos de postgrado  Becas concedidas por la universidad/Total de alumnos de postgrado  Nº de estudiantes que ya trabajando demanda cursos de postgrado/Total de estudiantes de cursos de postgrado Cultura Fomento del bilingüismo y de la cultura universitaria  Nº de créditos impartidos en gallego/Total de créditos impartidos  Nº de actividades culturales (conciertos, proyecciones, exposiciones,…) desarrolladas en el seno de la universidad y nº de asistentes a dichas actividades/Total de ETC Fuente: Fernández (2001) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 330 Tabla A2.5. Valores del indicador parcial Ingresos por investigación (y5) Univ. Ingresos por investigación (€) (2008) PDI (2008) Ingresos por investigación (y5) Básica Aplicada Total UAL 2.799.579,00 8.703.606,00 11.503.185,00 834 13.792,79 UCA 4.567.665,66 15.737.652,40 20.305.318,06 1.655 12.269,07 UCO 7.032.511,57 14.533.086,11 21.565.597,68 1.222 17.647,79 UGR 3.662.057,00 43.101.125,00 46.763.182,00 3.677 12.717,75 UHU 2.816.792,48 5.467.504,00 8.284.296,48 894 9.266,55 UJA 2.640.559,88 6.907.128,89 9.547.688,77 1.059 9.015,76 UMA 12.706.995,72 17.547.174,31 30.254.170,03 2.252 13.434,36 UPO 2.307.004,13 10.800.350,86 13.107.354,99 886 14.793,85 USE 25.362.605,00 42.671.997,00 68.034.602,00 4.312 15.777,97 UZA 22.288.280,52 27.517.815,71 49.806.096,23 3.510 14.189,77 UOV 17.224.897,96 20.825.417,70 38.050.315,66 2.159 17.624,05 UIB 2.720.683,57 10.401.607,23 13.122.290,80 1.181 11.111,17 ULL 5.069.283,85 16.248.673,03 21.317.956,88 1.769 12.050,85 ULPGC 4.683.228,68 3.965.921,30 8.649.149,98 1.573 5.498,51 UCN 13.139.003,19 19.962.685,06 33.101.688,25 1.186 27.910,36 UCLM 11.411.653,00 21.450.624,00 32.862.277,00 2.181 15.067,53 UBU 915.780,00 2.909.514,00 3.825.294,00 717 5.335,14 ULE 2.797.750,58 5.390.085,90 8.187.836,48 955 8.573,65 USAL 4.851.232,00 9.096.008,00 13.947.240,00 2.621 5.321,34 UVA 4.668.693,58 16.112.360,02 20.781.053,60 2.770 7.502,19 UAB 19.975.111,63 45.560.272,53 65.535.384,16 3.426 19.128,83 UBA 17.066.954,31 52.838.985,29 69.905.939,60 4.853 14.404,69 UDG 2.441.254,08 5.510.149,54 7.951.403,62 1.168 6.807,71 UDL 2.648.290,53 11.828.725,52 14.477.016,05 832 17.400,26 UPF 3.817.710,00 18.168.847,00 21.986.557,00 1.052 20.899,77 URV 4.134.326,46 17.043.708,09 21.178.034,55 996 21.263,09 UA 8.495.777,00 13.130.200,08 21.625.977,08 2.170 9.965,89 UJCS 2.927.270,90 14.046.691,19 16.973.962,09 1.194 14.216,05 UMH 3.530.716,93 5.211.135,75 8.741.852,68 996 8.776,96 UVEG 16.450.689,00 22.874.730,78 39.325.419,78 3.574 11.003,20 UEX 7.378.565,07 30.609.220,31 37.987.785,38 1.814 20.941,45 ULC 5.765.580,51 7.487.766,89 13.253.347,40 1.423 9.313,67 USC 20.646.174,44 40.019.340,48 60.665.514,92 2.181 27.815,46 UVI 3.823.405,00 21.406.735,86 25.230.140,86 1.582 15.948,26 UAH 6.420.878,11 11.017.719,77 17.438.597,88 1.740 10.022,18 UAM 10.481.860,18 38.267.042,36 48.748.902,54 2.460 19.816,63 UCAR 12.839.000,00 21.484.000,00 34.323.000,00 1.868 18.374,20 UCM 66.967.000,00 66.967.000,00 6.249 10.716,43 URJC 5.022.405,42 4.549.329,40 9.571.734,82 1.577 6.069,58 UMU 7.551.901,02 13.339.393,00 20.891.294,02 2.216 9.427,48 UPN 2.946.160,03 7.383.630,83 10.329.790,86 880 11.738,40 UPV 11.712.086,00 54.779.880,00 66.491.966,00 4.879 13.628,20 URI 638.751,56 1.760.999,92 2.399.751,48 459 5.228,22 Fuente: Hernández (2010) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 331 Tabla A2.6. Valores del indicador parcial Tesis leídas (y6) Universidad Tesis leídas (2008) PDI Doctor (2008) Tesis leídas (y6) UAL 42 588 0,0714 UCA 81 891 0,0909 UCO 112 855 0,1310 UGR 392 2.768 0,1416 UHU 30 355 0,0845 UJA 46 696 0,0661 UMA 140 1.529 0,0916 UPO 46 458 0,1004 USE 283 2.691 0,1052 UZA 214 1.931 0,1108 UOV 178 1.367 0,1302 UIB 43 555 0,0775 ULL 117 1.307 0,0895 ULPGC 55 865 0,0636 UCN 65 709 0,0917 UCLM 121 1.150 0,1052 UBU 31 307 0,1010 ULE 63 610 0,1033 USAL 237 a1.586 0,1494 UVA 154 1.518 0,1014 UAB 465 1.882 0,2471 UBA 536 2.839 0,1888 UDG 48 559 0,0859 UDL 55 433 0,1270 UPF 117 478 0,2448 URV 88 501 0,1756 UA 139 1.113 0,1249 UJCS 46 633 0,0727 UMH 73 515 0,1417 UVEG 289 2.048 0,1411 UEX 82 1.014 0,0809 ULC 92 837 0,1099 USC 198 1.695 0,1168 UVI 125 861 0,1452 UAH 119 937 0,1270 UAM 409 1.816 0,2252 UCAR 83 743 0,1117 UCM b611 4.776 0,1279 URJC b47 705 0,0667 UMU 171 1.135 0,1507 UPN 34 502 0,0677 UPV 280 2.778 0,1008 URI 19 274 0,0693 a Valor imputado a la USAL correspondientes al año 2006 Fuente: Hernández (2010) y bObservatorio IUNE (2012) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 332 Tabla A2.7. Valores del indicador parcial Alumnos de postgrado por graduado (y7) Universidad Alumnos de enseñanzas oficiales de postgrado (2008/2009) Alumnos graduados de 2º ciclo (2008/2009) Alumnos de postgrado por graduado (y7) UAL 1.073 531 2,0207 UCA 1.853 1.058 1,7514 UCO 1.158 1.409 0,8219 UGR 5.806 4.580 1,2677 UHU 955 435 2,1954 UJA 821 889 0,9235 UMA 1.551 2.094 0,7407 UPO 518 530 0,9774 USE 4.099 4.203 0,9753 UZA 3.270 2.030 1,6108 UOV 1.423 1.705 0,8346 UIB 1.412 584 2,4178 ULL 1.224 1.213 1,0091 ULPGC 1.310 732 1,7896 UCN 1.257 722 1,7410 UCLM 1.423 1.356 1,0494 UBU 303 446 0,6794 ULE 877 1.037 0,8457 USAL 2.781 2.417 1,1506 UVA 1.589 1.807 0,8794 UAB 4.627 3.691 1,2536 UBA 7.207 4.564 1,5791 UDG 904 647 1,3972 UDL 829 390 2,1256 UPF 1.035 1.236 0,8374 URV 1.158 794 1,4584 UA 1.632 1.482 1,1012 UJCS 1.287 837 1,5376 UMH 917 796 1,1520 UVEG 4.318 3.962 1,0899 UEX 1.379 1.246 1,1067 ULC 1.985 1.275 1,5569 USC 2.304 2.621 0,8791 UVI 2.775 1.194 2,3241 UAH 2.854 1.150 2,4817 UAM 4.586 3.015 1,5211 UCAR 1.146 2.470 0,4640 UCM 11.837 5.995 1,9745 URJC 2.707 1.129 2,3977 UMU 1.936 1.834 1,0556 UPN 783 459 1,7059 UPV 2.403 3.455 0,6955 URI 420 498 0,8434 Fuente: Hernández (2010) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 333 Tabla A2.8. Valores del indicador parcial Plazas en residencias (y8) Universidad Plazas en residencias (2008/2009) Alumnos totales de la universidad (2008/2009) Plazas en residencias (y8) UAL 0 11.740 0,0000 UCA 120 18.857 0,0064 UCO 556 15.481 0,0359 UGR 634 57.119 0,0111 UHU 0 11.105 0,0000 UJA 152 16.032 0,0095 UMA 257 33.039 0,0078 UPO 377 10.963 0,0344 USE 973 58.585 0,0166 UZA 798 30.349 0,0263 UOV 93 24.288 0,0038 UIB 0 12.688 0,0000 ULL 622 22.770 0,0273 ULPGC 464 22.471 0,0206 UCN 0 10.870 0,0000 UCLM 44 27.124 0,0016 UBU 125 7.863 0,0159 ULE 160 13.302 0,0120 USAL 1.276 27.811 0,0459 UVA 1.260 25.736 0,0490 UAB 2.193 32.934 0,0666 UBA 910 54.660 0,0166 UDG 210 10.430 0,0201 UDL 200 7.621 0,0262 UPF 0 9.415 0,0000 URV 171 12.348 0,0138 UA 185 27.061 0,0068 UJCS 250 13.341 0,0187 UMH 0 11.493 0,0000 UVEG 467 50.133 0,0093 UEX 93 23.390 0,0040 ULC 0 21.310 0,0000 USC 1.200 27.713 0,0433 UVI 412 22.004 0,0187 UAH 977 18.445 0,0530 UAM 973 28.878 0,0337 UCAR 980 17.600 0,0557 UCM a6.195 77.515 0,0799 URJC a0 23.253 0,0000 UMU 465 27.926 0,0167 UPN 246 8.175 0,0301 UPV 936 44.451 0,0211 URI 0 5.862 0,0000 a Valor imputado a la UCM y la URJC correspondientes al curso 2006/2007 Fuente: Hernández (2008, 2010) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 334 Tabla A2.9. Valores del indicador parcial Puestos en bibliotecas (y9) Universidad Puestos en bibliotecas (2008) Alumnos de 1er y 2º ciclo y de grado (2008/2009) Puestos en bibliotecas (y9) UAL 1.762 10.667 0,1652 UCA 2.567 17.004 0,1510 UCO 3.341 14.323 0,2333 UGR 5.667 51.313 0,1104 UHU 1.119 10.150 0,1102 UJA 2.270 15.211 0,1492 UMA 4.092 31.488 0,1300 UPO 630 10.445 0,0603 USE 5.796 54.486 0,1064 UZA 4.878 27.079 0,1801 UOV 4.087 22.865 0,1787 UIB 1.209 11.276 0,1072 ULL 3.958 21.546 0,1837 ULPGC 1.486 21.161 0,0702 UCN 1.754 9.613 0,1825 UCLM 4.426 25.701 0,1722 UBU 1.541 7.560 0,2038 ULE 2.825 12.425 0,2274 USAL 5.373 25.030 0,2147 UVA 4.864 24.147 0,2014 UAB 5.197 28.307 0,1836 UBA 6.221 47.453 0,1311 UDG 1.742 9.526 0,1829 UDL 1.999 6.792 0,2943 UPF 1.817 8.380 0,2168 URV 2.378 11.190 0,2125 UA 3.542 25.429 0,1393 UJCS 1.635 12.054 0,1356 UMH 1.620 10.576 0,1532 UVEG 4.442 45.815 0,0970 UEX 3.230 22.011 0,1467 ULC 3.416 19.325 0,1768 USC 6.384 25.409 0,2512 UVI 2.996 19.229 0,1558 UAH 2.762 15.591 0,1772 UAM 4.577 24.292 0,1884 UCAR 2.329 16.454 0,1415 UCM a9.626 65.678 0,1466 URJC a2.867 20.546 0,1395 UMU 4.897 25.990 0,1884 UPN 1.549 7.392 0,2096 UPV 4.815 42.048 0,1145 URI 516 5.442 0,0948 a Valor imputado a la UCM y la URJC correspondientes al año 2006 Fuente: Hernández (2008, 2010) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 335 Tabla A2.10. Valores del indicador parcial Tasa de abandono (y2’) Universidad Tasa de abandono (y2’) (2008/2009) UAL 12,02 UCA 18,00 UCO a13,00 UGR 17,00 UHU 19,00 UJA 13,75 UMA 19,57 UPO 17,85 USE 19,53 UZA 16,63 UOV 21,60 UIB 16,00 ULL 29,88 ULPGC 19,36 UCN 17,53 UCLM 7,19 UBU 20,69 ULE 18,22 USAL 25,95 UVA 17,00 UAB 28,41 UBA 16,30 UDG 25,82 UDL 20,00 UPF 15,55 URV 14,81 UA 12,89 UJCS 13,39 UMH 21,00 UVEG 17,32 UEX 19,00 ULC 13,79 USC 26,00 UVI 16,93 UAH 24,81 UAM 19,00 UCAR 26,74 UCM 26,20 URJC a18,97 UMU 15,57 UPN 17,06 UPV 17,84 URI 28,64 a Valor imputado a la UCO correspondiente al curso 2006/2007 y a la URJC como promedio de las universidades analizadas Fuente: Hernández (2008, 2010) Anexo 2. Valores de los indicadores parciales que forman el ISCUE La calidad en la educación superior a través de indicadores sintéticos. 336 Tabla A2.11. Valores del indicador parcial Publicaciones WoS (y6’) Univ. Número de publicaciones WoS (2008) PDI (2008) Publicaciones WoS (y6’) UAL 289 834 0,3465 UCA 349 1.655 0,2109 UCO 584 1.222 0,4779 UGR 1.501 3.677 0,4082 UHU 205 894 0,2293 UJA 357 1.059 0,3371 UMA 565 2.252 0,2509 UPO 185 886 0,2088 USE 1.040 4.312 0,2412 UZA 979 3.510 0,2789 UOV 833 2.159 0,3858 UIB 343 1.181 0,2904 ULL 616 1.769 0,3482 ULPGC 262 1.573 0,1666 UCN 425 1.186 0,3583 UCLM 599 2.181 0,2746 UBU 133 717 0,1855 ULE 303 955 0,3173 USAL 703 2.621 0,2682 UVA 608 2.770 0,2195 UAB 1.903 3.426 0,5555 UBA 2.567 4.853 0,5290 UDG 365 1.168 0,3125 UDL 304 832 0,3654 UPF 551 1.052 0,5238 URV 510 996 0,5120 UA 615 2.170 0,2834 UJCS 340 1.194 0,2848 UMH 391 996 0,3926 UVEG 1.684 3.574 0,4712 UEX 483 1.814 0,2663 ULC 325 1.423 0,2284 USC 1.243 2.181 0,5699 UVI 689 1.582 0,4355 UAH 480 1.740 0,2759 UAM 1.416 2.460 0,5756 UCAR 425 1.868 0,2275 UCM 2.369 6.249 0,3791 URJC 361 1.577 0,2289 UMU 795 2.216 0,3588 UPN 271 880 0,3080 UPV 1.240 4.879 0,2542 URI 89 459 0,1939 Fuente: Observatorio IUNE (2012) y Hernández (2010) Anexo 3. Ponderaciones absolutas del ISCUE en los distintos escenarios La calidad en la educación superior a través de indicadores sintéticos 337      Anexo3.Ponderacionesabsolutas delISCUEenlosdistintos escenarios Tabla A3.1. Ponderaciones absolutas de cada indicador en el ISCUE original Tabla A3.2. Ponderaciones absolutas de cada indicador en el ISCUE v1 Tabla A3.3. Ponderaciones absolutas de cada indicador en el ISCUE v2 Anexo 3. Ponderaciones absolutas del ISCUE en los distintos escenarios La calidad en la educación superior a través de indicadores sintéticos 338 Tabla A3.1. Ponderaciones absolutas de cada indicador en el ISCUE original Univ. I1 I2 I3 I4 I5 I6 I7 I8 I9 UAL 0,0001 0,0001 0,4359 0,1670 0,0001 0,0001 0,2151 0,0001 0,0001 UCA 0,1608 0,0435 0,2340 0,1629 0,0001 0,0001 0,2394 0,0001 0,0001 UCO 0,0001 0,0001 0,0001 0,2052 0,0293 0,0001 0,0001 0,0642 0,3924 UGR 0,0001 0,0001 0,4161 0,1846 0,0001 0,0001 0,2000 0,0323 0,0001 UHU 0,0001 0,2368 0,2027 0,1430 0,0001 0,0001 0,2545 0,0001 0,0001 UJA 0,0001 0,0357 0,7910 0,0001 0,0001 0,0001 0,0001 0,0262 0,0135 UMA 0,0001 0,0247 0,7948 0,0001 0,0175 0,0001 0,0001 0,0256 0,0001 UPO 0,0001 0,0610 0,7784 0,0001 0,0001 0,0001 0,0001 0,0262 0,0001 USE 0,0001 0,0247 0,7948 0,0001 0,0175 0,0001 0,0001 0,0256 0,0001 UZA 0,6435 0,0001 0,0001 0,0001 0,0001 0,0001 0,0177 0,0803 0,0001 UOV 0,0001 0,0001 0,7725 0,0001 0,0545 0,0001 0,0001 0,0253 0,0001 UIB 0,0001 0,0001 0,0504 0,0001 0,0001 0,0001 0,5256 0,0001 0,0001 ULL 0,0001 0,0001 0,7209 0,0001 0,0001 0,0001 0,0204 0,0258 0,1008 ULPGC 0,0001 0,0001 0,5365 0,1285 0,0001 0,0001 0,1583 0,0281 0,0001 UCN 0,0001 0,0001 0,0001 0,0001 0,4761 0,0001 0,0001 0,0001 0,0001 UCLM 0,0001 0,0226 0,7974 0,0001 0,0001 0,0001 0,0001 0,0235 0,0204 UBU 0,0001 0,0001 0,6257 0,0001 0,0001 0,0001 0,0001 0,0306 0,1950 ULE 0,0001 0,0001 0,4146 0,0001 0,0001 0,0001 0,0548 0,0001 0,3574 USAL 0,0001 0,0001 0,0001 0,4322 0,0001 0,0001 0,0001 0,0944 0,0764 UVA 0,4599 0,0001 0,0001 0,2330 0,0001 0,0001 0,0001 0,0496 0,0001 UAB 0,0001 0,0001 0,0001 0,0001 0,0001 0,1394 0,0001 0,2117 0,0001 UBA 0,0001 0,3749 0,1351 0,0001 0,0001 0,1024 0,2316 0,0001 0,0001 UDG 0,3386 0,4678 0,0001 0,0001 0,0001 0,0001 0,0275 0,0104 0,0001 UDL 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,4479 0,0001 0,1641 UPF 0,0001 0,0001 0,0001 0,4810 0,0001 0,0001 0,0001 0,0001 0,0001 URV 0,0001 0,3844 0,0001 0,0001 0,1562 0,0712 0,1779 0,0079 0,0001 UA 0,0001 0,0001 0,8199 0,0143 0,0001 0,0001 0,0001 0,0274 0,0001 UJCS 0,0015 0,4721 0,1581 0,0001 0,0606 0,0001 0,1730 0,0139 0,0001 UMH 0,0001 0,7123 0,0001 0,0001 0,0001 0,0001 0,1308 0,0001 0,0001 UVEG 0,0001 0,0001 0,8199 0,0143 0,0001 0,0001 0,0001 0,0274 0,0001 UEX 0,0001 0,0001 0,7191 0,0001 0,0811 0,0001 0,0347 0,0215 0,0001 ULC 0,0001 0,0001 0,4991 0,0001 0,0001 0,0317 0,1387 0,0001 0,1938 USC 0,0001 0,0001 0,0001 0,0001 0,3023 0,0001 0,0001 0,1692 0,0001 UVI 0,0001 0,0001 0,0001 0,0001 0,1289 0,0001 0,4921 0,0001 0,0001 UAH 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,3889 0,1080 0,0001 UAM 0,0001 0,0001 0,0001 0,0001 0,0001 0,3082 0,3528 0,0075 0,0001 UCAR 0,5342 0,0001 0,0001 0,0001 0,1564 0,0001 0,0001 0,0542 0,0001 UCM 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,2496 0,0001 URJC 0,0001 0,0001 0,0504 0,0001 0,0001 0,0001 0,5256 0,0001 0,0001 UMU 0,3860 0,3791 0,0001 0,0001 0,0001 0,0212 0,0001 0,0207 0,0258 UPN 0,0894 0,0001 0,3260 0,0001 0,0001 0,0001 0,2395 0,0332 0,1335 UPV 0,7369 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 URI 0,0001 0,0610 0,7784 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 Nota: Sombreados las universidades que alcanzan el valor máximo en el ISCUE original Fuente: Elaboración propia Anexo 3. Ponderaciones absolutas del ISCUE en los distintos escenarios La calidad en la educación superior a través de indicadores sintéticos 339 Tabla A3.2. Ponderaciones absolutas de cada indicador en el ISCUE v1 Univ. I1 I2 I3 I4 I5 I6 I7 I8 I9 UAL 0,0001 0,3869 0,1255 0,0001 0,1349 0,0001 0,0938 0,0001 0,0620 UCA 0,0001 0,3572 0,1311 0,0406 0,1490 0,0001 0,1063 0,0256 0,0001 UCO 0,2033 0,0001 0,1885 0,0970 0,1462 0,0001 0,0001 0,0376 0,0885 UGR 0,0001 0,2055 0,1954 0,0183 0,1060 0,0807 0,2121 0,0037 0,0001 UHU 0,3233 0,0001 0,1503 0,0001 0,1039 0,1140 0,0952 0,0001 0,0001 UJA 0,0001 0,3450 0,0859 0,0377 0,1293 0,0001 0,1286 0,0245 0,0695 UMA 0,0001 0,3229 0,1357 0,0001 0,1284 0,0129 0,1087 0,0204 0,0956 UPO 0,0001 0,3642 0,1141 0,0596 0,1074 0,0001 0,1657 0,0223 0,0001 USE 0,0001 0,2733 0,2141 0,0363 0,1833 0,0001 0,0494 0,0298 0,0001 UZA 0,3651 0,0001 0,0945 0,0827 0,0646 0,0319 0,0832 0,0198 0,0661 UOV 0,3293 0,0001 0,1493 0,0001 0,1018 0,0392 0,0001 0,0161 0,1599 UIB 0,3295 0,0006 0,1373 0,0001 0,1075 0,1158 0,0930 0,0001 0,0001 ULL 0,0359 0,3495 0,1061 0,0001 0,1303 0,0064 0,0905 0,0219 0,0825 ULPGC 0,0982 0,2636 0,0737 0,0706 0,1791 0,0001 0,0561 0,0318 0,0001 UCN 0,1590 0,0001 0,0001 0,1710 0,1906 0,0001 0,1555 0,0001 0,0001 UCLM 0,0001 0,3516 0,1228 0,0001 0,1164 0,0001 0,1092 0,0001 0,1133 UBU 0,3191 0,0001 0,1100 0,0001 0,0001 0,1497 0,1030 0,0001 0,1029 ULE 0,0001 0,3508 0,0961 0,0001 0,0001 0,1157 0,1627 0,0083 0,0694 USAL 0,4143 0,0001 0,0960 0,0619 0,0001 0,0768 0,0971 0,0108 0,0553 UVA 0,3634 0,0001 0,0818 0,0617 0,0001 0,1006 0,1338 0,0068 0,0568 UAB 0,2699 0,0001 0,0001 0,0721 0,0001 0,1427 0,0001 0,0899 0,0001 UBA 0,0001 0,3137 0,1434 0,0001 0,0001 0,1450 0,1997 0,0001 0,0001 UDG 0,3201 0,0001 0,1132 0,0001 0,0113 0,1416 0,1058 0,0001 0,0973 UDL 0,2409 0,0001 0,0001 0,0001 0,1738 0,0672 0,0636 0,0377 0,1389 UPF 0,0001 0,2327 0,0001 0,1444 0,0001 0,1440 0,0001 0,0001 0,0751 URV 0,0001 0,1424 0,0910 0,0001 0,1736 0,0901 0,1484 0,0095 0,1177 UA 0,3755 0,0001 0,1143 0,0504 0,0001 0,1173 0,1533 0,0001 0,0001 UJCS 0,0001 0,3857 0,1447 0,0001 0,1166 0,0001 0,1098 0,0211 0,0602 UMH 0,0001 0,2782 0,0774 0,0001 0,0001 0,1498 0,2124 0,0001 0,0798 UVEG 0,0001 0,3068 0,1642 0,0001 0,0001 0,1364 0,2034 0,0001 0,0001 UEX 0,0001 0,2595 0,2530 0,0001 0,1657 0,0001 0,0336 0,0107 0,0637 ULC 0,1832 0,0001 0,1476 0,0001 0,0001 0,1661 0,1351 0,0001 0,1433 USC 0,3107 0,0001 0,0001 0,1053 0,1434 0,0001 0,0001 0,0474 0,1280 UVI 0,2122 0,0532 0,2168 0,0001 0,0901 0,1016 0,1360 0,0001 0,0001 UAH 0,3516 0,0001 0,0001 0,0395 0,0001 0,1459 0,0860 0,0081 0,1255 UAM 0,1806 0,0001 0,0001 0,0403 0,0208 0,1938 0,1759 0,0001 0,1269 UCAR 0,2848 0,0001 0,2322 0,0023 0,1838 0,0001 0,0001 0,0492 0,0001 UCM 0,2253 0,0001 0,0001 0,0001 0,2310 0,0389 0,1566 0,0570 0,0001 URJC 0,3655 0,0001 0,1012 0,0001 0,0928 0,0772 0,0486 0,0001 0,1007 UMU 0,0882 0,1636 0,0001 0,0001 0,0001 0,1795 0,0982 0,0097 0,1922 UPN 0,0007 0,3846 0,1087 0,0048 0,1374 0,0001 0,0963 0,0234 0,0670 UPV 0,2369 0,0001 0,1672 0,0001 0,1101 0,0547 0,0469 0,0156 0,1659 URI 0,1929 0,1036 0,0786 0,0001 0,0001 0,1547 0,1465 0,0001 0,1087 Nota: Sombreados las universidades que alcanzan el valor máximo en el ISCUE v1 Fuente: Elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 346 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 347 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 348 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 349 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 350 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia Anexo 4. Gráficos del análisis jacknife La calidad en la educación superior a través de indicadores sintéticos 351 Gráfico A4.1. Gráficos del análisis jacknife para las 43 universidades evaluadas Fuente: elaboración propia [Document text truncated for crawler view.]