Análisis de la eficiencia del gasto público en educación secundaria

C.2.2/ 9-2-96 I I I ENCUENTRO DE ECONOMIA PUBLICA Departamento de Teoría Económica y Economía Política Universidad de Sevilla Sevilla 9, 10 de febrero de 1995 COMUNICACIÓN Análisis de la eficiencia del gasto público en educación secundaria. Javier SALINAS JIMENEZ Departamento de Economía Aplicada. Universidad de Extremadura. Francisco PEDRAJA CHAPARRO Departamento de Economía Aplicada. Universidad de Extremadura Introducción La importancia del gasto público en Educación puede ser destacada atendiendo a aspectos tanto cualitativos como cuantitativos. En el primer caso, la educación es un bien preferente cuya provisión pública puede, además de internalizar algunos efectos externos, contribuir a reducir la desigualdad económica. En su aspecto cuantitativo, supone un 10% del gasto público total, siendo una de las funciones en las que nuestro país ha realizado un destacado esfuerzo de manera que en los últimos veinte años ha doblado su participación en el PIB (4% en 1992). Como señala San Segundo (1991), una vez que los objetivos básicos de educación obligatoria y gratuita han sido satisfechos, las reformas educativas deberían dirigirse a garantizar la mejora en la calidad de la enseñanza. En ese sentido, resultan del máximo interés todos aquellos estudios que permitan evaluar el grado de eficiencia con el que se presta esa función por parte de los respectivos centros educativos. La evaluación de la eficiencia en el sector de la Educación plantea problemas específicos, confiriendo a esta tarea una particular dificultad. En primer lugar, nos encontramos en un ámbito en el que existe un desconocimiento absoluto de la función de producción, es decir, de la relación entre los inputs y el producto escolar. Por otra parte, la inexistencia de precios que permitan evaluar adecuadamente el grado de cumplimiento de los objetivos por parte de los centros, proporciona a los outputs un carácter mult¿dimensional que añade nuevos problemas a la evaluación de la eficiencia. Además, la existencia de factores no controlables, al margen de la actuación de las unidades productivas, puede repercutir de forma considerable en el rendimiento de los alumnos y contribuye a que los intentos de estimación de las funciones de producción ofrezcan habitualmente resultados contradictorios y poco significativos. Los estudios de eficiencia realizados en el campo de la educación primaria y secundaria son muy reducidos hasta la fecha y ninguno de ellos se refiere a nuestro país. La mayoría, llevados a cabo en los Estados Unidos y en el Reino Unido a partir de la segunda mitad de la década de los sesenta, han aplicado modelos de regresión1 o modelos paramétricos de frontera2. Sus resultados han de ser examinados con gran cautela por las características comentadas de la función de producción en el sector educativo. Desde comienzos de los años ochenta, se han realizado varios estudios que aplican técnicas no-paramétricas. Entre ellos, destacan los realizados por Bessent y Bessent (1980), Bessent et alter (1982), Jesson, Mayston y Smith (1987), Fáre, Grosskopf y Weber (1989), Deller y Rudnicky (1993), y Thanassoulis y Dunstan (1994). En los estudios realizados sobre la eficiencia con la que actúan los centros educativos se llega a la conclusión de que éstos no se sitúan sobre la frontera de producción por dos razones3. En primer lugar, por la ausencia de incentivos para que decisores y gestores maximicen los resultados de los alumnos y reduzcan los costes de los centros. En segundo lugar, por el desconocimiento del proceso de producción educativa. 1 Summer y Wolfe (1977). 2 Levin (1974) y Hanushek (1986), entre otros. 3 Véase Hanushek (1986). 1 «QOMOMCAs Y emmmm IMVfMOM) OC KVUA BIBLIOTECA La presente investigación se propone evaluar la eficiencia técnica con la que actúan los distintos Centros públicos de educación secundaria (BUP y COU) localizados en el País Vasco. El análisis se ha centrado en la actuación de 62 centros públicos (de los 72 existentes) para los cuáles disponemos de información completa relativa al curso académico 89-90. La estructura del trabajo es la siguiente. En primer lugar, se describe someramente la técnica utilizada para efectuar la medición de la eficiencia (análisis envolvente de datos), incidiendo en aquellas características de la misma que hacen que ésta técnica sea un instrumento idóneo en un ámbito como el que se analiza. A continuación se procede a la selección y descripción de las variables utilizadas. En tercer lugar, se presentan los resultados obtenidos, realizándose un análisis de la robustez de los mismos. El trabajo finaliza con el habitual apartado de conclusiones. 1.- El Análisis Envolvente de Datos El análisis envolvente de datos fue desarrollado por Chames, Cooper y Rhodes (1978) basándose en el trabajo seminal de Farrell (1957). El modelo utiliza técnicas de programación lineal para comparar la eficiencia de un conjunto de unidades que producen outputs similares a partir de un conjunto común de inputs. La técnica envolvente de datos puede ser considerada como una extensión del análisis tradicional de ratios output/input. La eficiencia de la unidad cuya eficiencia se pretende evaluar se define como el ratio de la suma ponderada de outputs con respecto a la suma ponderada de inputs. Las ponderaciones son generadas por la propia técnica de forma que cada unidad sea examinada de la forma más favorable posible4. El análisis envolvente de datos presenta una serie de características que la hacen un instrumento eficaz para realizar la evaluación de la eficiencia en el ámbito del Sector educativo. Así, en primer lugar, ofrece información sobre la eficiencia relativa de las unidades analizadas. Es decir, la eficiencia no es evaluada en base a una frontera de producción ideal; los índices de eficiencia se calculan a partir de las mejores prácticas observadas. Este marco de referencia resulta adecuado para realizar el análisis de eficiencia en un sector en el que, como dijimos anteriormente, no parece que existan, a prior i, incentivos que conduzcan a un comportamiento eficiente de las unidades analizadas. En segundo lugar, el modelo DEA se pliega al carácter multidimensional de los inputs y outputs de estas actividades y se ajusta a la situación de ausencia de precios y a la correspondiente falta de ponderaciones necesarias para agregar los diversos ratios en un único índice de eficiencia. Además, es un método flexible, estableciendo supuestos poco restrictivos a la hora de definir el conjunto de producción y su frontera correspondiente. En cuarto lugar, el análisis envolvente de datos permite incluir en la evaluación de la eficiencia factores que están fuera del control de las unidades analizadas. Este hecho es especialmente importante en el sector educativo, dónde los resultados académicos obtenidos por los alumnos están condicionadas en gran medida por factores exógenos al sistema escolar, como pueden ser la renta familiar y el nivel cultural de los padres5. Por último, el modelo DEA ofrece una información minuciosa y detallada sobre los índices de eficiencia de las unidades 4 Para un estudio detallado del modelo DEA, véase Pedraja y Salinas (1994). 5 Ver, entreotros, el Informe Coleman(1966) o los trabajosde Burkhead, Foxy Holland(1967), Bowles (1970) y Gray, Jesson y Jones (1986). 2 analizadas, las ponderaciones utilizadas, los grupos de referencia y los objetivos de producción y consumo que las unidades ineficientes deberían alcanzar para llegar a ser eficientes. Todas estas características nos han llevado a elegir la técnica envolvente de datos como un instrumento adecuado para el objetivo que pretendemos conseguir. 2.- Selección de Variables Con respecto a los outputs, hay que tener en cuenta que el producto de los centros educativos es claramente multidimensional. Por tanto, en principio, sería necesario disponer de un conjunto de medidas que permitieran captar las múltiples dimensiones del producto educativo. De esta forma, los análisis más significativos realizados sobre la eficiencia y eficacia en centros escolares incluyen un amplio abanico de medidas de producto referidas tanto a los logros conseguidos en el ámbito académico como en el social. En este sentido, autores, como Norman y Stoker (1991) o Thanassoulis y Dunstan (1993) señalan la conveniencia de incluir en el análisis elementos que no aparecen en las pruebas académicas y que constituyen "outputs" significativos de la educación, como pueden ser el nivel de creatividad, de urbanidad, de compañerismo, etc. Sin embargo, y a pesar de ello, la mayoría de los trabajos desarrollados sobre la eficiencia con la que actúan los centros educativos (estudios realizados en Estados Unidos y Reino Unido, principalmente) se han llevado a cabo considerando una única dimensión del output: los resultados obtenidos en los exámenes. Esta forma de evaluar la actuación de los centros educativos ha tenido especial incidencia en el Reino Unido, dónde a partir de la Education Act (1980) se han publicado periódicamente las calificaciones obtenidas por los alumnos de los distintos centros, elaborándose, a partir de 1991, clasificaciones de los centros ("league tables") en función de los resultados obtenidos por sus alumnos. Una de las principales razones para efectuar el análisis de eficiencia de los centros considerando como único output las calificaciones de los exámenes es de índole práctica. Como señalan Gray, Jesson y Jhones (1986), el resto de los componentes del output educativo son difícilmente cuantificables, no existiendo, por tanto, información disponible que se recoja de forma sistemática en estadísticas oficiales. A pesar de las limitaciones de considerar un sólo componente del output, el uso de las calificaciones obtenidas por los alumnos en los exámenes puede ser defendido atendiendo a tres tipos de consideraciones. En primer lugar, son fáciles de medir y entender. Además, y como la literatura sobre eficacia de los centros educativos ha puesto de manifiesto de forma reiterada, las calificaciones de los exámenes tienen un impacto social relevante, en el sentido de que condicionan de forma considerable las perspectivas de empleo de aquellos estudiantes que finalizan sus estudios6. Por último, para el caso español, contamos con la ventaja de disponer de unas pruebas homogéneas comunes que han de ser superadas por los alumnos que, habiendo estudiado en una determinada área geográfica, quieran realizar estudios superiores. 6 Véase Garner y Raudenbush (1991) o Raffe y Willms (1989). 3 En definitiva, la complejidad del output del proceso educativo lleva a utilizar las calificaciones obtenidas como único output. Ciertamente, en esas calificaciones se manifiesta una multiplicidad de facetas del rendimiento que parece sumamente interesante. Evidentemente, lo que resulta imprescindible es la homogeneidad y objetividad de la prueba, que ha de ser común para todos los centros examinados. En nuestro caso, hemos tomado como outputs las calificaciones medias obtenidas por los alumnos de los distintos centros y el porcentaje de alumnos que superan el examen de Selectividad de la Universidad del País Vasco, examen que es común para los centros de enseñanza de Alava, Guipúzcoa y Vizcaya. Por lo que respecta a los inputs, hemos considerado únicamente los recursos físicos y monetarios empleados en el proceso educativo. Así, hemos tomado como inputs el número de profesores por alumno y los gastos generales, en actividades complementarias y servicios asistenciales por alumno. En estos se incluyen, entre otros, los gastos en formación del profesorado, viajes y dietas, material docente, etc, así como aquellos de carácter formativo no estrictamente docente (por ej. visitas a museos y empresas, conferencias...) y los de comedor, transporte y residencia. La selección de inputs efectuada puede criticarse debido al debate que se ha producido en las últimas tres décadas sobre la relación existente entre los recursos utilizados en el proceso educativo y los resultados académicos. En este sentido, sería necesario incluir en el análisis de los Centros educativos medidas que reflejaran las habilidades innatas de los estudiantes (aptitudes y coeficiente intelectual). La dificultad y polémica que rodea a este tipo de mediciones y la ausencia de datos han dado lugar a que prescindamos de este tipo de variables en el análisis que efectuamos. En cualquier caso, el supuesto que subyace al no incorporar estas variables en nuestro estudio es que, en media, no divergen de unos Centros a otros. La selección de variables que reflejan los recursos materiales disponibles parece apropiada si consideramos que, como nos recuerdan Ipiña et alter (1994), algunos estudios recientes señalan que la cantidad relativa (por alumno) de profesorado así como la disponibilidad de equipos y servicios materiales de los centros son altamente significativos a la hora de explicar las calificaciones obtenidas por los alumnos7. También se han incluido en la medición de la eficiencia, como señalamos anteriormente, una serie de elementos que escapan total o parcialmente del control de la unidad productiva, como son las características socioeconómicas del estudiante (reflejadas por el porcentaje de alumnos que reciben becas)y el porcentaje de alumnos que cursan estudios en horario nocturno. La inclusión de este tipo de variables de contexto tiene como única finalidad asegurar que al evaluar cada uno de los Centros, éstos sean comparados únicamente con otros que actúen en similares o peores circunstancias y resulta fundamental debido a que la procedencia de los alumnos es un factor determinante a la hora de explicar sus resultados académicos. Tener en cuenta dicha procedencia es la única forma justa de realizar comparaciones entre las actuaciones de los distintos centros educativos8. Las anteriores consideraciones y la disponibilidad de los datos existentes nos ha permitido seleccionar, inicialmenle, las variables que aparecen reflejadas en la tabla 1. 7 Véase, por ejemplo el trabajo de Hedges et alter (1994), que señala la inportante significación que tienen la cantidad de recursos y, especialmente, el gasto por alumno en los resultados alcanzados por los estudiantes. 8 Goldstein (1988). 4 Tabla 1: Estadística descriptiva de las variables utilizadas Variables Media (Desv. típica) Inputs Gastos generales por alumno (miles de pesetas) Número de profesores por alumno 19,370 (20,57) 0,06227 (0,01009) Outputs Nota media en el examen de Selectividad Porcentaje de aprobados en el examen de Selectividad 5,463 (0,3460) 0,9352 (0,04682) Factores exógenos Porcentaje de alumnos que disfrutan de beca (proxy niveles de renta) Porcentaje de alumnos en el nocturno 0,08313 (0,03451) 0,0378 (0,10) La naturaleza de las variables empleadas (ratios y porcentajes) implican la utilización del modelo DEA con rendimientos de escala variables, versión propuesta por Banker, Chames y Cooper (1981). Uno de los principales problemas del modelo DEA es que, debido a su carácter no paramétrico, los resultados pueden ser muy sensibles a la especificación del modelo, sin que dispongamos de ningún tipo de test que nos permita averiguar si la selección de variables efectuada es adecuada. Para comprobar la robustez de los resultados obtenidos, hemos examinado las variaciones que se producen en los mismos cuando se evalúa la eficiencia de los distintos centros utilizando conjuntos alternativos de variables9. Este análisis nos permite cualificar los resultados obtenidos ya que, si no existen divergencias significativas entre los resultados al utilizar distintos conjuntos de variables, los índices de eficiencia obtenidos por los centros no podrán ser imputados a la selección de variables efectuadas. En este sentido, hemos tomado cuatro modelos con especificaciones alternativas al modelo inicial: 9 Esta línea de análisis, propuesta por Nunamaker (1985), ha sido seguida, entre otros, por Fare, Grossskopf y Weber (1989) y por Valdmanis (1992). 5 Modelo 1 (MI): Inclusión, como input adicional, del número de personal no docente por alumno. Modelo 2 (M2): Sustitución de la variable "Nota media en Selectividad" por una variable que se define como el cociente entre dicha nota media y la desviación típica. Esta variable intenta reflejar, además de la media de los resultados académicos, la distribución de los mismos10. Modelo 3 (M3): Sustitución de los gastos generales, en actividades complementarias y servicios asistenciales por alumno por los gastos totales por alumno. Modelo 4 (M4): Inclusión como variable exógena del porcentaje de alumnos inadecuados, en sustitución del porcentaje de alumnos que cursan estudios en el nocturno. 3.- Resultados. De los 62 Centros examinados, quince fueron evaluados como eficientes. La eficiencia media estimada es del 86.99%. En el gráfico adjunto se muestra la distribución de los niveles de eficiencia estimados para los centros analizados. - Gráfico 1: Distribución de eficiencias estimadas - 20- 15- 10- 5- SS%«>% COMSt 6S%-70% 70%-7» 75MC1 aova» aSVgOK 90%-95% 85%-10O% 10 Véase Brown y Saks (1975). 6 Como indicamos anteriormente, la información ofrecida por el modelo DEA no se limita solamente al cálculo de los índices de eficiencia de las unidades evaluadas; el análisis envolvente de datos ofrece una información muy rica sobre las unidades ineficientes, información que puede ser de utilidad para identificar aspectos deficientes en el comportamiento de dichas unidades. Con la finalidad de ofrecer un ejemplo ilustrativo, hemos considerado un centro ineficiente (Centro 48, cuyo índice de eficiencia es del 67,25%), sobre el cual el modelo DEA nos suministra la siguiente información relevante: a) Grupo de referencia. Tabla 2: Grupo de referencia para el Centro 48 Centro CENTRO 4 CENTRO 1 CENTRO 31 X 0,587 0,406 0,007 El Centro 48 es relativamente ineficiente al ser comparado con un Centro "hipotético" formado a partir de tres Centros que son evaluados como eficientes (Centro 1, Centro 4 y Centro 31). Estos tres Centros con los que se compara al Centro 48 actúan en peores circunstancias por lo que respecta a las variables de contexto utilizadas. Es decir, a pesar de ser Centros con un mayor porcentaje de alumnos en circunstancias desfavorables (medidas por las variables exógenas porcentaje de alumnos con beca y porcentaje de alumnos en el nocturno), obtienen mejores resultados en relación a los recursos empleados. En la construcción del Centro "hipotético" que constituye la referencia del Centro 48 tienen un mayor peso el Centro 4 (58,7%) y el Centro 1 (40.6%) que el Centro 31 (0,7%). El estudio de los comportamientos y circunstancias en la que actúan estos dos Centros puede arrojar alguna luz sobre los aspectos que hacen que el Centro 48 tenga una actuación deficiente en relación a ellos. b) Objetivos de consumo de recursos y de resultados. El modelo DEA suministra también información sobre los objetivos de producción y consumo para las unidades ineficientes, objetivos que vienen dados por el consumo y la producción de la unidad de referencia construida como acabamos indicar. Para el Centro 48, los objetivos de producción y consumo vienen dados por: 7 Tabla 3: Objetivos de producción y consumo para el Centro 48 Variable Nivel real Objetivo Posible mejora Profesores por alumno 0,07092 0,04769 32,75% Gastos generales por alumno 17,052 11,471 32,8% Nota media de Selectividad 5,13 5,30 3,3% Porcentaje de aprobados en Selectividad 80,33% 96,00% 19,5% El consumo de recursos podría ser reducido en, al menos, un 32,75% si este Centro actuara como el Centro hipotético con el que se efectúa la comparación. Esta disminución en el empleo de recursos podría ser compatible incluso con una mejora significativa de los resultados, especialmente en el caso del output "porcentaje de alumnos aprobados en el examen de Selectividad". Por lo que respecta a la robustez de los resultados, de los quince centros evaluados como eficientes en el modelo inicial, once son evaluados como eficientes en los cuatro modelos alternativos formulados, y los cuatro restantes obtienen índices de eficiencia próximos a la unidad. Para comprobar la similitud entre los resultados obtenidos con el modelo inicial y los distintos modelos alternativos propuestos hemos utilizado una serie de pruebas no paramétricas". Así, en primer lugar hemos aplicado el test de Kolmogorov-Smirnov con la finalidad de comprobar si los cinco modelos utilizados dan lugar a resultados con distribuciones significativamente diferentes. Los resultados obtenidos, que se muestran en la tabla 4, nos permiten aceptar la hipótesis nula de una similar distribución (similares medias y varianzas) de las eficiencias estimadas con el modelo inicial y con los cuatro modelos alternativos. Tabla 4: Comparación de la distribución de resultados del modelo inicial y de los modelos alternativos (test de Kolmogorov-Smirnov) M0 versus MI M0 versus M2 M0 versus M3 M0 versus M 4 Máx. diferencias 0.145 0.113 0.161 0.081 Prob Error Tipo I 0.531 0.824 0.395 0.988 Además de comparar la distribución de los resultados, hemos aplicado el test de correlación de rangos de Spearman para comprobar la semejanza entre las ordenaciones de los centros resultantes al aplicar los distintos modelos. Como puede observarse en la Tabla 5, la ordenación ofrecida por Hemos optado por este tipo de pruebas para evitar los habitualmente fuertes supuestos (normalidad) que imponen los contrastes de tipo paramétrico. 8