Repositorio Institucional de Documentos

1 Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 2 3 Universidad de Zaragoza. Facultad de Educación Máster Aprendizaje a lo largo de la vida en contextos multiculturales Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria Elaboración de indicadores a través de un proceso de Autoevaluación e Investigación-Acción Trabajo Fin de Máster Curso: 2011/2012 Autor: Jesús Zapatero Herranz Directora: P. Alejandra Cortés Pascual 4 5 Muchas gracias a todos Por todo 6 7 Índice INTRODUCCIÓN……………………………………………………..........................,,.....11 PRIMERA PARTE: FUNDAMENTACIÓN TEÓRICA. ………………………..….,,.….15 1. Marco del Estudio…………………………….……………………….….,,.…...17 1.1 Cuestiones de Investigación…………………………….……………….,.…17 1.2 Revisión de la literatura………………………………………..……….,….19 1.2.1 Aproximación a la Educación, Orientación, Calidad y Evaluación….19 1.2.2 Modelos, funciones y estructuras de la orientación ……….…….…22 1.2.3 El camino hacia la calidad ..…………...……………………….…….28 1.2.4 Calidad y Orientación ..…………...…………………………….……30 1.2.5 Evaluación, Calidad, Innovación e Investigación………………..…...33 1.2.6 Evaluación de la calidad de los servicios de orientación………..…….35 1.2.7 La investigación en Orientación ..…………...………………….,,.…..38. 1.2.8 Los indicadores de evaluación y de calidad ..…………...………,..….39 1. 3 Fundamentación teórica y epistemológica…………………………,,…….…43 1.4 Propósito……………………………………………………………,,.………49. SEGUNDA PARTE: ESTUDIO EMPÍRICO………………………………………,,…..…51 2. Método………………………………………………………..,,………………....53 2.1 Participantes…………………………………………………,,…………..…53 2.2 Herramientas y Herramientas……..…………………………,,………….…57 2.3 Procedimiento…………………………………………………..…,,….……55 3. Resultados…………………………………………………..………….…,…..…69 4. Discusión…………………………...…………………...…………………,……89 5. Conclusiones, limitaciones y líneas abiertas de investigación-acción……,…….93 6. Referencias……………….…………………………..…………………….,..… 97 ANEXOS………………………………………………………………………,…101 Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 8 9 Resumen: Los servicios de Orientación educativa y profesional son un observatorio privilegiado del sistema educativo y un eslabón entre la calidad, la diversidad y la equidad. Por ello tienen la responsabilidad de evaluar sus resultados y mejorar sus procesos a través de acciones de evaluación, innovación e investigación. Las metodologías de investigación-acción pueden contribuir a estos objetivos a través de la participación de las personas implicadas y la elaboración conjunta de indicadores de evaluación apropiados para los servicios de orientación en educación secundaria. Todo ello permitirá mejorar la calidad de estos servicios dedicando más tiempo a lo que más valor aporta a estos servicios, es decir, al trato personal, la relación de confianza y la personalización de la educación. Palabras Clave: Evaluación, Orientación, Calidad, Investigación, Innovación, Indicadores Abstract: Guidance services and vocational education are a privileged education system and a link between the quality, diversity and equity. Therefore have a responsibility to assess their performance and improve their actions through assessment, innovation and research. The action research methodologies can contribute to these goals through the participation of the people involved and the joint development of appropriate evaluation indicators for guidance services in secondary education. This will improve the quality of these services spending more time on what brings more value to these services, that is, the personal, the trust and personalization of education. Keywords: Assessment, Orientation, Quality, Research, Innovation, Indicators Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 16 17 1. MARCO DEL ESTUDIO De la mar al percepto, del percepto al concepto, del concepto a la idea -¡Oh, la linda tarea!-, de la idea a la mar. ¡Y otra vez a empezar! A. Machado 1.1 Cuestiones de Investigación El presente trabajo de investigación surge de una inquietud, de una intuición y de una convicción tanto de tipo científico como profesional. De la inquietud por buscar respuestas desde la orientación educativa a las nuevas situaciones y necesidades que se detectan en el ámbito de la educación y más concretamente en los centros de educación secundaria. De la intuición en que los procesos de evaluación pueden contribuir a la mejora de la calidad de los servicios de orientación en educación secundaria. Y de la convicción de que es posible crear instrumentos y herramientas que faciliten la puesta en práctica de procesos de evaluación y mejora continua a través de la participación y la investigación-acción. El objeto de esta investigación surge, por tanto, de asumir el desafío de mejorar los servicios de orientación en Educación Secundaria teniendo en cuenta la propia experiencia en el desempeño de dichos servicios. El ejercicio de la orientación en diferentes centros facilita la interacción y el contacto con los profesionales, colaboradores y usuarios de dichos servicios y permite recabar información para identificar factores que pueden incidir en la mejora de la calidad de dichos servicios. El acceso a los contextos en los que tiene lugar los procesos de educación y orientación permite la posibilidad de investigar, observar y estudiar, desde una mirada autocrítica y científica, aquellos elementos y variables que pueden ser decisivos en la puesta en práctica de la orientación educativa en los centros de educación secundaria. Más que una posibilidad es un privilegio y una necesidad implícita dentro de las competencias y las funciones del “oficio” de orientar. No es posible orientar sin investigar, como tampoco es posible mejorar la calidad sin evaluar. Por otro lado investigar es una manera de intervenir en el medio, y en el “campo”. El proceso, por tanto, surge desde la Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 18 propia experiencia profesional en el desempeño de la orientación educativa y pretende contar con los agentes, colaboradores y destinatarios de los servicios de orientación educativa en Secundaria. El marco de este trabajo es el de la Investigación-Acción. Un enfoque en el que no es fácil diferenciar el punto de inicio y el punto de llegada porque se trata de una espiral y un proceso permanente en el que se van solapando los ciclos de acciónreflexión, teoría y práctica. Siempre con un hilo conductor que no es otro que la motivación por mejorar y la búsqueda del rigor científico. También pretende la elaboración de propuestas de intervención, y su implementación, con objeto de mejorar y adaptar a la situación actual las respuestas ofrecidas por dichos servicios. Este trabajo- Fundamentación Teórica 19 proyecto surge, por tanto, de una necesidad sentida y percibida, tanto desde la experiencia práctica de la profesión como desde los ámbitos más teóricos, de disponer de un “Catálogo de indicadores de evaluación para la mejora y calidad de los Servicios y Departamentos de Orientación en Educación Secundaria y de una Guía para la Autoevaluación, Calidad y Mejora de los Servicios de Orientación en Educación Secundaria”. 1.2 Revisión de la literatura Para conocer el estado de la cuestión en lo que a la investigación y evaluación en orientación educativa se refiere, se han revisado informes de investigaciones sobre orientación, evaluación y calidad, artículos y comunicaciones, bibliografía especializada y revistas científicas. Se han consultado las bases de datos de reconocido prestigio por la comunidad científica – ERIC, SCIENCE DIRECT, DIALNET, TESEO, entre las principales pudiendo acceder a un importante número de investigaciones, tesis, artículos y bibliografía especializada que reflejan los conocimientos científicos en relación al campo de investigación. Las keywords utilizadas para tales búsquedas han sido fundamentalmente: orientación educativa, evaluación y orientación, investigación y orientación, orientación y calidad, innovación educativa, entre las principales. 1.2.1 Aproximación a la Educación, Orientación, Calidad y Evaluación En este apartado, se definen y conceptualizan aspectos importantes que se abarcan en esta investigación, tales como los que se refieren a la Educación, la Orientación, la evaluación y la Calidad. Los centros educativos son organizaciones complejas en las que coexisten múltiples procesos. Entre ellos podemos destacar Procesos de Enseñanza-Aprendizaje, procesos de convivencia, procesos de gestión, organización y comunicación, procesos de toma de decisiones, por citar algunos de una lista bastante más larga. También son muy numerosos los actores que intervienen en dichos procesos, así como sus perfiles, la forma como se organizan, el papel que corresponde a cada uno en la organización. Tanto los distintos procesos como los diferentes actores interactúan entre ellos influyéndose mutuamente y haciendo que cada centro sea totalmente único, pero también cada aula, cada Departamento y, en definitiva, cada experiencia educativa. Ese contexto de cambio permanente también Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 20 implica la puesta en marcha de procesos de gestión del cambio, de adaptación y de mejora continua que permitan adaptar esas organizaciones a las nuevas demandas y exigencias del entorno. Dichos procesos tienen mucho que ver con la autoevaluación, con la identificación de los procesos y tareas así como de los puntos críticos, fortalezas y debilidades, con el establecimiento de metas y objetivos y con la definición de responsabilidades. Una de las estrategias que están utilizando los Centros educativos para alcanzar esos objetivos de mejora continua es la puesta en marcha desde hace ya varios años de Sistemas de Gestión de la Calidad (Gairín, 2006). Se plantea una visión más integradora y funcional de la calidad que integre elementos que son fundamentales en los procesos educativos y que contribuyen, en sí mismos, a la calidad de la educación. La Orientación Educativa y Profesional es un factor que contribuye a la calidad de la educación, es una parte de la educación y es una perspectiva diferente de la educación. Existe una dilatada experiencia en el terreno de la Orientación Educativa y Profesional y se ha avanzado mucho en el diseño de estructuras organizativas y en la definición de funciones, tareas y competencias. En los Centros de Secundaria el Departamento de Orientación y su función orientadora trabaja de manera transversal, interactuando y cohesionando todo el sistema. Todo ello supone una oportunidad para que los profesionales y servicios de Orientación valoren y reflexionen sobre los procesos y sistemas de gestión relacionados con los modelos de calidad, con las adaptaciones necesarias. En los centros educativos ya existe una tradición muy consolidada en materia de evaluación, no sólo de los Fundamentación Teórica 21 aprendizajes del alumnado sino de otros procesos y actividades propias de la educación. La Educación es un servicio público, un derecho, una obligación, un deber, un trabajo, un proceso, una profesión, una relación, un compromiso, un objetivo, una meta, una ciencia, un ... ¿arte?... ¿cómo medirlo?; ¿cómo asegurarlo?. Los sistemas estandarizados de calidad se centran en las necesidades y satisfacción de los usuarios así como en organizaciones gestionadas por procesos. La puesta en marcha de Sistemas de Calidad en los centros educativos obliga a definir procesos y procedimientos de trabajo y a documentar mediante sistemas de registro y control de la información todas aquellas actividades que se llevan a cabo. Por todo ello este trabajo pretende analizar la necesidad percibida por los profesionales de la orientación y por la comunidad educativa en general de implantar sistemas y procesos que faciliten la mejora continua, la evaluación y la calidad de los servicios de orientación definiendo indicadores y diseñando instrumentos que faciliten la puesta en práctica de dichos procesos. En Educación, la búsqueda permanente de la mejora no es algo nuevo. En los años 90 se impulsaron sistemas de evaluación del Sistema Educativo a través de indicadores que pretendían no sólo conocer la evolución en el tiempo de algunas dimensiones así como tener una idea de la “rentabilidad” de las inversiones sino también poder comparar los datos con los sistemas educativos de otros países. A través de la Unión Europea y de instituciones como la OCDE se comenzaron a elaborar sistemas de evaluación más o menos estandarizados y homogéneos, hasta llegar a la más famosa Evaluación Pisa que hoy conocemos (Tiana,2009). La orientación educativa es un factor que contribuye a la calidad de la educación, es una parte de la educación y es una perspectiva diferente de la educación. La investigación en materia de orientación también refleja estos tres aspectos básicos. “No es fácil separar la orientación de la educación. Educar es orientar y orientar es educar” (Santos Guerra, 1995:271). Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 22 1.2.2 Modelos, Funciones y Estructuras de la Orientación Esta investigación se focaliza en los Servicios de Orientación en Educación Secundaria. La normativa legal establece unos principios de actuación, define unos resultados y funciones a nivel general y establece unos mecanismos de tipo organizativo y procedimental pero además también promueve la autoevaluación del sistema y la mejora continua, por tanto se trata de planteamientos compatibles y complementarios siempre que se adopten los cauces previstos para la participación y toma e decisiones. La necesidad de atender a múltiples y diversas demandas por parte de los servicios de orientación implica que los profesionales utilicen diferentes modos de hacer y recurran a distintas estrategias. Desde esta perspectiva, Bisquerra y Álvarez (1998) abogan por un modelo de intervención prioritariamente indirecta, grupal, interna, proactiva y a través de sistemas de programas integrados. Sin embargo, en el desarrollo concreto de la orientación educativa en los centros escolares no se aplican modelos básicos de forma exclusiva, sino que se recurre a modelos mixtos adaptados a la realidad específica de la institución escolar sirviéndose de los modelos básicos clínico, de servicios, de programas y de consulta (Solé y Martín, 2011). Por su parte Álvarez (1995) y Caballero (2005) coinciden en señalar tres principios fundamentales de la orientación: la prevención, el desarrollo y la intervención social. En cuanto a las funciones y tareas de los servicios de orientación, siguiendo a Álvarez (1995), éstas se pueden agrupar en planificación y organización, diagnóstico, información y formación, ayuda para la toma de decisiones, consejo, consulta, evaluación e investigación. Estas funciones a su vez se subdividen en múltiples tareas cada una. Fundamentación Teórica 23 Los modelos y estructuras relacionadas con la Orientación Educativa y Profesional en Aragón deberían adaptarse a las actuales circunstancias sociales, educativas y tecnológicas partiendo del aprendizaje y de la experiencia de veinte años de funcionamiento así como de infinidad de buenas prácticas llevadas a cabo en estos años. En cuanto a los modelos de orientación que faciliten ese proceso de adaptación tendrán que ser necesariamente eclécticos, prácticos y flexibles, sin ceñirse a un modelo teórico concreto sino aprovechando las características y ventajas de todos ellos. Algunos ejemplos de modelos integradores son el modelo psicopedagógico de Álvarez y Bisquerra (1996), el modelo constructivista de Orientación Profesional de Monereo y Solé (1996) o el modelo de asesoramiento por acciones integradas o ecológico de Fernández Sierra (1999). El Modelo de Orientación por Programas integrados es compatible con la filosofía de los sistemas de calidad, teniendo en cuenta que cada programa y medida que se pone en práctica requiere de un análisis, planificación, diseño, ejecución y evaluación del programa, tal y como propone Bisquerra (1998). Pero los modelos también deben incluir la perspectiva psicopedagógica puesto que se trata de un contexto educativo en el que los procesos de enseñanza-aprendizaje y el currículum son los ejes que dan sentido a las demás acciones. También es preciso incorporar el Modelo de Orientación como servicio y el modelo de consulta ya que existen unas funciones y competencias legales y, por tanto unas expectativas que cumplir en los centros siendo fundamental el asesoramiento interno y externo, directo e indirecto y la formación de equipos de trabajo. Ni que decir tiene que los modelos tecnológicos y ecológicos también están muy presentes en esta propuesta. El profesor Rodríguez Espinar (2007) considera que “la función orientadora en el siglo XXI no puede desarrollarse con los parámetros que tiene su actual estructura organizativa”, reclama la elaboración de una “visión y plan de acción compartidos de todos los agentes implicados en toda intervención orientada al servicio del desarrollo de la persona” (Rodríguez, 2007:185). Pero antes de conocer los múltiples cambios que propone el autor es recomendable conocer las estructuras y funciones actuales de los servicios de orientación en Educación Secundaria. En definitiva, el modelo educativo hace que el orientador mire la realidad de una determinada forma –sistémica, constructivista-, que se vea a sí mismo como Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 24 complementario y colaborador con otros profesionales; que amplíe sus ámbitos de intervención y permanezca en un “continuum” aprendizaje a lo largo de la vida. Aunque no prescribe directamente cómo actuar, establece un maro y unos métodos para identificar qué es y qué no es un problema y para interpretar y analizar las variables que pueden estar influyendo (Martin y Solé, 2011). Entre los principios en que se inspira el sistema educativo español se contempla “La orientación educativa y profesional de los estudiantes, como medio necesario para el logro de una formación personalizada, que propicie una educación integral en conocimientos, destrezas y valores”, según se desprende del artículo 1 (letra f) de la Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE). La LOE establece la Orientación educativa y profesional como uno de los principios del sistema educativo incluyendo entre las funciones del profesorado, la orientación educativa, académica y profesional en colaboración, en su caso, con los servicios o departamentos especializados (Art. 91). También se incluye como elemento de la formación del profesorado y dentro de las funciones que le corresponden al claustro se incluye la de “fijar los criterios referentes a la orientación”. Asimismo el artículo 22 de la LOE se establece, como principio general de la ESO, “se prestará especial atención a la orientación educativa y profesional del alumnado” y que “corresponde a las Administraciones Educativas promover las medidas necesarias para que la tutoría personal de los alumnos y la orientación educativa, psicopedagógica y profesional, constituyan un elemento fundamental en la ordenación de esta etapa”. En el artículo 130 de la misma Ley se afirma que “Corresponde a las Administraciones educativas regular el funcionamiento de los órganos de coordinación docente y de orientación...” y en el artículo 157 “Corresponde a las Administraciones educativas proveer los recursos necesarios para garantizar, en el proceso de aplicación de la presente ley... la existencia de servicios o profesionales especializados en la orientación educativa, psicopedagógica y profesional.” La normativa aragonesa del Currículum Aragonés para la Educación Secundaria (Orden de 9 de mayo de 2007), en su artículo diecinueve se establece que la tutoría y la orientación deben tener una especial atención en la etapa y que irán dirigidas al desarrollo integral y equilibrado de todas las capacidades del individuo, a la orientación personal, académica y profesional y a la relación con los demás e inserción social. Fundamentación Teórica 25 También se especifica que la función orientadora y tutorial “se incorporará de manera integrada al proceso de desarrollo del currículo formando parte de la actividad docente y que su aplicación y planificación en los centros contará con la implicación de todo el profesorado y el asesoramiento del Departamento de Orientación”. Por último se recoge en dicha norma que los centros educativos elaborarán el Plan de Orientación y Acción Tutorial que incorporarán al Proyecto Curricular de Etapa y que la Orientación Educativa, si bien se llevará a cabo en todos los cursos de la etapa, se le dedicará especial importancia en el comienzo de etapa, en la finalización de cada curso y al término de cuarto de Educación Secundaria Obligatoria. Hasta ahora se han recogido los aspectos más directamente relacionados con la Orientación Educativa, según se contemplan en la normativa, pero faltarían aspectos relacionados con la atención a la diversidad, con la acción tutorial, íntimamente ligada a la acción orientadora, y también con la convivencia y el apoyo a los procesos de enseñanza y aprendizaje. En resumen, la orientación educativa, entendida como un elemento inherente a la propia educación, supone la puesta en marcha por parte del centro educativo de un conjunto de actuaciones y programas destinados a asegurar la educación integral del alumnado fomentando los aspectos más personalizadores de la educación y contribuyendo a ajustar los procesos educativos a las características y necesidades de cada alumna y alumno. El Departamento de Orientación es, por tanto, un recurso especializado y de coordinación docente que apoya la labor del centro y participa en la planificación y desarrollo de las actuaciones que se realicen en el centro para facilitar la atención a la diversidad del alumnado, tanto a través de los procesos de enseñanza/aprendizaje en las distintas áreas curriculares como a través de la acción tutorial y de la orientación académica y profesional. El Departamento de Orientación es el espacio institucional desde donde se articulan las funciones de orientación y tutoría, así como también las de una oferta curricular adaptada y diversificada (MEC, 1992: Orientación y Tutoría). El artículo 42 del Reglamento Orgánico de los Institutos de Educación Secundaria (R.D. 83/1996, de 26 de enero) asigna al departamento de orientación un conjunto de funciones relacionadas con la orientación académica, psicopedagógica y profesional, con la evaluación psicopedagógica de los alumnos con necesidades educativas especiales, con la evaluación psicopedagógica de los alumnos que la requieren y con el Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 32 en el umbral del tercer milenio, no sólo habrá que saber sino que habrá que educar para saber hacer y saber estar, pero sobre todo para saber ser por medio del esfuerzo, el compromiso y la responsabilidad personal, de ahí la importancia de la orientación educativa como estrategia de calidad en la vieja y siempre nueva e inacabada tarea dela formación humana, que como proceso permanente se extiende a lo largo de toda la vida. (Soler, 2004: 144) 1.2.5 Evaluación, Calidad, Innovación e Investigación Educativa Muchas cosas han cambiado las cosas desde que en el año 90 el profesor Santos Guerra escribiese en su famoso libro “Hacer visible lo cotidiano” que la actividad de los centros escolares no se suele someter a una evaluación sistemática y rigurosa. Las escuelas, sencillamente funcionan. Cada año, cada día, se repiten las mismas rutinas sin saber muy bien por qué y para qué. La evaluación se realiza en ellas (no sobre ellas) para comprobar si los alumnos han aprendido lo que se les ha pretendido enseñar. (Santos, 1990:5). Hoy se evalúa y se evalúa mucho, pero… ¿se evalúa bien?, ¿sirve para algo la evaluación?, ¿se evalúan procesos y resultados o se evalúa a personas?, ¿se evalúa la evaluación?,… Toda actuación humana debe ser evaluada, y de hecho lo es, de forma más o menos rigurosa. Las tomas de decisiones o de opciones vitales, se basan siempre en valoraciones de lo ocurrido con anterioridad, en plazos más o menos extensos de tiempo (Casanova, 1995). Cada decisión hay que apoyarla en informaciones que nos permitan generar unas expectativas razonables sobre unos resultados previstos. En los últimos años la evaluación de la calidad de la educación ha experimentado un gran desarrollo. Sin embargo, el gran esfuerzo realizado en la elaboración de pruebas de evaluación del rendimiento académico y de sistemas de indicadores no se corresponden con el impacto real en la mejora de la calidad de la enseñanza. Entre las razones que la profesora Martín señala se encuentran “el escaso conocimiento que existe todavía entre el profesorado sobre los procesos de evaluación y la poca cultura Fundamentación Teórica 33 que los colegios e institutos tienen hasta el momento en lo relativo al uso de la evaluación…” (Martín, 2011:43). Por otro lado la autora defiende que se debe contar con personas que asesoren a la institución y entre las figuras que propone para “impulsar un mejor empleo de la evaluación en los centros escolares” se encuentra la figura de los orientadores. No es fácil abordar el tema de la evaluación de Centros. Santos Guerra aboga por una evaluación de los centros “desde un perspectiva cualitativa para mejorar la toma de decisiones, para desarrollar la profesionalidad del docente, para generar actitudes de autocrítica que favorezcan el cambio” (Santos, 1990:15). También establece la estrecha relación que existe entre la evaluación y la investigación educativa afirmando que “toda evaluación es investigación, pero no toda investigación es evaluación” y que “tanto la investigación como la evaluación pretenden alcanzar la producción, la confirmación y la difusión del conocimiento”. (Santos, 1990:16) Por el enfoque de esta investigación y sus objetivos también tienen especial relevancia sus postulados en torno a la relación existente entre la evaluación, la acción y la autoevaluación. “La teoría inspira la acción y la evaluación y, a su vez, de la acción reflexiva y de la evaluación surgen nuevas reformulaciones teóricas que explican la realidad educativa” (Santos, 1990:16). Si la evaluación se convierte en un “proceso de reflexión en la acción… puede convertirse en un instrumento eficaz de profesionalización de los docentes y de mejora de la comprensión teórica y de la práctica educativa” (Santos, 1990:23). La evaluación es un proceso de diálogo, comprensión y que se sitúa en un ámbito organizativo concreto mejora (Santos, 1993). Lo que se persigue con la evaluación es transformar la realidad, mejorarla. Evaluar un centro es reflexionar de una forma sistemática, rigurosa con objeto de transformar y mejorar la realidad. Este enfoque es muy importante a los efectos de esta investigación ya que guarda muchos puntos de intersección con el enfoque utilizado en ella, es decir, con la investigación-acción. En cuanto a la autoevaluación el autor citado también defiende sus ventajas al permitir “poner en marcha procesos de autoanálisis” y de reflexión sobre la propia acción. Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 34 En las publicaciones y estudios realizados sobre la evaluación se constata que el objeto de evaluación se ha desplazado desde los resultados académicos del alumno, a la eficacia de los programas educativos, para llegar al funcionamiento de los centros y a la calidad de los sistemas educativos (Escudero, 2003). Por su parte Gairín (2006) en “procesos de cambio a través de la evaluación” argumenta que la evaluación y la investigación guardan una estrecha relación con los procesos de innovación, hasta el punto de que podemos considerarlos como momentos de un mismo proceso hacia el cambio y la calidad educativa puesto que la innovación se nutre de los resultados generados por la evaluación y la investigación. Este autor también argumenta los motivos por los que la evaluación tiene un acusado “carácter instrumental” al servicio de la calidad educativa ya que es necesaria para “favorecer la rendición de cuentas” vinculada a los criterios de “eficacia” y “eficiencia”, “aprender de la experiencia y mejorar de forma continuada” y “generar conocimiento”. En lo que se refiere a la autoevaluación ésta consiste en un ejercicio mediante el cual la organización se compara frente a un modelo de referencia descubriendo sus puntos fuertes y áreas de mejora en relación con dicho modelo, a partir de los cuales se definen los proyectos de mejora necesarios para hacerla más eficiente. Esta misma cultura de la evaluación es propagada por instituciones como la propia Comisión Europea (CCE, 2006) que recomienda a los Estados Miembro “elaborar políticas para el conjunto del aprendizaje permanente, que tengan plenamente en cuenta la eficiencia y la equidad, de forma combinada y a largo plazo, y complementen las políticas aplicadas en ámbitos conexos”. Es preciso diseñar e implantar sistemas de evaluación que integren aspectos cualitativos de la gestión de los servicios. No obstante, como se ha podido ver, sobre la calidad existen tantas visiones y enfoques como autores. 1.2.6 La evaluación de la calidad en los servicios de orientación ¿Y por qué y para qué se debe evaluar la calidad del sistema de orientación? La evaluación constituye el instrumento mediante el cual es posible valorar el grado de calidad de un proceso, es decir identificar el grado de adecuación existente entre los objetivos establecidos y los resultados alcanzados. Para que la evaluación de la calidad Fundamentación Teórica 35 de la orientación sea significativa, su realización requiere tanto de una verificación interna como de una verificación externa. Por otra parte, también es preciso que dicha evaluación se realice a partir de las autoevaluaciones de cada uno de los centros y departamentos de orientación. Para ello es necesario disponer de procedimientos e instrumentos de evaluación y mejora de la orientación en cada centro. En este sentido, el primer paso es definir e identificar una serie de indicadores o referencias de cada uno de los factores que intervienen en la organización, gestión y puesta en práctica de los servicios y departamentos de Orientación de manera que los propios responsables de dichos servicios, y los usuarios y colaboradores, puedan “valorar” la eficacia, eficiencia, calidad y equidad de la orientación y la educación. Hasta hace poco tiempo se advertía una falta de experiencias evaluativas en el ámbito de la intervención psicopedagógica (Rodríguez, 2003) y se reclamaba la necesidad de que los responsables de los departamentos de orientación y sus programas de actuación asumieran “el liderazgo de un evaluación técnicamente correcta y que tenga como eje vertebrador la mejora constante de la propia intervención. (Rodríguez, 2003: 37). Algunas de las indicaciones y sugerencias para comenzar el proceso hacia la evaluación de la orientación se centran en la evaluación de planes y programas de orientación a través de una serie de criterios e indicadores e incluso propone indicadores para la evaluación de la actuación de la dirección del Departamento de Orientación. Dada la importancia de esta propuesta se recogen estos indicadores en anexo (Rodríguez, 2003). El mismo autor esboza su propuesta de evaluación como parte de su modelo de orientación abogando por una “empowerment evaluation” que permita ayudar a los participantes en un programa a evaluarse ellos mismos y a su programa para mejorar la práctica y favorecer la autodeterminación. Por otro lado reconoce que la “empowerment evaluation” y la evaluación tradicional externa son plenamente compatibles y complementarias. Rodríguez Espinar (2003) parte de la necesidad de evaluar los programas de Orientación con objeto de conocer la efectividad de las intervenciones sobre la base de unos datos objetivos y no de manera intuitiva. Como toda evaluación, la evaluación en orientación también tiene como finalidad emitir un juicio sobre el Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 36 valor y la utilidad de los programas que lleva a cabo, asesorar a quienes toman las decisiones sobre dichos programas y contribuir a la mejora de los mismos. Sanz Oro (1990) afirma que no existen suficientes estudios sobre los efectos o la eficacia de la orientación. Es importante recalcar que el objeto de la evaluación deben ser los programas y no los profesionales aunque se recoja información sobre las actividades llevadas a cabo. Existen diferentes teorías, estrategias y modelos sobre la evaluación de programas según los supuestos de partida y lo objetivos que se pretendan. Algunos de los autores clásicos sobre evaluación de programas son Schuman, Scriven, Stake, Stuffebeam y Kilpatrik. Suchman, pone el acento en determinar las razones de los éxitos y fracasos, Scriven distingue entre evaluación formativa y evaluación sumativa, Stake subraya que la evaluación debe contribuir a mejorar lo que se está haciendo teniendo en cuenta los posibles efectos de tipo negativo y los logros accidentales y a Stuffebeam le interesa principalmente el perfeccionamiento de los programas (Sanz, 1990). Cuando se plantea la evaluación de un programa de orientación se pretende responder a cuestiones como ¿Qué actividades se llevan a cabo? ¿Quién las realiza? ¿Qué efectos tienen sobre los alumnos u otros usuarios? Para ello es necesario información sobre el proceso y sobre el producto. Por un lado será necesaria información de tipo cualitativo y por otro de tipo cuantitativo. La evaluación de un programa educativo o de orientación no deja de ser un proceso similar al de una investigación en el que se deben establecer unos objetivos, identificar y controlar una serie de variables, definir un diseño y unos instrumentos de recogida de información, garantizar la validez y fiabilidad en todo el proceso. En definitiva se trata de averiguar si las intervenciones, actividades o programas llevados a cabo en los procesos de orientación son eficaces, útiles o beneficiosas y por qué. “La única manera de informar sobre la eficacia de la orientación psicopedagógica es someterla a evaluación. De aquí la necesidad de identificar y elaborar criterios y estándares de evaluación de programas, servicios o departamentos y profesionales de la orientación” Martín y Onrubia (2011: 359). Dichos autores afirman además que todavía no se ha realizado ninguna evaluación que permita contrastar la pertinencia del modelo de intervención, su eficacia y su eficiencia en la utilización de los recursos de que se dispone. Y, por último defienden que la evaluación debe ser ante todo interna, fundamentalmente autoevaluación, aunque complementada por la evaluación externa. Fundamentación Teórica 37 1.2.7 La Investigación en orientación Sin duda, la calidad es el gran reto pendiente del sistema educativo para el siglo XXI. A ello ha contribuido y seguirá haciéndolo la orientación como una de las Ciencias de la Educación. Está comúnmente aceptado que la orientación educativa aporta calidad al sistema educativo. Como asesores psicopedagógicos, los orientadores pueden desempeñar un importante papel en el impulso de estos procesos de innovación. (Martin y Solé, 2011) En los tres últimos años se percibe un impulso de la actividad investigadora en el marco de las nuevas titulaciones y másteres universitarios, tanto de investigación educativa como de formación del profesorado en la especialidad de orientación educativa. Es preciso reconocer que la necesidad de realizar los Trabajos de Fin de Máster y la formación especializada que se está impartiendo están contribuyendo a poner en práctica estas competencias investigadoras de los Profesionales de la orientación, que tanto se han hecho esperar y tan necesarias son. También se están realizando tesis doctorales relacionadas con este ámbito de la educación. Pero la “travesía del desierto” en materia de investigación y orientación ha sido larga. Es de esperar que lo que se está viviendo en los últimos años no sea “flor de un día” sino que se instale en el quehacer diario de la orientación y permita avanzar en su desarrollo y convertirse en un eje que vertebre toda la labor que se lleva a cabo en los Servicios de Orientación. En la revisión realizada para la investigación se ha localizado y “descubierto” un volumen importante de investigaciones relacionadas de una u otra manera, con los servicios de orientación y sus funciones (Hernando y Montilla, 2009; Royo, 2002; Sanz Oro, 1999). Por la especificidad de este estudio se han seleccionado algunas de las más interesantes llevadas a cabo en los últimos años sobre los modelos, funciones y roles en la orientación. En cuanto a la existencia de investigaciones sobre evaluación y calidad en orientación se constata que el volumen es muy inferior y que los estudios y trabajos son mucho más recientes. Se puede concluir que los orientadores participan frecuentemente en la dinamización de los centros, a través de sus diversas intervenciones sin embargo, su participación en investigación educativa está menos generalizada. 1.2.8 Los indicadores de evaluación y de calidad Fundamentación Teórica Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 38 Para evaluar la gestión de los servicios de orientación es preciso, en primer lugar, definir su misión, sus objetivos a corto, medio y largo plazo y establecer metas concretas. Una manera de evaluar es comparar los objetivos planificados con los resultados obtenidos. La evaluación a través de indicadores de gestión debe establecerse como un proceso permanente que le permita evaluar sus logros, según los parámetros previamente establecidos y que le permita diseñar las áreas de mejora. La manifestación observable de un rasgo o característica de una o más variables de interés, susceptible de evaluación y que permitirá al centro la mejora continua de todos sus procesos es lo que se ha venido en denominar “indicador”. Un indicador se puede definir como: “un elemento informativo de carácter cuantitativo, sobre algún componente o atributo de una realidad, orientado a servir de fundamento para elaborar juicios sobre ella” (Pérez, 2002). La construcción de sistemas de indicadores implica establecer cuáles deberían ser sus dimensiones ideales y esto entraña bastante dificultad cuando se habla de educación, y más si se habla de orientación. Se asume que los indicadores deben cumplir una serie de requisitos básicos. Deben estar bien definidos, indicando claramente la información que se pretende obtener con su uso y la característica o variable que se pretende medir, deben ser específicos, válidos, útiles o relevantes, precisos, perdurables en el tiempo, viables y comprensibles vos, y deben contar con suficiente aceptación y credibilidad entre sus destinatarios y usuarios (Fernández, 2005). Las series de indicadores pueden evitar interpretaciones superficiales potenciando su capacidad interpretativa. Los indicadores no explican todos los aspectos de la realidad que abordan, y “lo más que cabe razonablemente esperar, y no es poco, es que representen de manera coherente dicha parcela de la realidad, que destaquen sus puntos fuertes y débiles, y que permitan un cierto grado de comparación y el estudio de las principales tendencias. Su aplicación más habitual en el mundo de la educación se ha producido en relación con los centros docentes y con el conjunto del sistema educativo. Es preciso tener en cuenta el peligro advertido por autores como Ainscow (Ainscow et al.2006) y Rodríguez Espinar (2007) de que la búsqueda de la calidad, a 39 cualquier precio, deje en un segundo plano, incluso a veces en el olvido, la búsqueda de la equidad, en educación. Es un riesgo que se amortigua desde el momento en el que se introducen indicadores de equidad. La búsqueda de indicadores con el objetivo de mejorar la calidad sólo tiene sentido cuando se ha definido qué se entiende por calidad en educación y en orientación. Otra dificultad importante surge al abordar la información necesaria para encontrar “la medida” de los indicadores y los instrumentos necesarios para recoger dicha información. Cuando se trata de medir variables cualitativas siempre surge la duda sobre la validez de los cuestionarios. Por ello hay autores que defienden la necesidad de que dichos indicadores e instrumentos hagan referencia a hechos más que a opiniones (Scheerens, 2001: 65). Por otro lado también se advierte de que los indicadores se han de valorar en términos de tendencias generales y evitar mitificar sus resultados. (Sarramona, 2003) Según Fernández (2005) las funciones que debe cumplir el panel de indicadores de calidad son proveer información válida y específica sobre el desarrollo de los procesos y sobre los resultados obtenidos en un determinado centro, permitir el análisis y la emisión de juicios sobre parte o todo el sistema de gestión de calidad, aportar información para el establecimiento de planes de mejora (Van den Berghe,1997) y aportar información para valorar la evolución del funcionamiento del centro a lo largo del tiempo (Van den Berghe,1997) además de proveer información comparable entre centros a nivel autonómico, nacional e internacional. No obstante es preciso reconocer que en el ámbito de la orientación no han sido utilizados y se carece de experiencias, instrumentos e indicadores concretos. La cantidad de información que genera la actividad de los servicios y departamentos de orientación en Educación Secundaria es muy grande por lo que es necesario seleccionar la información necesaria y pertinente para poder llevar a cabo la autoevaluación y control de los procesos implicados en dichos servicios. Pero, ¿cuáles son esos procesos?, ¿qué criterios se deben establecer para seleccionar una información que sea realmente útil para la toma de decisiones? Por otro lado no se puede olvidar la tipología y características de los procesos y las actividades y características de los Servicios y Departamentos de Orientación en Educación Secundaria sin olvidar que dichos servicios y departamentos se incluyen e integran en un centro educativo, es decir, en una organización y organigrama más Fundamentación Teórica Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 40 EQUIPO DIRECTIVO •Jefe/a de Estudios •Jefe/a de Estudios Formación Profesional •Jefe de Estudios Adjunto •Secretario/a ÁREA DE GESTIÓN CONSEJO ESCOLAR • Secretario/a (con voz pero sin voto) • Jefe/a de Estudios • 1 Representante Ayuntamiento • 7 Representantes profesorado • 4 Representantes alumnado • 3 Representantes de padres • 1 Rep. personal no docente DIRECTOR/A Responsable de Calidad • Comisión Económica •Comisión de Convivencia. •Comisión de Actividades Extraescolares. •Comisión de Gratuidad de libros de texto ÁREA DIDÁCTICA • Alumnos •Asociación de madres y padres de alumnos CLAUSTRO DE PROFESORES DEPARTAMENTO DE ORIENTACIÓN •Orientador/a •Profesor/a de PT •Profesores/as de ámbito •Profesor/a de S. Comunidad ACTIVIDADES EXTRAESCOLARES COMISIÓN DE COORDINACIÓN PEDAGÓGICA (C.C.P.) •Director/a •Jefe de Estudios •Jefes de los Departamentos EQUIPO DE CALIDAD •Responsable de Calidad •Jefe/a de Estudios de F.P. •Jefes de los Departamento de las Familias Profesionales general y complejo. Es preciso tener en cuenta los procesos más importantes de la orientación para que los indicadores puedan ser representativos de las funciones y tareas que se llevan a cabo en dichos servicios. En los apartados de método instrumentos (Estudio empírico) se describen con más detalle los indicadores y dimensiones utilizadas. 41 Otra propuesta de indicadores es la que surge del modelo EFQM y que puede ser utilizado tanto como evaluación interna y externa aunque su “espíritu” inicial es el autodiagnóstico, de modo que implica a todos los miembros de la institución objeto de evaluación y contempla los mecanismos para que la organización analice cómo se halla en cada uno de los nueve elementos que integran el modelo, y para que valore sus puntos fuertes y débiles y pueda hacer propuestas de mejora. Descendiendo en el nivel de aplicación de los indicadores podemos llegar hasta los programas, actividades, cursos, seminarios, etc., para los cuales existe ya una amplia tradición de evaluación a través de cuestionarios en los que se valoran aspectos como la planificación y gestión; la calidad y desarrollo del curso y la valoración personal del curso. Por último también es preciso reconocer algunas opiniones más críticas con el discurso exclusivamente técnico de la evaluación. Como afirma “toda evaluación se justifica en función de su potencial de mejora; de otro modo se erige en una finalidad en sí misma, lo cual es una perversión de la función evaluadora” y “la evaluación es un magnífico instrumento, pero ha de discutirse al servicio de qué fines actúa” (Tiana, 2002:19) Es preciso reconocer, no obstante, que se ha avanzado mucho en la definición de indicadores y descriptores más cualitativos que permiten vincular el contexto con los Fundamentación Teórica Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 48 3. Identificar y definir los procesos estratégicos y los indicadores de evaluación en los servicios de orientación en educación secundaria según los profesionales, alumnos y personas implicadas en dichos servicios. 4. Elaborar una Guía para la Autoevaluación y mejora de los Servicios de Orientación en Educación Secundaria que facilite la puesta en práctica de procesos de evaluación y autoevaluación para la mejora continua. 49 Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 50 ESTUDIO EMPÍRICO 51 Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 52 2. Método "¿Tu verdad? No, la Verdad, y ven conmigo a buscarla. La tuya, guárdatela." A. Machado 2.1- Participantes La selección de los participantes se realizó de manera estratégica e intencional y no probabilístico teniendo en cuenta las posibilidades de acceso a los individuos de la muestra y el perfil adecuado a los objetivos de la investigación. Tal y como se ha argumentado en apartados anteriores y dados los objetivos planteados eran necesarios diferentes puntos de vista y perspectivas para valorar la oportunidad y necesidad de poner en práctica sistemas de autoevaluación y de calidad para la mejora de los servicios de orientación en Educación Secundaria. Es fundamental la participación de los propios orientadores y más teniendo en cuenta el enfoque de investigación-acción y el objetivo de definir indicadores que permitan la autoevaluación. También es necesario contar con la información y perspectiva de otros miembros de la comunidad educativa ya sea como usuarios de los servicios de orientación o como colaboradores o profesionales implicados en dichos servicios. Dichos miembros son, alumnado, familias, profesores y tutores, jefes de estudio y directores de los centros. Desde los enfoques de la evaluación (evaluación interna, externa y autoevaluación), de la mejora continua y la calidad y también desde los métodos de investigación-acción se considera fundamental la participación de las personas y grupos implicados en el “asunto” que se pretende “investigar para mejorar”. La perspectiva de autoevaluación queda cubierta con la información suministrada por los orientadores. La perspectiva de evaluación interna con los profesores, tutores, jefes de estudio, directores y miembros de Dptos. de Orientación y la perspectiva de evaluación externa a través de los alumnos y sus familias. Estudio empírico 53 Es importante tener en cuenta que el acceso a los participantes ha seguido dos cauces diferentes. En el caso de los tres orientadores que han participado en la primera versión del cuestionario el acceso ha sido personal. En cuanto a los diez orientadores, las dos tutoras, el jefe de estudios y la alumna que han participado en las segunda fase de la investigación su acceso a los cuestionarios ha sido a través de internet, tal y como se ha comentado en apartados anteriores. Los /as orientadores/as de Educación Secundaria son el eje central del proyecto y sus principales destinatarios puesto que uno de los objetivos de la investigación es la Estudio empírico Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 54 elaboración de una “Guía de Autoevaluación para la Calidad y Mejora de los Servicios de Orientación en Educación Secundaria”. No obstante los servicios de Orientación, y los profesionales de la orientación, no están solos. Forman parte de estructuras organizativas más amplias y se integran en sistemas complejos. Por ello es importante tener en cuenta a la hora de identificar, definir y analizar los indicadores de calidad y mejora de la orientación a quienes influyen, deciden, colaboran, dirigen y coordinan funciones y personas relacionadas con los Servicios de Orientación. Es por ello que se considera necesaria la participación de los miembros de los equipos directivos y, en especial, de los/as Jefes/as de Estudios y Directores/as de centros. En cuanto a la participación del profesorado no es preciso justificar la importancia que tiene el papel de profesores y tutores en las funciones de orientación académica y profesional o en otros ámbitos de la orientación. Su papel en el proyecto y la información que pueden facilitar sobre el grado de satisfacción y adecuación de las medidas impulsadas por los Servicios de Orientación es decisivo. También es decisivo el papel de los demás miembros del Departamento de Orientación (profesorado de ámbitos, de módulos, de servicios a la comunidad, de pedagogía terapéutica, etc.) tanto en la práctica diaria de la orientación como de la información que puede facilitar para la mejora de dichos servicios. Fase de trabajo de campo Respuestas a 31 de agosto de 2012 Participantes Perfil Formato 10 Orientadores Formulario web 3 Orientadores Formato papel 2 Profesores-tutores Formulario web 2 Alumnos Formulario web 1 Jefe de estudios Formularioweb Por último, los destinatarios o usuarios directos e indirectos más importantes de los servicios de Orientación son los propios alumnos de Secundaria y sus familias. Sus opiniones, demandas, comentarios y valoraciones son fundamentales si se quiere 55 adaptar la respuesta de los servicios de orientación a las necesidades y circunstancias actuales. La participación de los diferentes destinatarios tiene lugar en las diferentes fases del proyecto. En primer lugar en la fase de elaboración y validación del propio instrumento de recogida de información. En segundo lugar en la fase de utilización de la Guía en sus respectivos Servicios de Orientación y Centros educativos. En tercer lugar participando en estudios de carácter más general a través de un mismo instrumento (Guía de autoevaluación) que permita sacar conclusiones más generales. 2.2- Instrumentos y Herramientas Estudio empírico Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 56 En cuanto a los instrumentos elaborados para facilitar la recogida sistemática de información se elaboraron cuestionarios, denominados “Guía para la autoevaluación, calidad y mejora de los servicios de orientación en educación secundaria. Es preciso aclarar que los cuestionarios elaborados para esta investigación son, por un lado, instrumentos de recogida de información y, por otro, el “plan de acción” relacionado con la hipótesis o premisa de que “la identificación y definición de indicadores y factores relacionados con los distintos ámbitos de trabajo de los servicios de orientación en Educación Secundaria facilitará la autoevaluación de los mismos y la mejora continua”. Se realizó una primera versión del cuestionario “Guía para la autoevaluación…” y una segunda en la que se corregían algunos aspectos y se tenían en cuenta las propuestas realizadas por los primeros participantes. Es importante constatar que la segunda versión del cuestionario también se realizó en formato web (formularios de google docs) para facilitar la participación en la investigación-acción. En anexo se incluyen las diferentes versiones de los cuestionarios. Además de las preguntas que se incluyen en el propio cuestionario sobre cuestiones relacionadas con las características del mismo y sobre su utilidad también se realizó un cuestionario independiente para valorar cada uno de los ítems o indicadores por parte de “expertos” denominado “Guía de validación”. Los constructos, categorías, factores y ámbitos sobre los que se ha pretendido recoger información son los que se han reflejado en la fundamentación teórica y se han agrupado en torno a los siguientes temas: Perfil participante; Centro, Entorno y Composición del Departamento de Orientación; Adecuación, Percepción, Satisfacción y Cambio; Evaluación, Calidad y Gestión. Los cuestionarios incluyen preguntas cerradas, abiertas y escalas de actitudes “tipo Líkert”. En cada uno de los temas se plantean una serie de cuestiones. En la primera versión de la “Guía de Autoevaluación” para orientadores, se incluyeron 160 ítems agrupados en 19 preguntas. En la segunda versión se redujo la extensión del cuestionario recogiendo así la sugerencia realizada por los orientadores que participaron en la primera “puesta a prueba”, se simplificó el sistema de respuesta y se reorganizó su estructura quedando en 57 los siguientes bloques o apartados en sintonía con las categorías y dimensiones estudiadas: Perfil de los participantes; Centro, Entorno y Composición del Departamento de Orientación; Adecuación, Percepción, Satisfacción y Cambio; Evaluación, Calidad y Gestión. Con el instrumento de recogida de información se pretende conocer la percepción que tienen tanto los orientadores como los demás participantes en el estudio sobre la necesidad y posibilidad de introducir sistemas de evaluación y mejora de la calidad. También se pretende conocer el grado de satisfacción que tienen sobre cuestiones relacionadas con los distintos ámbitos, funciones y competencias de la orientación y validación del instrumento. Puesto que se pretende elaborar un instrumento que sea útil, válido y fiable se elaboró para este objetivo una “Guía de Validación” que permitiera recoger la opinión de “expertos” en este ámbito de trabajo acerca de la utilidad y validez del instrumento propuesto. Sobre una primera estructura se pretende alcanzar la unidad de medida (cualitativa y cuantitativa) que permita “medir”, en el sentido de “evaluar para mejorar” los procesos y funciones que tienen lugar en los servicios de orientación. La estructura básica se compone de “Dimensiones”, “Factores” e “Indicadores”, desde lo más general a lo más específico. Esta propuesta responde a una categorización inicial y a un intento de estructuración de dichas categorías a la luz de la revisión teórica realizada y de la experiencia y acción en los contextos de la orientación. En resumen, las dimensiones que se someten a estudio son las siguientes: Perfil de los participantes; Centro, Entorno y Departamento; Adecuación, Importancia y Percepción; Satisfacción, Necesidad de cambios y Perspectivas; Ámbitos, Funciones y Tareas; Evaluación, Calidad, Gestión, Innovación y Recursos. Estudio empírico Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 64 propuestas de mejora desde el “corazón” mismo de la acción, desde el “campo” de investigación-acción. La decisión de abordar la investigación desde esta perspectiva se ha argumentado con detalle en la fundamentación teórica no obstante se insiste en su carácter integrador que la convierte en un punto de encuentro o catalizador entre la evaluación, los procesos de mejora continua y sistemas de gestión de la calidad, la innovación y la orientación educativa. En el desarrollo del proceso de investigación se pueden identificar las fases de definición del problema y formulación de los objetivos e hipótesis, metodología y diseño y análisis e interpretación de los datos. No obstante, la investigación-acción tiene características específicas como se ha abordado extensamente en la fundamentación teórica. En la i-a es fundamental documentar bien todo el proceso en el que se van imbricando las fases de planificación, acción, reflexión, evaluación en ciclos sucesivos en los que se va avanzando y mejorando la propia práctica. Por ello se detallan y describen a continuación las diferentes fases llevadas a cabo dejando patente que el proceso no ha concluido y que le sucederán nuevos ciclos de reflexión-acción. Fases de desarrollo Las acciones se han planificado teniendo en cuenta el ritmo y desarrollo del curso escolar, las posibilidades de acceso al “campo de acción” y buscando las oportunidades más “naturales” posibles dentro de acciones relacionadas con los diferentes ámbitos y espacios de la orientación. De mayo a septiembre del presente curso (2011-12) se han recogido los cuestionarios de la investigación. A continuación se describen las acciones que se incluyen en la fase actual de la investigación-acción. La planificación temporal del proyecto ha sido la siguiente: Fase previa (Antecedentes / 2010-11) Fase 1 (TFM / 2011-12); Fase 3 (2012-13) Fase Duración Acciones 65 Previa Curso 2010-11 • Análisis de la Orientación en Educación Infantil y Primaria • Proyecto ICONO: Innovación, Calidad y Orientación Primera TFM Curso 2011-12 • Propuesta inicial indicadores. Versión 1 guía o Congreso de Bilbao o Plataforma On Line • Versión 2 guía de indicadores de autoevaluación • Evaluación Segunda Curso 2012-13 • Versión tres guía • Puesta en práctica guía • Análisis de resultados y nuevo plan de acción Acciones incluidas en las distintas fases: 1. Estudio del Estado de la cuestión. 2. Elaboración de instrumentos de recogida de información incluyendo la primera propuesta de indicadores y Catálogo piloto. 3. Trabajo de campo y de validación del catálogo piloto. El objetivo fundamental de esta fase ha sido someter al criterio de diferentes expertos en orientación educativa la primera versión del Catálogo-Guía de indicadores. 4. Análisis de los resultados y elaboración de la segunda versión del Catálogo de indicadores. Elaboración de versión del Catálogo-Guía on line en internet. 5. Recogida de información y trabajo de campo sobre la segunda versión. 6. Análisis de información y elaboración de conclusiones. Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 66 En primer lugar se hace una primera definición del problema o situación que se quiere mejorar, es decir, el objeto de estudio, así como los objetivos que se pretenden alcanzar con la investigación. A medida que se avanza en la realización del marco general de la investigación y con la revisión de otras investigaciones y la reflexión compartida sobre la experiencia, se comienzan a identificar las dimensiones y los factores que van dando forma a la estructura general de los instrumentos y herramientas para la recogida de información. La revisión bibliográfica, de normativa y de las actas de encuentros y congresos de orientación ha sido fundamental para identificar los aspectos clave y conocer el estado de la cuestión con detalle. A lo largo del proceso de revisión e investigación se han generado una serie de “tópicos” o cuestiones relacionadas con los Servicios de Orientación en Educación Secundaria, con los procesos de evaluación y mejora de la calidad de dichos servicios. Estas cuestiones se han agrupado en diferentes dimensiones elaborándose con ella la primera versión del “Catálogo-Guía de indicadores para la autoevaluación y mejora de los servicios de orientación en Educación Secundaria”. Esta primera versión del catálogo-guía se acompaña con una “guía de validación” en la que se plantean cuestiones relacionadas con la validez y la fiabilidad del instrumento, en función de los objetivos establecidos. Estudio empírico 67 Posteriormente se revisan los indicadores de calidad y mejora, que pueden responder a diferentes tipos de medidas y eventos. Por un lado pueden ser “indicadores de percepción” de los grupos de interés refiriéndose a la percepción que tienen los diferentes grupos de interés de la gestión, las funciones y las tareas desempeñadas en los Servicios y departamentos de orientación en Educación Secundaria. Y, por otro lado, pueden ser “Indicadores de gestión y resultados” que facilitan medidas internas y directas sobre los procesos que se llevan a cabo en los Servicios y Departamentos de Orientación de Educación Secundaria y que permiten compararlas con los objetivos fijados en la planificación de dichos servicios y mejorar su eficacia y eficiencia. Una vez desarrollado el catálogo de indicadores y la guía para la autoevaluación se realiza en paralelo su validación por parte de orientadores con elevada experiencia. Además, en los propios cuestionarios se incluyen cuestiones relacionadas con la validez y adecuación de las preguntas del cuestionario para alcanzar los objetivos de la investigación. Una vez analizadas las recomendaciones realizadas por los expertos a las primeras versiones propuestas se elaborarán los instrumentos definitivos para continuar con este proceso avanzando en un proceso de mejora continua interminable. Disponiendo de todos los elementos logrados en los pasos anteriores será posible hacer un nuevo diagnóstico o definición del problema y de la situación que se pretende mejorar gracias al conocimiento alcanzado a través de la práctica y de la reflexión sobre ella ya que la realidad se nos revela con mayor claridad cuando tratamos de modificarla. Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 68 3. Resultados 69 Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 70 3. Resultados En anexo se recogen las tablas con todas las respuestas ofrecidas por los diferentes participantes en las distintas fases del trabajo de campo y de investigaciónacción. En el material complementario que se adjunta en las carpetas del Cd también se han incluido digitalizados los cuestionarios cumplimentados en papel y los ficheros extraídos con la información de las personas que han participado a través de los cuestionarios-formularios en formato Google-docs accesibles en las siguientes direcciones: https://sites.google.com/site/calidadyorientacion/ https://sites.google.com/site/moncayocalidadyorientacion/ Hay que insistir en que el número de profesionales y usuarios que han participado en esta fase de la investigación es muy reducido. Pero también es preciso afirmar que no por ello tiene menos valor si se tiene en cuenta que el objetivo de la investigación no es generalizar conclusiones sino generar un proceso de investigación-acción que permita mejorar la calidad de los servicios de orientación con la implicación de todas las partes interesadas. Desde un enfoque cualitativo de la información y participativo del método se pretende mejorar la calidad y la intervención en los servicios de orientación teniendo en cuenta las distintas perspectivas. Se trata de una fase exploratoria en la que se plantean las principales cuestiones relacionadas con la orientación y la posibilidad de iniciar procesos de evaluación y mejora de la calidad. Las cuestiones abiertas basadas en un enfoque cualitativo permiten un mayor nivel de análisis de la información mientras que las cuestiones que se plantean a través de preguntas cerradas o escalas necesitarían un mayor número de participantes. Por ello el análisis e interpretación de estos ítems se deja a un nivel más descriptivo sin extraer conclusiones de las mismas. Antes de comenzar el análisis e interpretación de la información recogida en esta fase de la investigación-acción es preciso destacar que se plantean dos niveles de análisis. Por un lado se analiza el contenido que aportan los participantes en el proyecto y que se refleja en las respuestas a las diferentes cuestiones que se plantean que tienen que ver con la percepción, satisfacción, adecuación, necesidad de cambios, perspectivas y prioridades, evaluación y calidad en los Servicios y Departamentos de Orientación en Educación Secundaria. Resultados 71 Por otro lado se pretende conocer si la propia herramienta puede servir como instrumento que facilite la evaluación (autoevaluación, evaluación interna y externa), de dichos servicios. Para ello se analizarán las respuestas que han facilitado los participantes a las cuestiones que hacen referencia a la validez, pertinencia y fiabilidad de las preguntas formuladas así como todas las aportaciones que han realizado para incluir o suprimir preguntas de los cuestionarios. En la medida en que esta información nos permite reflexionar sobre las hipótesis y objetivos de esta investigación se deja constancia de que el objetivo principal de la misma es conocer la percepción y el grado de necesidad que perciben los orientadores para evaluar los servicios de orientación y la elaboración de instrumentos que lo faciliten. Aquí se pueden hacer muchas disquisiciones al respecto sobre si la falta de instrumentos existentes es causa o efecto de la falta de conciencia de la necesidad de evaluar y mejorar estos servicios. Pero huyendo de posiciones radicales y rotundas se prefiere apostar por “procesos colaborativos de investigación-acción” para mejorar la eficiencia, el impacto y los resultados de los servicios y departamentos de orientación en educación secundaria. 1- Catálogo de indicadores y Guía de Evaluación Con el primer tipo de análisis se pretende aportar elementos de juicio que contribuyan al objetivo de conocer la percepción que tienen los profesionales, colaboradores y usuarios de los Servicios de Orientación a cerca de la posibilidad de evaluar e implementar procesos de mejora continua y calidad en dichos servicios. Con el segundo tipo de análisis se pretende facilitar la elaboración participativa de un instrumento que permita la evaluación (interna, externa y autoevaluación) de los servicios y departamentos de orientación y que incluya un catálogo de indicadores de referencia para tal fin. Por otro lado, es preciso tener en cuenta que la metodología de investigación-acción que se plantea exige valorar y “reflexionar” también sobre aspectos relacionados con el propio procedimiento y la puesta en práctica de las distintas acciones que implica este método. Este aspecto se repasará en las conclusiones finales. 1.1 ¿Qué es lo que más valoran de su trabajo los orientadores? Resultados Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 72 En general se puede decir que lo que más valoran los orientadores que han participado en este estudio-investigación-acción es “ayudar”. Este verbo o acción puede ir acompañada de distintos complementos indirectos y circunstanciales como ayudar “a quien pide ayuda” o ayudar “a los chavales que lo necesitan”. “El trato directo con alumnos, profesores y familias”, “la posibilidad de hacer intervenciones individualizadas”, “la posibilidad de intervenir directamente”, “la atención personalizada”, son algunas de los aspectos que más valoran los orientadores de su trabajo. La posibilidad de cambiar las cosas y de ser testigos de dichos cambios (“que haya un antes y un después tras una intervención”), en diferentes ámbitos, “personal, educativo y profesional”, pero sobre todo, a personas concretas, es uno de los aspectos que más valoran los orientadores. Este aspecto puede sugerir dos cuestiones relacionadas, por un lado, con la evaluación y la calidad y, por otro, con los modelos de intervención en orientación. Las repercusiones en temas de evaluación y calidad implican la necesidad de crear sistemas de recogida de información e indicadores que permitan un seguimiento y recopilación de gestiones, casos e intervenciones. También implica la necesidad de una adecuada organización y eficiencia en el volumen de tareas y funciones que se deben desempeñar en los servicios de orientación para poder dedicar más tiempo a lo que más valor dan los orientadores, es decir, a la intervención personalizada en los casos en los que es necesaria. Por otro lado no deja de ser curioso que el aspecto que más valoran los orientadores que participan en el estudio sea una de las funciones que a priori está más relacionada con los modelos clínicos de intervención orientadora (centrados en la intervención directa con el alumno) y no tanto con el desarrollo de modelos de orientación indirectos basado en programas. A pesar de que se puede afirmar que los enfoques más utilizados en orientación son eclécticos (como se ha visto en la fundamentación teórica) se sigue argumentando y defendiendo un modelo educativo de orientación, en el que el papel del asesoramiento psicopedagógico es cada vez más importante (Martín y Solé, 2011). Una de las razones por las que los orientadores enfaticen y resalten el valor de la intervención directa podría deberse indirectamente (teniendo en cuenta las respuestas a otras cuestiones) al excesivo volumen de funciones, tareas y competencias que se 73 asumen desde los Servicios de Orientación. Es decir, podría ser que una de las razones que pueden explicar estas valoraciones sea que los orientadores “echan de menos” más tiempo para poder intervenir de manera personalizada. 1.2- ¿Qué es lo que más valoran los profesionales y usuarios de los servicios de orientación? El jefe de estudios que ha participado en el estudio considera que como miembro del equipo directivo lo que más valora del departamento de orientación es...“(JE-101) “Su capacidad de dar continuidad a la coordinación de la atención al alumnado y el apoyo al equipo directivo en las cuestiones legales y psicopedagógicas“. Por su parte las tutoras lo que más valoran es (T-101) “El apoyo en la resolución de conflictos con los alumnos y familiares. (T-102) “La ayuda que supone para toda la comunidad educativa“. En estas respuestas se puede apreciar que lo que más se valora del departamento es su capacidad de “ayuda” y “apoyo”, tanto de manera directa (a alumnos y familiares) como sobre todo indirecta (“a toda la comunidad educativa”). También se destaca el papel de “coordinación en la atención al alumnado” y la tarea de asesoramiento o “apoyo al equipo directivo en cuestiones legales y psicopedagógicas”. 1.3-¿Qué es lo que aportan los orientadores a los centros? Las respuestas son un buen reflejo de la diversidad de sus funciones pero también refleja claramente la importancia de las actitudes y valores a la hora de su puesta en práctica. Es más, una posible interpretación podría ser que los orientadores “dan por hecho” que aportan una serie de funciones y tareas concretas (tutoría, orientación, convivencia, resolución de conflictos, etc.) y una serie de conocimientos y habilidades, necesarias para su desempeño pero, sobre todo, son conscientes de aportar “ilusión”, “esperanza”, “serenidad”, “seguridad”, “tranquilidad”, “confianza”, “vocación”, “actitudes para favorecer cambios positivos”, … “una perspectiva más integradora”, “visión global educativa”. En las funciones y tareas de los servicios de orientación, y en especial en las que asumen directamente los orientadores, es tan importante “lo que se hace” como el “cómo se hace”, hasta el punto de que muchos de los objetivos y resultados esperados de la orientación no se podrían alcanzar sin poner en práctica ese repertorio de actitudes Resultados Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 80 Se detecta en los orientadores que han participado en el estudio una sensación de incertidumbre sobre los efectos que tendrá en la orientación la coyuntura actual a la vez que se reconoce el papel importante que juega la orientación en el sistema educativo: (O-201) “Cada vez es más necesaria pero la tendencia es de cada vez más precarización”. (O-203) “Bueno ahora no es un momento muy estable, educacion como otros ambitos pendemos de un hilo segun los recursos que nos den y las modificaciones legislativas que se incoperen. Mis perspectivs son dudosas e inseguras”. (O-208) “Es el patito feo de los recursos educativos, todo el mundo está de acuerdo con su importancia, pero luego no se toman medidas para potenciarla, más allá de los aspectos formales”. (O-209) “Creo que ha conseguido a lo largo de los años que lleva funcionando desde su inicio bastante reconocimiento como espacio y enfoque imprescindible para lograr los objetivos educativos que nos planteamos con los jóvenes”. Pero también existen voces más optimistas que avogan por un futuro prometedor, no exento de esfuerzos y cambios por parte de los profesionales de la orientación: (O- 209) “Creo que ha conseguido a lo largo de los años que lleva funcionando desde su inicio bastante reconocimiento como espacio y enfoque imprescindible para lograr los objetivos educativos que nos planteamos con los jóvenes. Considero que su futuro dependerá en gran medida de los orientadores personalmente, de cómo afronten los cambios que se vayan produciendo y cómo se adapten.” (O-210) “Muy favorables pero hay que clarificar funciones y competencias urgentemente”. En lo que se refiere a las perspectivas de los demás participantes en el estudio sólo se ha aportado la siguiente: (T-202) “Es totalmente necesaria. Es un buen apoyo para toda la Comunidad Educativa”. Ante estas circunstancias, y en lo que se refiere a los objetivos de esta investigación, se puede confirmar la necesidad de afrontar los desafíos que tiene la orientación aportando información lo más objetiva y tangible posible sobre sus fortalezas y debilidades para convertir en oportunidades dichos desafíos con estrategias que pasan inevitablemente por impulsar procesos de evaluación y de mejora de la calidad. 1.10 ¿Cuáles son las prioridades de la orientación? 81 Resultados Las prioridades propuestas abarcan desde los ámbitos ya clásicos de la orientación como son el asesoramiento al plan de acción tutorial, la atención a la diversidad, la orientación académica y profesional o el apoyo a los procesos de enseñanza-aprendizaje hasta priorizar otros aspectos como son el desarrollo personal y emocional, la convivencia y gestión de conflictos, la prevención, la innovación, la educación en valores, el asesoramiento personal y familiar ante diferentes situaciones y alteraciones pasando por introducir nuevas fórmulas de gestión y coordinación, nuevas temáticas (redes, aprendizaje a distancia, etc.), la autoorientación y un “cambio de actitud”. Por su parte, los profesionales que han participado en el estudio consideran prioritario continuar con las funciones que vienen siendo habituales hasta ahora por parte del D.O haciendo especial hincapié en la orientación (T-201) “Ayudarles a la toma de decisiones para decidir sobre su futuro”, para “la resolución de conflictos”, “también será de vital importancia su apoyo para los alumnos con necesidades educativas especiales” y para dar respuesta a (JE-101) “las necesidades de los alumnos que no responden al sistema educativo”. También se considera prioritaria la labor de prevención y (T-202) “detectar los problemas en los alumnos y poder actuar a tiempo”. 1.11 ¿Es posible evaluar los resultados del Dpto de Orientación? A juzgar por las respuestas ofrecidas por el grupo de orientadores que han participado en el estudio se aprecia una tendencia positiva a considerar la posibilidad y necesidad de evaluar la orientación así como también se considera la posibilidad de implantar en los servicios de orientación algún sistema de gestión de la calidad si bien esa posibilidad se podría encontrar con la dificultad o el obstáculo de una falta de conocimiento sobre dichos sistemas. Por otro lado los orientadores participantes en el estudio afirman mayoritariamente la utilización de algunos indicadores de evaluación como son “interés”, “participación”, “satisfacción”, “consecución de objetivos” y, en menor medida “planificación” y “eficiencia”. Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 82 1.12 ¿Qué concepto se tiene sobre la calidad en la orientación? Si se profundiza en el concepto de calidad que han expresado los orientadores participantes en el estudio encontramos que las definiciones que facilitan ponen el acento en todos aquellos aspectos que tradicionalmente se han relacionado con la calidad en los servicios: satisfacción de los usuarios, responder a las necesidades, intereses y expectativas de alumnado, familias y profesorado, contribuir al éxito académico y personal, valoración objetiva de la satisfacción, con la mayor eficacia, “indicadores comunes”, “optimización de recursos en función de las demandas”, “actuaciones efectivas y eficientes”, “incidencia real en las necesidades del centro/comunidad”, “rentabilizar el tiempo que no se pase con ellos (los alumnos)”,”contribuir a conseguir resultados objetivos”,… Se puede apreciar una riqueza importante en el concepto y definición que se aporta de la calidad en los servicios de orientación poniendo en relación los aspectos clásicos de rentabilidad, eficiencia, satisfacción de las necesidades y expectativas de los usuarios con los objetivos y funciones específicos de la orientación que están relacionados con el desarrollo de las capacidades y competencias personales y académicas de los alumnos. Si se intenta descender a un nivel de detalle mayor especificando o relacionando las tareas y funciones que se realizan en los centros con “procedimientos, instrucciones o protocolos más o menos concretos o sistemáticos”, y las que se deberían realizar, de las respuestas que dan los orientadores que han participado en el estudio se puede extraer la conclusión de que las funciones, ámbitos de trabajo o procesos más importantes propios de la orientación educativa como son “la acción tutorial” ,“la orientación académica y profesional” y “los procesos de derivación de alumnado a diferentes programas de atención a la diversidad” se llevan a cabo siguiendo procedimientos, instrucciones y protocolos más o menos sistemáticos. En algunos casos dichos procedimientos son establecidos a través de instrucciones anuales emitidas por los Servicios Provinciales de Educación y en otros son elaboradas por los propios centros en sus planes de actuación. En menor medida también se deja constancia de que existen procedimientos relacionados con el asesoramiento a familias y el apoyo al alumnado con necesidades educativas. 83 Resultados A pesar de que se deja constancia de esta realidad también afirman los orientadores del estudio que se “debería” intensificar ese proceso de sistematización en todos los ámbitos y en especial en aspectos como el “apoyo proceso de enseñanza y aprendizaje” y la “implantación de las TIC”, la “coordinación, seguimiento”, la “convivencia, planificación de proyectos, asesoramiento al equipo directivo, más apoyo en la evaluación, formación y seguimiento”, la “derivación de alumnos”, “Selección de alumnos del aula de PT” y la “atención a padres”. Varios orientadores destacan que deberían existir procedimientos relacionados con la coordinación y la gestión (“la coordinación para la gestión de documentación debería estar más estructurada”, “Planes de formación en centro, planes de coordinación de equipos docentes”, “Coordinación con el equipo directivo. Relación con los departamentos didácticos”. Por último se destaca, una vez más, la necesidad de hacer compatible el procedimiento con la flexibilidad, puesto que la necesidad de adaptar la respuesta de la orientación a las circunstancias y necesidades personales exige dicha flexibilidad (O-206 “Todas las intervenciones deben realizarse de forma programada, y los programas deben tener la flexibilidad necesaria para que desde ellos se pueda abordar cualquier situación concreta”.) El contenido de estas respuestas es especialmente importante para los objetivos que se plantea este estudio e investigación ya que dejan patente la necesidad de avanzar en la elaboración de procedimientos y protocolos que ayuden a sistematizar algunos procesos, partiendo de la base de que no se parte de cero sino más bien al contrario, se tiene una experiencia amplia y diversa en la utilización de indicadores y prácticas de evaluación que habría que consensuar y relanzar. 1.13 Sistemas de gestión de la calidad De los diez orientadores que han participado en la segunda versión del cuestionario tres afirman que en sus centros existe un Sistema de Gestión de la Calidad (si añadimos los tres orientadores que participaron en la primera versión la proporción es cuatro sobre trece, es decir, aproximadamente un 25 % de los centros). De ellos tres son públicos y uno concertado. En los cuatro centros que tienen implantado un sistema de aseguramiento de la calidad éste es de la familia ISO 9000. Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 84 En dos de los centros los sistemas de gestión de la calidad llevan implantados entre uno y tres años y más de cuatro años en otros dos centros. Los únicos cambios que han supuesto para el funcionamiento habitual de los servicios y departamentos de orientación han sido (O-103) “Sólo algunos formatos de comunicación, faltas, etc.”. (O- 201) “Seguimiento mensual de las programaciones” y (0-203) “Sistematizar más el proceso”. A tenor de estas respuestas se podría pensar que los sistemas de gestión y aseguramiento de la calidad implantados en los centros no parecen ejercer una influencia demasiado grande sobre los procesos y procedimientos de trabajo de los servicios y departamentos de orientación. Una posibilidad, teniendo en cuenta la información facilitada en las cuestiones anteriores sobre procedimientos y calidad, podría deberse a que estos servicios y departamentos, cuya tarea y labor es bastante diferente a la que se ejerce en los demás departamentos de los centros educativos, requieren de procedimientos más específicos y adaptados a las características de sus servicios. En la mayoría de los casos estos departamentos y servicios ya poseen procedimientos internos para llevar a cabo sus actividades. En cuanto a las respuestas proporcionadas por las tutoras y el jefe de estudios participantes en el estudio todos ellos consideran que sí es posible evaluar los resultados de los Servicios y departamentos de orientación aunque una de las tutoras no lo considera necesario. El Jefe de Estudios, por su parte, considera que a pesar de que en su centro existe un Sistema de aseguramiento de la calidad (ISO) éste no afecta a las funciones habituales de lo servicios de orientación ni al orientador. En cuanto a la medición de indicadores tanto el jefe de estudios como una de las tutoras considera que no se miden ninguno de los indicadores propuestos mientras que otra tutora considera que sí se miden todos ellos. 2- Validación de los cuestionarios Uno de los objetivos que se plantea esta investigación-acción es intentar que tanto el instrumento como los distintos elementos que lo integran (indicadores, descriptores, factores, etc.) sean “validados” por los profesionales y usuarios implicados e inmersos en el campo de acción de los servicios de orientación de educación secundaria, como 85 Resultados paso previo a su utilización en los procesos de mejora continua, evaluación y calidad. Por ello en los cuestionarios se han incluido ítems que permiten recoger el grado de idoneidad de los instrumentos y valoraciones y propuestas de mejora. También se han elaborado “Guías de validación” para poder recoger los comentarios y valoraciones sobre diferentes aspectos de los cuestionarios y sobre cada uno de los ítems. En el “Cuestionario de Validación” que acompañaba a la primera versión del cuestionario se plantean cuestiones que permiten recoger información sobre el grado en que los ítems del cuestionario se corresponden con los objetivos perseguidos, sobre la corrección formal de las preguntas y sobre las cuestiones que se podrían eliminar o añadir. Esta primera versión del cuestionario, junto con la guía de validación se “pasó” sólo a una muestra intencional y estratégica de tres orientadores con los siguientes resultados: (Nota: En anexo se recoge la primera versión de la Guía –Catálogo así como los resultados y respuestas recogidas). Es preciso insistir en que en la elaboración de la segunda versión el cuestionario se tuvieron en cuenta todas estas aportaciones, suprimiendo bastantes preguntas relacionadas con las funciones y los tiempos y simplificando los sistemas de respuesta. Concluida esta primera fase exploratoria se revisa el instrumento y se confirma que su extensión es excesivamente larga. También se revisa el contenido de algunas cuestiones descartando algunas cuestiones redundantes y otras que no se centraban en los objetivos del estudio. Por otro lado se simplifican las escalas para responder a algunas de las cuestiones. En la siguiente versión del cuestionario para orientadores (2.0.1) se reduce el número de ítems, se simplifican las escalas y se reorganizan los apartados. Esta segunda versión se ha validado por dos cauces. En primer lugar a través de las cuestiones que se incluyen en el propio cuestionario, respondido por diez orientadores y, en segundo lugar, a través de una guía de validación específica, que ha sido cumplimentada por cuatro orientadores con gran experiencia en los servicios de orientación de secundaria. También conviene destacar que la segunda versión de la Guía, además de estar disponible en formato papel se ha difundido a través de la tecnología 2.0 de Google docs, elaborando un formulario que se puede cumplimentar directamente en internet. Es preciso reconocer la importancia de este cauce ya que ha permitido llegar con facilidad a más profesionales, dando facilidades para su participación. Se deja constancia de que Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 86 las personas que han participado en la investigación, se han identificado y han incluido información relevante de tipo personal como es el correo electrónico, años de experiencia en el ámbito educativo y funciones y trabajos desempeñados. Esta información responde a la necesidad de garantizar la validez a través del método de triangulación y validación de expertos. Los profesionales que han participado tienen una trayectoria profesional muy dilatada en el ámbito educativo y de la orientación en secundaria. Además abarcan casi todo el abanico de posibilidades en cuanto a tipos de centros: públicos y concertados, en zona urbana y rural, grandes y pequeños, etc. (en anexo se adjunta tabla). Adoptando todas las cautelas necesarias se puede concluir que las preguntas del cuestionario permiten alcanzar el objetivo de evaluar y mejorar la calidad de los Servicios de Orientación y están correctamente formuladas. En cuanto a la extensión y duración del cuestionario la mayoría de orientadores también están “bastante de acuerdo” (6) en considerarla “adecuada”. En lo que se refiere a si los participantes en el estudio consideran el cuestionario interesante están “algo de acuerdo” (2), “bastante de acuerdo” (5) y “totalmente de acuerdo” (2). 87 4. Discusión Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 88 89 Discusión 4. Discusión La simple constatación de que los orientadores consideran necesario introducir algunos cambios justificaría por sí misma el intento de poner en marcha procesos que faciliten dichos cambios… Pero la cuestión que se plantea acto seguido es… ¿qué cambios?, ¿cómo?, ¿en todos los centros habría que cambiar lo mismo?. Uno de los mecanismos que mejor permite identificar los cambios necesarios en cada centro o situación es la evaluación y los sistemas de calidad y mejora. Esta investigación, y las respuestas obtenidas, evidencian la importancia que tiene dejar espacios abiertos a la expresión, para que las personas implicadas en los servicios de orientación en educación secundaria puedan exponer sus prioridades, enfoques y, lo que es más importante, contribuir entre todos a responder a los desafíos que tiene la orientación en el momento actual. Se constatan diversidad de prioridades que posiblemente esté muy condicionada por la experiencia concreta de cada profesional en sus centros respectivos. Pero esa es la realidad o, al menos, cómo la perciben y expresan sus protagonistas. Una realidad que hay que tener muy en cuenta a la hora de hacer cualquier tipo de propuesta que pretenda sistematizar u homogenizar procesos, ya sean éstos de gestión, planificación, evaluación o calidad… o de orientación educativa. Dichas propuestas deben ser lo suficientemente concretas para que puedan aportar algo más allá de enfoques o modelos generales y teóricos, la mayoría de las veces ineficaces en la acción pero también lo suficientemente flexibles para que puedan acomodarse a los distintos escenarios, necesidades y prioridades. Es probable que la existencia de procedimientos en los centros educativos relacionados con la orientación y de sistemas y protocolos estandarizados para recoger y procesar la información y la existencia de unos indicadores comunes y prácticas de evaluación de los servicios y departamentos de orientación más o menos homogéneas podría facilitar “la asunción de su necesidad –de la orientaciónpor parte del profesorado, y sobre todo del equipo directivo, y su coordinación, más allá de la idoneidad del propio departamento” (en palabras de uno de los participantes JE101). La existencia, y experiencias muy consolidada en los centros educativos de secundaria, de procedimientos relacionados con la derivación de alumnado a programas Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 96 6. Referencias Álvarez, M. (1995). Orientación profesional. Barcelona: Cedecs. Benavent, J. A. (2000). La Orientación Psicopedagógica en España. Desde 1939 hasta la Ley General de Educación de 1970. Valencia: Promolibro. Benavent, J. A. (2003). Reflexiones sobre el futuro de la orientación psicopedagógica inmersa en una encrucijada sociocultural. Revista Española de Orientación y Psicopedagogía, 14 (1), 41-59. Bisquerra, R. (Coord.) (1998). Modelos de orientación e intervención psicopedagógica. Barcelona: Praxis. Escudero, T. (2003). Desde los tests hasta la investigación evaluativa actual. Revista Electrónica de investigación y evaluación educativa, vol. 9, nº 1. http://www.uv.es/RELIEVE/v9n1/RELIEVE/v9n1_1.htm.Consultado (13/08/2012) Escudero, J.M. y Moreno, J.M. (1992). El asesoramiento a centros educativos: Estudio evaluativo de los equipos psicopedagógicos de la comunidad de Madrid. Madrid: Consejería de Educación y Cultura. Fernández, M.A. (2005). Propuesta de indicadores del proceso de enseñanza/aprendizaje en la formación profesional en un contexto de gestión de calidad total. Revista Electrónica de Investigación y Evaluación Educativa, v. 11, n. 1. http://www.uv.es/RELIEVE/v10n2/RELIEVEv11n1_4.htm. Consultado (13/08/2012) Ferrandez, A. (2002). Ideas para seguir reflexionando sobre educación. Barcelona: Universidad Autónoma de Barcelona Gairín, J. y otros (2006): Procesos de cambio en los centros a partir de evaluaciones externas. Madrid. CIDE. Grañeras, M. y Parras, A. (2009): Orientación Educativa: fundamentos teóricos, modelos institucionales y nuevas perspectivas. Ministerio de Educación. CIDE. Madrid Hervás, R. M. (2006). Orientación e intervención psicopedagógica. Barcelona: PPU. Kemmis, S. & Mctaggart, R. (1988). Cómo planificar la investigación-acción. Laertes. Barcelona:. 97 Referencias Lago y Onrubia (2011): Un modelo de asesoramiento para la mejora de las prácticas educativas. En E. Martín y J. Onrubia (Coords.): La orientación educativa: Procesos de innovación y mejora de la enseñanza (pp. 11-30), Barcelona, Graó. Lewin, K. (1973): Action research and minority problems. En K. Lewin (201 – 216). Resolving Social Coflicts. Souvenir Press. London Martín y Solé (2011): Un modelo educativo para la orientación y el asesoramiento. En E. Martín e I. Solé (Eds.): La orientación educativa: modelos y estrategias de intervención (pp. 13-32). Barcelona, Graó. Marín, M. A. y Rodríguez, S. (2001). Prospectiva del diagnóstico y de la orientación. Revista de Investigación Educativa, 19 (2), 315-362. Martínez Clares, P. (2002). La orientación psicopedagógica: modelos y estrategias de intervención. Madrid: EOS. Ministerio de Educación, Política Social y Deporte (2008). Funciones del Departamento de Orientación. Instituto Superior de Formación y Recursos en Red para el Profesorado Repetto, E. (Dir.). (2002). Modelos de orientación e intervención psicopedagógica. Madrid: UNED. Rodríguez, S. (2007). Hacia la calidad de la educación pasando por la equidad y la orientación en I Congreso de orientación y tutoría en Andalucía 2007. Granada Rodríguez, S. (2003). Intervención psicopedagógica y calidad de la educación. En Soler, J.L (coord.) Actas del Congreso Internacional de Orientación y Tutoría (pp. 23-54). Mira editores Rodríguez S. (1995): Un reto profesional: la calidad de la intervención orientadora. En R. Sanz Oro y otros (Eds.). Tutoría y orientación. Barcelona. CEDESC, pp.119- 135. Rodríguez, S. (2002). La orientación y la función tutorial, factores de la calidad de la educación. Ponencia presentada en el Seminario: Los educadores en la sociedad del siglo XXI. Madrid. Santos, M.A. (1990). Hacer visible lo cotidiano. Madrid: Akal. Sabirón, F (2002). Métodos de investigación etnográfica en Ciencias Sociales. Zaragoza: Mira. Sanz, R (1990). Evaluación de Programas en orientación educativa. Ed. Pirámide Evaluación, Calidad y Mejora Continua de los Servicios de Orientación en Educación Secundaria 98 Sarramona, J (2003). Los factores de calidad en educación en IX Congreso interuniversitario de teoría de la educación los indicadores de la calidad de la educación. San Sebastián Soler, J.L (coord..) Actas del III encuentro nacional de orientadores. Por una orientación a lo largo de la vida. Mira editores. 2008 Tiana, A (2009). Evaluación y cambio educativo: los debates actuales sobre las ventajas y lso riesgos de la evaluación. En E. Martín y F. Martínez Rizo (coods.), avances y desafíos en la evaluación educativa. Madrid: OEI Toscazo, J.M. (Dir.) (2011). Actas del V Encuentro Nacional de Orientación. Sevilla 99