Evaluación del diseño del programa "Magallanes atando cabos"

363 RIE, vol. 23-2 (2005) EVALUACIÓN DEL DISEÑO DEL PROGRAMA «MAGALLANES-ATANDO CABOS» Javier Rodríguez Santero1 Víctor Álvarez Rojo Universidad de Sevilla RESUMEN La orientación de los estudiantes universitarios a lo largo de su carrera es una necesidad generalmente sentida y admitida. En este artículo presentamos los resultados obtenidos en la evaluación del diseño del programa informatizado de orientación académica MagallanesAtando Cabos dirigido principalmente a los estudiantes de nuevo ingreso en la universidad. El proceso de investigación evaluativa sobre dicho programa se inicia con la evaluación de su diseño, que persigue determinar la adecuación de esta herramienta de orientación al contexto y a las necesidades de los destinatarios del programa. En primera instancia aludiremos a los antecedentes que han dado lugar al desarrollo del programa objeto de estudio, para pasar posteriormente a explicar el diseño de evaluación desarrollado, los resultados más destacables y las conclusiones acerca de la calidad intrínseca del mismo. Palabras clave: investigación evaluativa, orientación universitaria. ABSTRACT University students’ career guidance is all over accepted as one of the more important students’ academic needs. This paper deals with an evaluation research on an academic guidance program: Magallanes-Atando Cabos ; the program has been designed to meet the freshmen academic needs in university settings. First we present the research process followed to determine program design quality, or its fitness to quality standards defined by scientific literature for programs in this particular guidance field. Rationale, research design, data collected, outcoRevista de Investigación Educativa, 2005, Vol. 23, n.º 2, págs. 363-390 1 Dirección electrónica: [email protected] 364 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) 364 mes and implications for the intended quality program design are the several contributions we display in the present work. Key words: University students’ career guidance; evaluation research. 1. ANTECEDENTES El ámbito de actuación de la orientación universitaria es, con toda probabilidad, uno de los más amplios y con mejores posibilidades para la acción y la investigación en las próximas décadas. Las exigencias y los retos del Espacio Europeo de Enseñanza Superior son tan amplios que van a demandar la configuración de estructuras de servicios de asesoramiento y apoyo a profesores y a estudiantes cuyo contenido hemos de ir prefigurando ya en el presente, optimizando los ya existentes y diseñando otros nuevos para las necesidades previsibles de la nueva situación (Vidal y otros, 2001; Álvarez y Lázaro, 2002). Del conjunto de modelos y metodologías de intervención que la orientación educativa ha generado o tomado prestadas de otras disciplinas parece que puede ser de especial relevancia para atender a las demandas de la población universitaria la intervención por programas informatizados (de sensibilización, preventivos, etc.). Este tipo de programas de orientación basados en el modelo tecnológico se encuentran a la vanguardia de las acciones emprendidas en el ámbito de la orientación (Bisquerra y Álvarez, 1996:345, en Álvarez y Bisquerra, 1996). Acciones orientadoras similares han sido presentadas tanto en el ámbito estadounidense (SIGI, DISCOVER I Y II, MICROSKILLS, CHOICES, etc.) como en el europeo (CASCAID, PROSPECT, COMPAS); en España también han comenzado a desarrollarse (SIOP, PIP, SIFO, INSERPRO, etc.), aunque al igual que en EE.UU y en el resto de Europa la mayoría de las intervenciones se enfocan al ámbito vocacional-profesional. Es por ello que el Grupo de Investigación M.I.D.O, perteneciente a la Universidad de Sevilla, diseñó el programa informatizado Magallanes-Atando Cabos como una herramienta de orientación referida al ámbito académico y del aprendizaje en la universidad. El programa se centra en: — orientar a los estudiantes universitarios en general y a los de nuevo ingreso en particular sobre las variables que influyen más decisivamente en su rendimiento académico y — facilitarles instrumentos para el autodiagnóstico de los métodos de trabajo y estudio que están utilizando en su carrera. La selección de los contenidos del programa y, en definitiva, de las variables relacionadas con el rendimiento académico, con el trabajo y con el estudio en la universidad, se efectuó tomando en consideración los resultados obtenidos en una investigación precedente (Álvarez y otros, 2000a: 69-191). Los módulos de contenidos que engloba el programa son los siguientes: 365 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) — Autoconcepto — Metas de aprendizaje — Integración en la universidad. — Manejo de la información. — Capacidad de expresión — Capacidad de adaptación — Habilidades de planificación — Estilos de aprendizaje — Enseñanza del profesor — Orientación y apoyo de la Universidad — Orientación apoyo del profesorado Los usuarios potenciales del programa se encuentran con un diseño que utiliza el lenguaje y la simbología marinera y que propone bloques de información, rutas de acceso, formas de realizar el autodiagnóstico, valoraciones y orientaciones. Los diseñadores del programa persiguen en última instancia mediante esta oferta de orientación contribuir a la disminución del fracaso académico en la universidad, fenómeno de enorme magnitud y escasa atención social hasta el momento (De Miguel, 1998; Tejedor, 2002). Sin embargo, una herramienta de estas características necesita ser sometida a procesos de experimentación controlada para poder disponer de alguna certeza (datos) sobre la calidad del programa diseñado. Es decir, ha requerido someter al programa Magallanes-Atando cabos a un proceso de evaluación siguiendo muy de cerca las ideas de Sanz Oro (1990) referentes a las necesidades que justifican la evaluación de los programas de orientación: a) la obligatoriedad de comprobar si la acción orientadora está satisfaciendo las necesidades de los sujetos que dieron lugar a su aparición; b) la acción evaluativa como el instrumento por excelencia para facilitar la mejora continua del programa (toma de decisiones fundamentada); y c) el aporte de información a la comunidad educativa que permita la utilización adecuada del programa. Lo que sigue a continuación son algunos resultados de la evaluación efectuada. En concreto se aportan los datos obtenidos solamente en la evaluación del diseño de dicho programa, dejando para futuros trabajos los obtenidos respecto a otros aspectos (evaluación del proceso y de los resultados de la aplicación). 2. DISEÑO DE LA EVALUACIÓN La evaluación completa del programa Magallanes-Atando Cabos se efectuó tomando en consideración la propuesta de Pérez Juste (1992) que plantea un análisis de los tres grandes apartados o dimensiones de un programa de intervención socioeducativa: el programa en sí mismo, el programa en su desarrollo y el programa en sus resultados. La evaluación del programa en sí mismo, o evaluación del diseño del programa informatizado de orientación universitaria Magallanes-Atando Cabos tomó como términos de comparación , de una parte, el grado de adecuación del programa, y de otra, un referente de autodiagnóstico de los métodos de trabajo de alumnos universitarios de nuevo ingreso, establecido por expertos en la materia. 366 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) Los criterios de evaluación seleccionados, fueron los siguientes: 1. Nivel de adecuación al referente ideal de autodiagnóstico de las «necesidades previamente detectadas», «los objetivos», «los contenidos», «la metodología», «las actividades» «la temporalización», los «aspectos técnicos» y los indicadores de calidad extraídos de la literatura sobre el tema (Pérez Juste 1992; Repetto 1987). 2. Observaciones sobre las virtudes y defectos del Magallanes-Atando cabos . Por lo que respecta al diseño metodológico elegido, por un lado, se empleó un diseño descriptivo, tipo «survey o encuesta», por otro, un diseño correlacional. En lo referente al diseño descriptivo tipo «survey o encuesta», sus características fueron las siguientes: 1. Procedimiento para la recogida de datos : Se optó por el empleo de un instrumento que aglutinaba una escala de opinión, donde se veían representados todos los criterios de evaluación comentados y una pregunta abierta sobre las virtudes y defectos que los expertos conferían al programa. 2. Muestra: En el caso de la escala de opinión, contamos con 19 docentes universitarios de una muestra invitada de 31 (seleccionados al azar), relacionados con las distintas áreas M.I.D.E. u otras afines a éstas, de las universidades españolas. A la pregunta abierta únicamente contestaron 12 de ellos. 3. Procedimiento para el análisis de los datos : Para la escala de opinión se efectuó un análisis de los porcentajes obtenidos por las categorías de respuesta (TD: Totalmente en Desacuerdo, D: en Desacuerdo, A: De Acuerdo, TA: Totalmente de Acuerdo) en cada variable o criterio de evaluación establecido. Para la pregunta abierta desarrollamos un análisis por categorías de las respuestas, describiendo los porcentajes obtenidos por cada una de ellas y por sus subcategorías. En cuanto al diseño correlacional, sus características fueron las siguientes: 1. Hipótesis: H 0 : F(x) = F o (x) para todo x. No existen diferencias estadísticamente significativas en la distribución de las puntuaciones de los expertos entre las distintas categorías de respuesta. La concentración de manifestaciones de los expertos en una determinada opción de respuesta se debe al azar. 2. Nivel de confianza seleccionado : α = 0,05. 3. Muestra: Estuvo compuesta por 19 docentes universitarios de una muestra invitada de 31, relacionados con las distintas áreas M.I.D.E. u otras afines a éstas, de diversas universidades españolas. 4. Procedimiento de recogida de datos : Se utilizó una escala de opinión en la que se encontraban contenidos todos los criterios de evaluación comentados anteriormente. 367 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) 5. Procedimiento de análisis de los datos : Se desarrolló un análisis comparativo de los items correspondientes a cada una de las variables o criterios de evaluación anteriormente comentados. Se aplicó la prueba no paramétrica Chi-cuadrado para estudiar el grado de acuerdo entre expertos. 3. RESULTADOS DE LA EVALUACIÓN Presentamos a continuación, en dos apartados diferenciados, los resultados obtenidos a partir de sus manifestaciones. Por un lado, analizaremos sus opiniones sobre el grado de adecuación del programa a los criterios de evaluación previamente fijados («necesidades detectadas», «objetivos», «contenidos», «metodología», «actividades», «temporalización» «aspectos técnicos» e «indicadores de calidad» extraídos de la literatura sobre el tema), por otro, atenderemos a sus observaciones sobre las virtudes y defectos principales del programa . 3.1. Adecuación del programa a criterios de evaluación previamente fijados El análisis de las respuestas de los 19 expertos a la «Escala de opinión» sobre el programa Magallanes-Atando cabos », incluida en el instrumento desarrollado para obtener información sobre su opinión, nos permitió llegar a conclusiones interesantes sobre cada una de las ocho dimensiones de las que se deseaba obtener información: En cuanto a las «Necesidades detectadas» (Dimensión 1), como podemos comprobar atendiendo a las columnas «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) de la tabla 1, los expertos opinan en gran medida (casi el total de las opiniones se sitúan en A y TA) que el Magallanes-Atando cabos se apoya en una «priorización de necesidades» (item 1) efectuada a partir de unos «criterios previamente fijados» (item 6) y que esas necesidades responden a «a la diversidad de necesidades académicas patentes en el alumnado, relacionadas con el estudio y el trabajo en la Universidad» (item 3); por lo que el programa puede llegar, en su opinión, a ser «una iniciativa acertada para paliar el alto índice de fracaso académico en el primer año de estudios universitarios» (item 2). Tras comprobar los resultados obtenidos mediante la prueba Chi-cuadrado (ver tabla 1), podemos afirmar, con un nivel de confianza del 95%, que existen diferencias estadísticamente significativas en la distribución de las respuestas de los sujetos entre las distintas modalidades de respuesta en todos y cada uno de los items que componen la dimensión 1, excepto en lo concerniente a que el programa «Trata de satisfacer las dificultades que tienen los alumnos de nuevo ingreso para enfrentarse al estudio en la Universidad» (item 4). Esto viene a significar que, salvo en este item, las repuestas de los expertos han coincidido preferentemente en una sola modalidad de respuesta (A: «Acuerdo» o TA: «Totalmente de acuerdo», según el item). Hemos rechazado pues H 0 en 6 de los siete items de la dimensión . 368 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) TABLA 1 VALORACIONES DE EXPERTOS CON RESPECTO A LAS «NECESIDADES DETECTADAS» DIMENSIÓN 1: NECESIDADES DETECTADAS TD (%) D (%) A (%) TA (%) GRADO. SIGN. 1. Se apoya en un estudio previo de las necesidades de los alumnos universitarios. 0 5,6 22,2 72,2 ,002 2. Es una iniciativa acertada de cara a paliar el alto índice de fracaso académico en el primer año de los estudios universitarios. 0 5,6 38,9 55,6 ,030 3. Se adecua a la diversidad de necesidades académicas patentes en el alumnado. 0 5,6 66,7 27,8 ,006 4.Trata de satisfacer las difi cultades que tienen los alumnos de nuevo ingreso para enfrentarse al estudio en la Universidad. 0 0 33,3 66,7 ,157 5. Se ha basado en una priorización de las necesidades detectadas. 0 6,3 62,5 31,3 ,022 6. Trata de ajustarse a los criterios de priorización previamente fi jados. 0 12,5 81,3 6,3 ,000 7. Busca atender a las necesidades de los alumnos relacionadas con el trabajo y el estudio en la Universidad. 0 11,1 27,8 61,1 ,030 0 6,7 47,5 45,8 TD: Totalmente En desacuerdo; D: En desacuerdo; A: De acuerdo; TA: Totalmente de acuerdo. En lo referente a «Consecución de objetivos» (Dimensión 2), casi el total de las opiniones de los expertos con respecto a los items de esta dimensión se enmarcan en las opciones «De acuerdo» (A) y «Totalmente de acuerdo»(TA), como podemos observar en la tabla 2. Esto viene a constatar que la mayoría de ellos creen que el programa logra la «Consecución de los objetivos» propuestos. Cabría destacar que el 100% de los expertos están de acuerdo con que «Existe una coherencia entre los objetivos planteados y las necesidades detectadas en los estudiantes de primer curso relacionadas con el trabajo y el estudio en la Universidad» (item 1) y con que «Aporta información al alumno que puede evitarle ciertos fracasos durante el primer año de carrera» (item 8). Por el contrario, un grupo considerable de expertos (26,3%) está en desacuerdo con que el Magallanes-Atando cabos «Permita al alumno autoevaluar su actuación desde que entró en la Universidad» (item 9). Atendiendo a los grados de significación obtenidos tras la administración de la prueba Chi-cuadrado (ver tabla 2), podemos afirmar, con un nivel de confianza del 95%, que existen diferencias estadísticamente significativas entre las elecciones de 369 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) TABLA 2 VALORACIONES DE EXPERTOS CON RESPECTO A LA «CONSECUCIÓN DE OBJETIVOS» DIMENSIÓN 2: ADECUACIÓN DE OBJETIVOS TD (%) D (%) A (%) TA (%) GRADO. SIGN. 1. Existe una coherencia entre los objetivos planteados y las necesidades detectadas en los estudiantes de primer curso relacionadas con el trabajo y el estudio en la Universidad. 0 0 72,2 27,8 ,059 2. Tiene un diseño que trata motivar a los estudiantes para que realicen el programa 0 15,8 31,6 52,6 ,143 3. Dota a los destinatarios de información y herramientas para enfrentarse al estudio en la Universidad. 0 5,3 57,9 36,8 ,018 4. Facilita la adaptación de los estudiantes a la vida universitaria y a sus exigencias de estudio y rendimiento académico. 0 5,3 42,1 52,6 ,029 5. Cuenta con tareas y ejemplos que favorecen la asimilación de los contenidos expuestos en los módulos del programa. 0 10,5 36,8 52,6 ,076 6. Tiene actividades que permiten al alumno desarrollar estrategias que favorecen una mejor rentabilización de los esfuerzos que debe realizar. 0 15,8 47,4 36,8 ,229 7. Cuenta con tareas que le permiten desarrollar una estrategia personal de enfrentarse al aprendizaje. 0 10,5 68,4 21,1 ,004 8. Aporta información al alumno que puede evitarle ciertos fracasos durante el primer año de carrera. 0 0 57,9 42,1 ,491 9. Permite al alumno autoevaluar su actuación desde que entró en la Universidad. 0 26,3 47,4 26,3 ,431 10. Suministra al alumno información relevante sobre los elementos principales de la vida en la Universidad. 0 5,3 52,6 42,1 ,029 11. Dota al alumno de una predisposición o actitud positiva con respecto al estudio en la Universidad. 0 10,5 63,2 26,3 ,016 0 9,6 52,5 37,9 TD: Totalmente en desacuerdo; D: En desacuerdo; A: De acuerdo; TA: Totalmente de acuerdo. modalidades de respuesta, realizadas por los expertos, en casi la mitad de los items que componen la dimensión (3, 4, 7, 10, 11). No existen diferencias estadísticamente significativas en lo concerniente a «La existencia de una coherencia entre los objetivos planteados y las necesidades detectadas en los estudiantes de primer curso relacionadas con el trabajo y el estudio en la Universidad» (item 1), «Contar con un diseño que trata 370 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) motivar a los estudiantes para que realicen el programa» (item 2), «Contar con tareas y ejemplos que favorecen la asimilación de los contenidos expuestos en los módulos del programa» (item 5), «Tenencia de actividades que permiten al alumno desarrollar estrategias que favorecen una mejor rentabilización de los esfuerzos que debe realizar» (item 6), «Aportar información al alumno que puede evitarle ciertos fracasos durante el primer año de carrera» (item 8), y, por último, en cuanto a que «Permite al alumno autoevaluar su actuación desde que entró en la Universidad» (item 9). Como hemos podido apreciar se rechaza H 0 en cinco de los once items que componen la dimensión. Por lo que respecta a la «Adecuación de los contenidos» (Dimensión 3), como podemos comprobar atendiendo a las columnas A y TA de la tabla 3, la mayor parte de los expertos creen en la «Adecuación de los contenidos» incluidos en el Magallanes-Atando cabos, puesto que mayoritariamente, opinan que existe una coherencia de éstos con respecto a las «necesidades detectadas» (item 4) y a los «objetivos» posteriormente planteados (item 1), una «estructura y secuenciación de los mismos lógica y congruente» (item 3), una «información lo suficientemente extensa y profunda como para lograr los objetivos propuestos» (item 2), a lo que habría que sumarle la expresión en un «vocabulario perfectamente comprensible» (item 5). TABLA 3 VALORACIONES DE EXPERTOS CON RESPECTO A LA «ADECUACIÓN DE LOS CONTENIDOS» DIMENSIÓN 3: ADECUACIÓN DE LOS CONTENIDOS TD (%) D (%) A (%) TA (%) GRADO. SIGN. 1. Existe una coherencia entre los contenidos seleccionados y los objetivos planteados. 0 0 57,9 42,1 ,491 2. La información que ofrecen los módulos del programa es perfectamente comprensible por los alumnos de nuevo ingreso 0 5,3 57,9 36,8 ,018 3. La estructura y secuencia de los contenidos es lógica y congruente. 0 5,3 52,6 42,1 ,029 4. Los contenidos se corresponden con las necesidades previamente detectadas en los alumnos. 0 5,3 68,4 26,3 ,003 5. El vocabulario empleado está acorde con el nivel del alumnado al que se dirige el programa. 0 21,1 47,4 31,6 ,368 6. La extensión y profundidad de la información tratada en los módulos del programa es suficiente para lograr los objetivos expuestos en el punto II. 5,9 11,8 58,8 23,5 ,009 0,9 8,1 57,1 33,7 TD: Totalmente en desacuerdo; D: En desacuerdo; A: De acuerdo; TA: Totalmente de acuerdo. 371 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) Una vez comprobados los resultados obtenidos mediante la prueba Chi-cuadrado (ver tabla 3), podemos afirmar, con un nivel de confianza del 95%, que existen diferencias estadísticamente significativas entre las opiniones de los expertos, o lo que es lo mismo, en la distribución de las mismas entre las opciones de respuesta, en todos y cada uno de los items que componen la dimensión 3, excepto en lo concerniente a la «Coherencia entre los contenidos seleccionados y los objetivos planteados» (item 1) y a que «El vocabulario empleado está acorde con el nivel del alumnado al que va dirigido» (item 5). Debemos, pues, interpretar que existe una concentración estadísticamente significativa ( α = 0,05) y por tanto no atribuible al azar, de las manifestaciones de los expertos en una sola opción de respuesta (A o TA, según el item) en todos los items que componen la dimensión excepto en el caso del 1 y el 5, en los que las respuestas de los expertos se han distribuido en más de una opción de respuesta. Podemos concluir, pues, atendiendo a la significación estadística, H 0 concluir, pues, atendiendo a la significación estadística, H0 concluir, pues, atendiendo a la significación estadística, H se rechaza en todos los items de la dimensión excepto en el primero y el quinto. Atendiendo a la «Adecuación de la metodología» (Dimensión 4), podemos comprobar tomando en consideración las columnas A y TA de la tabla 4, como los expertos creen en gran medida en la «adecuación de la metodología o diseño metodológico» que implica el programa , puesto que, mayoritariamente, opinan que «existe una coherencia entre la metodología y los objetivos previamente planteados» (item 1), que «exige al alumno un papel activo en el desarrollo de su propio aprendizaje» (item 2), «permitiéndole desarrollar su propio ritmo de aprendizaje» (item 4) y «relegando el papel del tutor o persona encargada de administrar el programa a solucionar algunas dudas de carácter técnico» (item 3). TABLA 4 VALORACIONES DE EXPERTOS CON RESPECTO A LA «ADECUACIÓN DE LA METODOLOGÍA» DIMENSIÓN 4: ADECUACIÓN DE LA METODOLOGÍA TD (%) D (%) A (%) TA (%) GRADO. SIGN. 1. Existe una coherencia entre la metodología desarrollada en el programa y los objetivos previamente planteados. 0 5,3 73,7 21,1 ,001 2. La metodología del programa exige al alumno un papel activo en el desarrollo de su propio aprendizaje. 0 15,8 42,1 42,1 ,268 3. El papel del tutor o persona encargada de administrar el programa se ve limitado a solucionar algunas dudas de carácter técnico. 0 11,1 55,6 33,3 ,069 4. Al ser un multimedia interactivo permite al alumno desarrollar su propio ritmo de aprendizaje. 0 16,7 38,9 44,4 ,311 0 12,2 52,6 35,2 TD: Totalmente en desacuerdo; D: En desacuerdo; A: De acuerdo; TA: Totalmente de acuerdo. 378 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) En la gráfica 1, podemos observar, atendiendo a los porcentajes medios globales para cada dimensión, que «Adecuación de la temporalización» es la que registra mayor número de afirmaciones en «Total desacuerdo» (3%) y en «Desacuerdo» (20,3%), mientras que «Adecuación de las actividades» es la que presenta mayor número de afirmaciones «De acuerdo» (59,6%) y «Necesidades detectadas» en «Totalmente de acuerdo» (48,8%). Podemos comprobar también cómo el mayor número de las manifestaciones se engloban en las opciones «De acuerdo» y «Totalmente de acuerdo», en todas y cada una de las dimensiones objeto de estudio, por lo que afirmamos, tomándolas como criterio de evaluación, que los expertos estiman en un alto grado la adecuación y calidad del programa Magallanes-Atando cabos. Gráfica 1 Porcentajes medios de cada una de las dimensiones TD: Totalmente en desacuerdo; D: En desacuerdo; A: De acuerdo; TA: Totalmente de acuerdo. Como hemos tenido oportunidad de observar, en todos y cada uno de los items de las distintas dimensiones, existe un porcentaje altísimo de acuerdo (suma de los % correspondientes a las columnas A y TA), por lo que podemos afirmar que la valoración que los expertos hacen sobre el diseño del programa es muy positiva. 3.2. Observaciones sobre las virtudes y defectos del programa El análisis detenido de las respuestas por escrito a la «pregunta abierta» sobre las virtudes y defectos del programa Magallanes-Atando cabos , incluida en el instrumento 379 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) de evaluación desarrollado para obtener información sobre la opinión de los expertos con respecto al programa, nos ha aportado una información complementaria muy valiosa de cara al mayor conocimiento y mejora del programa. Con respecto a las virtudes asociadas al programa, las contestaciones de los sujetos han sido agrupadas en ocho subcategorías de respuesta que aglutinan todas las opiniones o manifestaciones de los expertos. 1) Útil: Consecución, mediante el desarrollo del programa, de los objetivos que se perseguían (41,67% de los sujetos). i. «...Muy útil para el alumno que realmente está preocupado por sus dificultades y se esfuerza por encontrar una solución a través de la exploración y reflexión de las actividades del programa». ii. «...Recurso necesario que cubre carencias en la intervención orientadora». 2) Fácil de usar: Facilidad de manejo del programa (8,33% de los sujetos). i. «...Destacar como virtud la simplicidad en el manejo». 3) Calidad de los contenidos: Todas aquellas opiniones referidas tanto al número amplio de aspectos que se tratan como a la relevancia de los mismos (16,67%). i. «...Bastante completo en cuanto a la relevancia de los contenidos y al número de aspectos que trabaja». ii. «...Como virtud principal, cabe mencionar la extensión y estructuración del contenido». 4) Práctico: Carácter pragmático del Magallanes-Atando cabos (8,33%) . i. «...Destacar su carácter eminentemente práctico». 5) Flexible: Capacidad del programa para adaptarse a las situaciones particulares (25% de los sujetos). i. «...Es flexible, se adata a las necesidades del alumnado, se puede realizar en cualquier momento o retomar alguno de los temas. Se puede elegir el tema y el grado en que se desea profundizar cada aspecto». 6) Vocabulario comprensible: Lenguaje claro y sencillo en que se expresa el programa (8,33%). i. «...Tiene un lenguaje sencillo y directo, así como el conjunto audiovisual». 380 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) 7) Autoaplicable: Esta subcategoría, enmarca aquellas opiniones de los sujetos que consideran relevante el hecho de que sea cada sujeto el que se aplique a sí mismo el programa (25%). i. «...La autoaplicación que implica favorece la autoevaluación». 8) Motivador: Carácter atractivo del programa (50%). «...Resulta muy atractivo e innovador». Por lo que respecta a los defectos del programa Magallanes-Atando cabos , las manifestaciones de los expertos han sido organizadas en diez subcategorías: 1) Defectos Técnicos: Manifestaciones de los expertos que resaltan algún defecto de formato o de realización de la aplicación informática (41,67%), tales como la velocidad, el tipo de música empleada, los contrastes de color, etc. i. «...Mayor velocidad de movimiento en la secuencia de entrada, en el cambio de pantallas. Necesidad de incorporar botoneras que permitan ir a otras pantallas sin tener que volver constantemente al menú de la isla». ii. «...Necesidad de una música más atractiva para los jóvenes actuales». 2) Defectos de contenido: Alusión a problemas asociados a la existencia de distintos grados de extensión y profundización de los contenidos, así como a la duplicidad de los mismos (33,33%). i. «...Las «islas» se han desarrollado con distinto grado de extensión y profundidad. Así, por ejemplo, podrían desarrollarse más las referidas a «Autoconcepto» y «Habilidades para el manejo de información»». ii. «...Tendría sentido unificar las islas «Enseñanza del profesor» y «Capacidad de adaptación», pues están muy relacionadas». 3) Defectos asociados al texto: Bajo esta subcategoría encontramos todas aquellas manifestaciones (58,33%) que resaltan defectos tales como: Erratas, tamaño y tipo de fuentes, cantidad excesiva de letras, etc. i. «...La información debería ser mucho más gráfica, no tanto texto». ii. «...En el apartado «Metas de aprendizaje: Ventajas e inconvenientes», la tercera y cuarta columna tienen el mismo título». iii. «...Habría que destacar el texto más significativo en los bloques de texto, con colores o parpadeos». 4) Defectos asociados a los títulos: Escasa concordancia entre los títulos de algunos módulos y el contenido presente en ellos (16,67%). 381 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) i. «...Revisarse los títulos de algunas islas y subapartados para que se ajustaran más plenamente a su contenido: por ejemplo, «Metas de aprendizaje» podría denominarse en mi opinión, «Estrategias para la automotivación y el aprendizaje». El subtítulo «Pistas para el planteamiento de metas» podría denominarse «Pistas para automotivarte en el estudio». El contenido del módulo «Integración en la Universidad» quizá responde más bien a «Información sobre la Universidad» o «¿Cómo es el lugar en el que estudio?»». 5) Problemas con el vocabulario: Escasa conveniencia de la terminología empleada para los alumnos a los que va dirigido el programa (16,67%). i. «...No creo que todos los alumnos de nuevo ingreso manejen la terminología empleada en el programa». 6) Distanciamiento del ADVP: Poca similitud entre el programa y el modelo de Coll y Pelletier, en que afirma fundamentarse (8,33%). i. «...No sé hasta qué punto coincide con el modelo de Pelletier. No le encuentro una correlación total». 7) Defectos en las actividades: Falta de interactividad, feed-back, una vez que el alumno ha desarrollado ciertas actividades (16,67%). i. «...Considero que su eficacia en la intervención depende mucho de la capacidad de superación del alumno, y cabría decir, que existe poco feed-back al alumno, una vez realizadas las actividades». 8) Falta de conexiones con Internet: Algunos expertos (16,67%) señalan la necesidad de que ciertos aspectos de contenido del programa estén conectados con páginas web donde aumentar la información que se les ofrece. i. «...A lo largo de los contenidos podrían incluirse enlaces que conecten con páginas de Internet que sean de interés para profundizar en los temas que se tocan (existen páginas por y para los universitarios), esto supone actualizar periódicamente el conjunto del programa». 9) Defectos asociados a la temporalización: Necesidad de ejecutar el programa en más de una sesión (8,33%). i. «...Revisar el programa exige más de cuatro horas si se quiere hacer con exactitud, por lo que sería conveniente desarrollarlo en más de una sesión». 382 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) 10) Déficit en la relación esfuerzo-beneficio: El programa supone mayor esfuerzo que el beneficio que renta (8,33%). «...Implica mucho trabajo de reflexión del alumno en comparación con la eficacia percibida por éste». A modo de resumen, presentamos en la tabla 9 un esquema de las categorías y subcategorías que acabamos de comentar, con sus correspondientes porcentajes de opinión. TABLA 9 ESQUEMA DE CATEGORÍAS Y SUBCATEGORÍAS RESULTANTES DE LAS VALORACIONES POR ESCRITO DE LOS EXPERTOS SOBRE LAS VIRTUDES Y DEFECTOS DEL PROGRAMA CATEGORÍAS SUBCATEORÍAS PORCENTAJES DE OPINIÓN VIRTUDES ASOCIADAS AL MAGALLANES-ATANDO CABOS Útil 41,67% Fácil de usar 8,33% Calidad de los contenidos 16,67% Práctico 8,33% Flexible 25% Vocabulario comprensible 8,33% Autoaplicable 25% Motivador 50% DEFECTOS ASOCIADOS AL MAGALLANES-ATANDO CABOS Técnicos 41,67% Contenidos 33,33% Texto 58,33% Títulos 16,67% Vocabulario 16,67% Distanciamiento del ADVP 8,33% Actividades 16,67% Conexión con Internet 16,67% Temporalización 8,33% Relación esfuerzo – beneficio 8,33% 383 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) Como hemos podido observar, los expertos señalan en mayor medida, como virtud del Magallanes-Atando cabos su carácter «Motivador, atractivo» (50%) y su «Utilidad» (41,67%); y como principales defectos los «Asociados al texto» (58,33%) y los de «Carácter técnico» (41,67%). Tomando en consideración los resultados obtenidos a través de la escala de opinión y de la pregunta abierta, podemos afirmar que en ambos los expertos ponen de manifiesto la «facilidad de uso del programa», «su utilidad», «su carácter motivador», «práctico», «flexible» y «autoaplicable», la «cantidad y calidad de sus contenidos» y la «adecuación de su vocabulario». 4. CONCLUSIONES La valoración que los expertos hacen sobre el diseño del programa es óptima, ya que están de acuerdo, en gran medida, con la adecuación de las «necesidades detectadas», los «objetivos» planteados, los «contenidos» seleccionados, la «metodología» utilizada, las «actividades» desarrolladas, la «temporalización» establecida, los «aspectos técnicos» empleados y el ajuste a «indicadores de calidad» extraídos de la literatura sobre el tema. Por ello, no es de extrañar que en la gran mayoría de los items de las distintas dimensiones encontrásemos un porcentaje altísimo de concentración de las respuestas en las opciones más positivas (A: De acuerdo y TA: Totalmente de acuerdo). Atendiendo al análisis individualizado de cada una de las dimensiones podemos destacar los siguientes resultados: 1. En cuanto a las «Necesidades detectadas», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 87% en todos los items (ver tabla 1). Los expertos están de acuerdo, en gran medida, con que el Magallanes-Atando cabos se apoya en una «priorización de necesidades» (item 1) efectuada a partir de unos «criterios previamente fijados» (item 6) y que esas necesidades responden a «la diversidad de necesidades académicas patentes en el alumnado, relacionadas con el estudio y el trabajo en la Universidad» (item 3), por lo que el Magallanes-Atando cabos puede llegar, en su opinión, a ser «una iniciativa acertada para paliar el alto índice de fracaso académico en el primer año de estudios universitarios» (item 2). La hipótesis nula que afirmaba que no existían diferencias estadísticamente significativas en la distribución de las puntuaciones de los expertos entre las distintas categorías de respuesta, se rechazó en seis de los siete items de la escala referente a la dimensión «Necesidades detectadas». Cabe decir por tanto que sus opiniones, acordes en la mayoría de los items de esta dimensión, no se deben al azar. 2. En lo referente a «Adecuación de objetivos», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 73% en todos los items (ver tabla 2). Los expertos están de acuerdo, en gran medida, con que en el Magallanes-Atando cabos «Existe una coherencia entre los objetivos planteados y las necesidades detectadas en los estudiantes de primer curso relacionadas con el trabajo y el estudio en la Universidad» (item 1) y con que 384 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) «Aporta información al alumno que puede evitarle ciertos fracasos durante el primer año de carrera» (item 8). Por el contrario, un grupo considerable de expertos (26,3%) está en desacuerdo con que el Magallanes-Atando cabos «Permita al alumno autoevaluar su actuación desde que entró en la Universidad» (item 9). La hipótesis nula se rechazó en cinco de los once items de la escala referente a la dimensión «Adecuación de objetivos». 3. Por lo que respecta a la «Adecuación de los contenidos», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 79% en todos los items (ver tabla 3). Los expertos están de acuerdo, en gran medida, con que en el Magallanes-Atando cabos guarda una coherencia entre los contenidos seleccionados, las «necesidades detectadas» (item 4) y los «objetivos» planteados (item 1). Se encuentran también de acuerdo, en un alto grado, con que la «estructura y secuenciación de los mismos es lógica y congruente» (item 3), aportando una «información lo suficientemente extensa y profunda como para lograr los objetivos propuestos» (item 2), a lo que habría que sumar la expresión en un «vocabulario perfectamente comprensible» (item 5). La hipótesis nula se rechaza en cinco de los seis items de la escala referente a la dimensión «Adecuación de los contenidos». 4. En relación a la «Adecuación de la metodología», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 83% en todos los items (ver tabla 4). Los expertos están de acuerdo, en gran medida, con que en el Magallanes-Atando cabos «existe una coherencia entre la metodología y los objetivos previamente planteados» (item 1), que «exige al alumno un papel activo en el desarrollo de su propio aprendizaje» (item 2), «permitiéndole desarrollar su propio ritmo de aprendizaje» (item 4) y «relegando el papel del tutor o persona encargada de administrar el programa a solucionar algunas dudas de carácter técnico» (item 3). La hipótesis nula se rechazó en uno de los cuatro items de la escala referente a la dimensión «Adecuación de la metodología». 5. En cuanto a la «Adecuación de las actividades», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 89% en todos los items (ver tabla 5). Los expertos están de acuerdo, en gran medida, en que en el Magallanes-Atando cabos «existe una coherencia de las actividades con respecto a los objetivos que se persiguen» (item 4) a los «contenidos desarrollados» (item 3) y al «diseño metodológico» (item 6); así como con que las actividades «se adecuan al nivel de los alumnos a los que está destinado el programa» (item 5), «son útiles para afianzar la información que ofrece el texto» (item 1) y resultan «relevantes de cara a desarrollar una actitud positiva en el alumno» (item 2). La hipótesis nula se rechazó en cuatro de los seis items de la escala referente a la dimensión «Adecuación de las actividades». 6. Por lo que respecta a la «Adecuación de la temporalización», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 60% en todos los items (ver tabla 6). Los expertos están de acuerdo, 385 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) en gran medida, en que el Magallanes-Atando cabos «se adapta a la idiosincrasia de cada uno de los usuarios» (item 2), en que «el tiempo invertido en la realización del programa se ve recompensado con el aprendizaje que se recibe» (item 1), en que «las actividades implican una dedicación temporal coherente con el programa» (item 4), así como en que «no llega a producirse cansancio si el programa se desarrolla en varias sesiones» (item 6). Cabría destacar el hecho de que buena parte de los expertos manifiestan no estar de acuerdo con que «por norma general, puede desarrollarse en no más de cuatro horas» (36,9%) y con que «la temporalización del programa se adapta a la idiosincrasia de cada uno de los usuarios, pues, cada uno puede seguir su propio ritmo» (31,6%). La hipótesis nula se rechazó en tres de los siete items de la escala referente a la dimensión «Adecuación de la temporalización». 7. En lo referente a la «Adecuación de aspectos técnicos», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 68% en todos los items (ver tabla 7). Los expertos están de acuerdo, en gran medida, con «el tamaño de los iconos» (item 12), con «haberse empleado un formato que toma como soporte las nuevas tecnologías» (item 20), con «el conocimiento mínimo de informática necesario para interactuar con el programa» (item 4), con «el tipo de iconos» (item 13), «el tono y volumen de la locución» (item 15), «el volumen de la música de fondo» (item 17), «la labor de diseño» (item 19) y «la calidad de la ayuda» (item 8), entre otros. Por el contrario, Los cinco aspectos con los que los expertos manifiestan estar menos de acuerdo (suma de los % pertenecientes a las columnas A y TA), son en orden creciente: «El tamaño y ajuste de las fuentes (letras) permite leerlas sin dificultad» (item 6: 68,4%), «la presentación inicial del programa es lo suficientemente motivadora como para incitar al usuario al desarrollo del mismo» (item 3), «los matices de color seleccionados para los distintos elementos del programa resultan acordes entre sí» (item 9), «la labor de diseño gráfico desarrollada resulta acorde con el resto de elementos del programa» (item 18) y «la cantidad de información que el programa presenta a la vez en pantalla es adecuada» (item 1: 78,9%). La hipótesis nula se rechazó en nueve de los 21 items de la escala referente a la dimensión «Adecuación de aspectos técnicos». 8. En cuanto a la «Adecuación a indicadores de calidad», la concentración de las opiniones en las opciones «de Acuerdo» (A) y «Totalmente de Acuerdo» (TA) superan el 84% en todos los items (ver tabla 8). Podemos destacar el hecho de que se encuentren, en gran medida, de acuerdo (suma de los % pertenecientes a las columnas A y TA) con que: «Los contenidos del programa se consideran interesantes, actuales y responden a necesidades reales» (item 1), «Existe una unidad armónica entre los distintos elementos del programa, haciendo que cada parte esté conectada con las restantes» (item 3), «Los distintos elementos del programa se adecuan a las características de los sujetos a los que va destinado» (item 5), «La aplicación del programa es completamente viable» (item 8), «El programa es útil» (item 9), «El programa comporta un beneficio ostensible para quienes se someten a él» (item 10), «La facilidad de uso del programa hace que 386 Javier Rodríguez Santero y Víctor Álvarez Rojo RIE, vol. 23-2 (2005) esté al alcance de todos los alumnos» (item 12) y con que «El programa es perfectamente evaluable» (item 16). La hipótesis nula se rechazó en siete de los dieciséis items de la escala referente a la dimensión «Adecuación a indicadores de calidad». Tomando en consideración la suma de los porcentajes referentes a las opciones A y TA, en cada una de las dimensiones (ver gráfica 2), podemos afirmar que «Adecuación de la temporalización» es la que logra los peores resultados (tan sólo un 75% de las respuestas se concentran en las opciones positivas, A y TA), mientras «Adecuación de las actividades» y «Adecuación a indicadores de calidad» son las que obtienen mejores resultados (el 95% de las respuestas se concentran en las opciones A y TA). Una vez más nos vemos obligados a señalar que quizás estos resultados negativos en torno a la temporalización se vean asociados a las condiciones del proceso de evaluación y no a condiciones intrínsecas del propio Magallanes-Atando cabos. Gráfica 2 Grado de acuerdo en las distintas dimensiones objeto de estudio. Como hemos comentado, la gran mayoría de los expertos están de acuerdo con las manifestaciones efectuadas en todas y cada una de las 8 dimensiones analizadas. Tan sólo existen seis items en los que no se ha logrado una concentración de las respuestas en las opciones más positivas (A: De acuerdo, TA: Totalmente de acuerdo) de más del 75% (Ver tabla 10). De cara a una mejora del programa, recomendamos sean revisados esos aspectos a la hora de desarrollar nuevas versiones del Magallanes-Atando cabos . 387 Evaluación del diseño del programa «Magallanes-Atando Cabos» RIE, vol. 23-2 (2005) TABLA 10 ITEMS CON UNA CONCENTRACIÓN DE LAS OPINIONES EN LAS OPCIONES POSITIVAS INFERIOR AL 75% ITEM % DE RESPUESTAS EN LAS OPCIONES POSITIVAS DIMENSIÓN OBJETO DE ESTUDIO 9. Permite al alumno autoevaluar su actuación desde que entró en la Universidad. 73,7% Adecuación de objetivos 2. La temporalización del programa se adapta a la idiosincrasia de cada uno de los usuarios, pues, cada uno puede seguir su propio ritmo. 68,4% Adecuación de la temporalización 5. La temporalización del programa, en su conjunto, es adecuada. 74,6% Adecuación de la temporalización 7. Por norma general, puede desarrollarse por completo en no más de cuatro horas. 60,1% Adecuación de la temporalización 3. La presentación inicial del programa es lo suficientemente motivadora como para incitar al usuario al desarrollo del mismo. 73,7% Adecuación de los aspectos técnicos 6. El tamaño y ajuste de las fuentes (letras) permite leerlas sin dificultad 68,4% Adecuación de los aspectos técnicos Quisiéramos terminar este artículo señalando que los expertos consideran, principalmente, como virtudes del Magallanes-Atando cabos (ver tabla 9): Su «Utilidad» (41,67%) y su carácter «Motivador, atractivo» (50%), «Flexible» (25%) y «Autoaplicable» (25%); y como principales defectos: Los errores «Asociados al texto» (58,33%) y las disfunciones de «Carácter técnico» (41,67%). BIBLIOGRAFÍA Álvarez Rojo, V.; García Jiménez, E.; Gil Flores, J.; Romero Rodríguez, S. y Rodríguez Santero, J. (1999): El rendimiento académico en la Universidad desde la perspectiva del alumnado. Revista Española de Orientación y Psicopedagogía . Vol. 10, Nº 17, pp. 23-42. Madrid. Álvarez Rojo, V. García, E. Gil, J. Romero, S. y Rodríguez, J. (2000): La evaluación de programas informatizados, Revista de Investigación Educativa , 18, (2) Pp. 481-491. Álvarez Rojo, V.; García Jiménez, E.; Gil Flores, J.; Martínez Clres, P.; Rodríguez Santero, J. y Romero Rodríguez, S. (2002): Diseño y Evaluación De Programas . Editorial EOS, Madrid.