El proceso de construcción y validación de los instrumentos de recogida de información sobre el Prácticum y su evaluación a través de herramientas tecnológicas

1" EL PROCESO DE CONSTRUCCIÓN Y VALIDACIÓN DELOSINSTRUMENTOS DE RECOGIDA DE INFORMACIÓN SOBRE EL PRÁCTICUM Y SU EVALUACIÓN A TRAVÉS DE HERRAMIENTAS TECNOLÓGICAS José Tejada Fernández Universitat Autònoma de Barcelona jose.t[email protected] José Serrano Angulo Universidad de Málaga [email protected] Carmen Ruiz Bueno Universitat Autònoma de Barcelona carmen.ruiz.[email protected] Daniel Cebrián Robles Universidad de Málaga [email protected] Palabras Clave: Prácticum, evaluación competencias, método Delphi,E-rubrica,! RESUMEN " En esta comunicación se expone el proceso de construcción y validación de los instrumentos de recogida de información sobre la evaluación del prácticum y los trabajos de Fin de Grado y Fin de Máster, de los diferentes títulos del ámbito de la Educación. El procedimiento utilizado ha seguido básicamente la metodología de los estudios Delphi, parcialmente “modificado”, como proceso que en sus distintas rondas nos ha permitido concretar -consensuar el conjunto de variables e indicadores específicos, así como determinar la fuente y el instrumento de información más pertinentes en cada caso. " Sintetizados los resultados, se ofrecen los mismos con una estructura formal de los instrumentos de recogida de información que integra el cuestionario, la entrevista, la ficha de análisis documental y las rúbricas evaluativas del prácticum de los diferentes títulos del ámbito de las Facultades de Educación, para la tutorización académica, para la profesional, para la evaluación de los trabajos de fin de grados y los trabajos fin de máster de secundaria. 2" INTRODUCCIÓN En esta comunicación se expone el proceso de construcción y validación de los instrumentos de recogida de información sobre la evaluación del prácticum y los trabajos de Fin de Grado y Fin de Máster, de los diferentes títulos del ámbito de la Educación. " Dichos instrumentos responden a las necesidades informativas – dimensiones, variables e indicadoresde nuestra investigación1, que de acuerdo a sus objetivos, conlleva la implicación de diferentes instrumentos en consideración de la idoneidad de los protagonistas y sus escenarios de actuación, para garantizar, además de la validez y fiabilidad de dicha información, propios de rigor de todo proceso de investigación, la calidad de la misma. MÉTODO El proceso de construcción y validación instrumental ha seguido básicamente la metodología de los estudios Delphi, parcialmente “modificado”, como proceso que, en sus distintas rondas (Figura 1), nos ha permitido concretar-consensuar el conjunto de variables e indicadores específicos, así como determinar la fuente y el instrumento de información más pertinentes. " Se parte de la evaluación de la pericia de los expertos2 como determinante para participar en el estudio Delphi. (Cabero, 2014; Cabero y Barroso, 2013; Luna et al., 2005;Paris, 2014; Royo y Bigne, 2002). Como apunta Landeta (1999) el criterio más apropiado para determinar la capacidad predictiva de un experto es basarse en el nivel de conocimientos que este posee. Sin embargo, la dificultad reside en conseguir datos fiables para verificar dicha pericia. Para solventar esta problemática existen alternativas sencillas y muy utilizadas; estas soluciones parten de dos asunciones (Brown y Helmer, 1964; Dalkeyet alt., 1969; Rowe y Wright, 1996): la primera de ellas, “los individuos con más conocimientos/estudios son mejores predictores que los no formados”; y la segunda, “los individuos son fiables en sus autoevaluaciones, es decir, que la autoevaluación es un instrumento válido para medir el grado de experticia de un experto”. En nuestro caso, se incorporan tres preguntas para medir la capacidad predictiva de los expertos: en una de ellas, se les solicita los años de experiencia profesional; en otra, se les pide que indiquen el número y calidad de sus publicaciones sobre la temática del estudio, y en una última, se les pide una autoevaluación (self-rating) de sus conocimientos en el tema de """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""" 1Proyecto I+D+iEstudio del impacto de las e-rúbricas federada en evaluación de las competencias en el prácticum. Plan Nacional de I + D + i de Excelencia (2014-2017) Ministerio de Economía y competitividad, nºEDU2013-41974-P 2En nuestro estudio hemos considerado el criterio experto incluyendo a profesionales especializados por su trayectoria en formación de docentes y el uso de tecnologías aplicadas a la educación. El grupo de expertos implicado incluye a miembros del Equipo de investigación, más otros profesionales externos al grupo con la misma consideración. 3" investigación, sobre el cual se pronuncian, mediante una escala cuantitativa, dándose una valoración de 1 a 10 (1 menor experticia-10 mayor experticia). Figura 1.-Secuencia de las rondas Delhpi Tras preguntar a los expertos sobre estas cuestiones, podemos calcular su pericia siguiendo el Coeficiente de Competencia (Kcomp)3 que la calcula de la siguiente manera: Kcomp= 0,5 x (kc + ka); donde: Kc: Coeficiente de conocimiento o información que tiene el experto acerca del problema. Es el valor que se autoasigna el experto en una escala de 1 a 10 para valorar el nivel de conocimientos que cree que posee sobre el tema estudiado. El promedio de las respuestas se multiplica por 0.1 (valor total de cada escala); de esta forma, la evaluación "0” indica que el experto no tiene ningún conocimiento, mientras que si se acerca a 1 indica mayor pericia. """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""" 3Formula de García Martínez, Aquino Zúñiga, Guzmán Sala y Medina Meléndez (2012). INVESTIGADOR,PRINCIPAL, Coordinador(Grupo(Base GRUPO,DE,EXPERTOS Elaboración(y(envío primeros(instrumentos( Validación(primeros( instrumentos,(con(inclusión( de(modificaciones(y( propuestas(de(mejora 1ª(Ronda Análisis(cuantitativo(y( cualitativo(de(las(respuestas( de(los(expertos. SíntesisEintegración(nuevas( propuestas Revalidación(individual(al( conocer(las(validaciones(de( los(demás(expertos(y( validación(grupal( 2ª(Ronda Análisis(lógico(gramatical(de( la(ronda,(se(eliminan( duplicidades(y(las( dimensiones(que(no( obtuvieron(el(80%( consenso. Se(presenta(la(3(propuesta( Lectura(y(análisis(última( propuesta. Revalidación(individual 3ª(Ronda Análisis(final(de(las( respuestas(del(grupo(de( expertos(y(redacción( definitiva 4" Ka: Coeficiente de argumentación o fundamentación. Es el valor que resulta de sumar los grados de influencia que el sujeto considera que distintas fuentes de argumentación han tenido, en el conocimiento acumulado por él, respecto de un tema en particular (análisis teóricos, consultas de trabajo de autores nacionales y extranjeros, su intuición basada en sus conocimientos y experiencias profesionales). Igualmente reducido su valor a las escala 0 a 1. La primera ronda Delhpi, donde sencillamente cada experto evaluase la pertinencia, adecuación y exactitud (utilizando una escala de 1 a 5) de cada evidencia en cada una de las rúbricas, así como cualquier observación a las mismas. El análisis de información obtenida en la primera ronda (Análisis del contenido/ producciones de los expertos) se despliega en distintas dimensiones, variables e indicadores por parte del Equipo Base de Investigación. Teniendo ello presente y contando con los instrumentos de recogida de información propuestos, se aborda la segunda ronda Delphi, donde se convocan a los expertos4 para que de manera presencial y a través del grupo de discusión, analizan pormenorizadamente los mismos (dos días de trabajo) y se discuten los resultados previos, para tras los pertinentes y ricos comentarios vertidos, a través del consenso intersubjetivo asumir los cambios derivados de los mismos y se establecen definitivamente los diferentes instrumentos de recogida de información. ! """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""" 4Dadas las limitaciones económicas, en la sesión presencial de la segunda ronda Delphi solo participó una muestra representativa y significativa de los expertos participantes de la primera ronda. Fueron convocados los líderes de investigación de las Universidades implicadas en el proyecto, que constituyeron el grupo de discusión, todos con un nivel de experticia superior a 0.9. 5" RESULTADOS Los resultados obtenidos en nuestro proceso de construcción y validación de los instrumentos de recogida de información pueden organizarse en torno a: Análisis del contenido/ producciones de los expertos Para la reducción de los datos cualitativos recogidos en la primera ronda Delphi, se utiliza la categorización; proceso por la cual se analiza el contenido a través de dimensiones y categorías con el fin de poder realizar comparaciones y posibles contrastes, de manera que se pueda organizar conceptualmente los datos y presentar la información siguiendo algún tipo de patrón (Rodríguez et alt., 1999, p.205). El análisis de información obtenida en la primera ronda se despliega bajo 9 dimensiones: (Tabla1 de dimensiones, variables e indicadores). A. Datos personales B. Institución/organización C. Naturaleza prácticum D. Relación agentes E. Gestión del practicum F. Evaluación G. Soportes tecnológicos-recursos H. Formación (práctica) I. Ética FUENTES INFORMACIÓN DIMENSIONES/ indicadores Guía docente Vicedecano Coordinador Otros gestores Tutor Universitario Tutor centro DATOS PERSONALES Categoría x x x Cargo x x x Institución x x x x Antigüedad docencia x x x Experiencia prácticum x x x INSTITTUC/ORG ANIZACIÓN Normativa x x x x Modelo prácticum x x x Nivel satisfacción modelo prácticum x x x NATURALEZA PRÁCTICUM Tipo institución x x Secuencia prácticum x x Vinculación TFG/TFM x x Tipos de TFG/TFM x x x RELACIÓN AGENTES Coordinación: Con los tutores inter Con los tutores ext Entre tutores Número reuniones x x x x x x x x x 6" GESTION DEL PRÁCTICUM Asignación de tutores x x x x Nº de estudiantes tutor x x x x Horas dedicación por estudiante x x EVALUACIÓN Papel agentes x x x x Tipo de producciones x x x x Seminarios x x x Tutorías x x Portfolio/Memoria x x x Trabajo TFG/TFM x x x Uso rúbricas x x x x Valoración de las rúbricas x x x SOPORTES TECNOLOGICO S-RECURSOS Tipología x x x x Fases: Planificación Seguimiento Evaluación x x x x x x x x x x x x Repositorios abiertos x x x x Valoración uso tecnología x x x FORMACIÓN (práctica) Necesidades formativas x x x Formación recibida x x ETICA Normativa buenas prácticas x x x x Preservación identidad x x x x Convenios/acuerdos x Herramientas tecnológicas plagio x x x Tratamiento plagio x x x Tabla 1.- Dimensiones, variables e indicadores Caracterización los diferentes instrumentos de recogida de información No hay que olvidar, en consideración de nuestros objetivos, que los informantes base en nuestra investigación son coordinadores de Prácticum, coordinadores de titulación, tutores académicos y tutores de centro, y que los escenarios de actuación profesional pueden ser centros educativos y empresas e instituciones de formación y otros. Ello conlleva la correspondiente adecuación instrumental, y por tanto la oferta de una panoplia instrumental de acuerdo a dichos destinatarios. Sintetizados los resultados, se ofrecen los diferentes instrumentos que queda integrado por el cuestionario, la entrevista, la ficha de análisis documental y las rúbricas evaluativa del prácticum de los diferentes títulos del ámbito de las Facultades de Educación. Asimismo se tiene una rúbrica para la tutorización académica y otra para la profesional y una rúbrica para la evaluación de los trabajos de fin de grados y de máster de secundaria. El proceso de construcción y validación de las rúbricas ha seguido distintas fases que se describen a continuación: 7" Primera fase construcción de las rúbricas: En esta primera fase se parte de rúbricas utilizadas en años anteriores y se emplea la técnica de grupo de discusión para su reelaboración. En este grupo participa tres miembros del equipo de investigación con una experiencia de más de 20 años como tutores académicos de prácticum. En el grupo de discusión se fue revisando, corrigiendo, añadiendo o quitando, cada una de las competencias de los indicadores y de las evidencias así como sus pesos en cada rúbrica. Una vez que se tenía toda la rúbrica se volvía a revisar los pesos asignados de forma jerárquica, esto es, los pesos de todas las evidencias de cada indicador, todos los pesos de los indicadores de cada competencia, y por último todos los pesos de las categorías. Una vez que se tuvo todas las rúbricas, se construyó el instrumento para su validación por el método Dephi. Segunda fase validación por el método Dephi: para la validación por el método Dephi se añadió a cada competencia, indicador y evidencias tres campos para que los expertos valoraran la pertinencia, adecuación y exactitud de cada una en una escala Likert de 1 a 5, así como un campo abierto para que pudieran expresar sus observaciones y o aclaraciones. Los pesos también se podían corregir sobre los mismos que tenían asignados. En esta fase participaron todos los miembros del equipo de investigación salvo los tres que participaron en la primera fase, para no influir en los resultados, además de otros expertos externos invitados a través de una lista de distribución. En la gráfica 1 se muestran las medias obtenidas en las distintas valoraciones pertinencia, adecuación y exactitud, en cada una de las evidencias de las rubricas para el grado de pedagogía. La media de las medias es de 4.78, con un error típico de 0.26 y el valor mínimo en el 3.56, más del 80% de las medias son mayores de 4.66. Lo que muestra un alto grado de pertinencia adecuación y exactitud, aun así se revisaron aquellas evidencias que tenían una media menor. " " " Gráfica"1:"Medias"de"las"valoraciones"de"los"expertos"(rúbricas)" " Una vez recabada toda la información se analizó las valoraciones en las escalas y se redacta un informe para cada una de las rúbricas con indicación 8" de las medias resultantes en cada caso y con las observaciones. Esta información fue la base para la tercera fase. Tercera fase grupo de discusión de expertos: en esta tercera fase se parte de los resultados obtenidos en la segunda fase y se discute uno por uno los resultados de cada categoría, indicador y evidencias de cada rúbrica así como las observaciones obtenidas, deteniéndose en aquellos casos en los que la media obtenida era menor de 3.5, consensuando las modificaciones que se consideran a partir de estos resultados. En este grupo de discusión participaron 12 expertos, todos miembros del equipo de investigación y de todas las universidades participantes. Los expertos participantes en esta fase obtuvieron el siguiente índice de experticia: dos de ellos 0.8, 5 de ellos 0.95 y los otros 5 una experticia de 1. Para valorar cuestionario a pasar a las fuentes informantes sobre la entrevistas se siguió el mismo proceso En el cuadro 1 se enumera las distintas rúbricas generadas para cada titulación y para el tutor académico y el tutor de prácticas distinguiendo si estas son en Centros educativos o en empresas u otras instituciones. Grado Pedagogía y Edu. Social Grado de Primaria e Infantil Máster de Secundaria 1.-Rubrica Centros (tutor académico y tutor profesional) 2.-Rubrica Empresas, Museos, ONGs, etc (tutor académico y tutor profesional) 4. Rubrica centros (tutor académico y tutor profesional) 5. Rubrica centros (tutor académico y tutor profesional) 3. TFG 3.TFG 6. TFM Cuadro"1:"Tipos"de"rúbricas" " 9" El mismo proceso descrito se utilizó para validar un cuestionario sobre el prácticum y los informantes más adecuados en cada caso, para ellos se aplicó en línea un instrumento para ser valorado por los expertos en una escala Likert de 1 a 5 para valorar la pertinencia, adecuación y exactitud encada una de las dimensiones. Obteniéndose la media de las medias en 4.69, un error típico de 0.285 y el mínimo de 3,64, más del 80% de las medias son superior a 4.44. En la gráfica 2 se muestra la distribución de las medias de las valoraciones de los expertos en pertinencia, adecuación, exactitud para cada cuestión de las distintas dimensiones: P Competencias P Indicadores P Evidencias Explicando las evidencias 3 Capacidad para percibir y expresar sintéticamente el contexto 1 Recoge las características más sobresalientes de la empresa y/o institución 1 Describe lascaracterística s de losservicios, productos… Describe con brevedad y claridad los servicios y productos más destacado 1 Describe los recursos humanos Describe los tipos de profesionales que trabajan en la institución o empresa 1 Describe los departamentos y su estructura Describe la estructura departamental y sus funciones principales 1 Describe la organización de la empresa Describe la estructura organizacional de los departamentos y responsables 8 Capacidad para escribir un diario reflexivo 4 Redacta sus experiencias con claridad 1 Muestra claridad en su narraciones Muestra una narrativa clara y vocabulario preciso 1 Presenta un mensaje estructurado Ordena las ideas y los hechos de forma lógica y estructurada 4 Utiliza correctamente el lenguaje escrito 1 Ausencia faltas de ortografía No presenta faltas de ortografía graves 1 Ausencia de incoherencias sintácticas Las frases están bien estructuradas sintácticamente 1 Ausencia faltas de ortografía 6 Fundamenta su argumentación 2 Referencia autores y teorías en su argumentación Utiliza referencias de autores y teorías que argumentan y justifican su argumentación 1 Deontología (*) No muestra frases o ideas que atenten contra la dignidad de