Evaluación de competencias en la formación inicial de docentes de matemáticas. Propuestas para su implementación

Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM 21 Evaluación de competencias en la formación inicial de docentes de matemáticas Propuestas para su implementación Alonso Quiroz Meza * | Cristina Mayor Ruiz ** El objetivo del estudio fue describir las estrategias de evaluación que, de acuerdo con los propios formadores de profesores de matemáticas de educación media, sus jefes de carrera y sus estudiantes, contribuyen a evaluar competencias matemáticas. Mediante una metodología mixta de profundización, primero se aplicó una encuesta a 56 formadores de 25 carreras de Pedagogía de instituciones de Santiago de Chile, para averiguar sus opiniones, enfoque, criterios, métodos e instrumentos de evaluación. La muestra intencionada posterior quedó constituida por tres formadores que conocían y valoraban el enfoque, sus jefes de carrera y sus estudiantes. Los resultados reafirman la importancia de la co y la autoevaluación, así como la ampliación de dimensiones por evaluar, y el hecho de permitir que los resultados de pruebas de papel y lápiz puedan ser comunicados por los estudiantes a sus compañeros y, luego, discutidos con su profesor. The purpose of this study was to document the assessment strategies that, according to professionals responsible for training middle-school math teachers, their department heads and students, are useful in assessing math skills. Through a mixed methodology of increasing-depth analysis, a survey was first applied to 56 training professionals in 25 Pedagogy departments from institutions in Santiago de Chile, to learn about their opinions, approaches, criteria, methods and instruments for evaluation. The subsequent purposive sample was made up of three trainers who were familiar with and evaluated the approach, their department heads and students. The results reaffirm the importance of coand self-evaluation, as well as the expansion of dimensions to be evaluated, and the concept of allowing students to communicate the results of paper-and-pencil tests with their classmates, then discuss them with the teacher.  * Académico de la Facultad de Educación de la Universidad Católica Silva Henríquez (Chile). Magíster en Educación Matemática. Líneas de investigación: evaluación de competencias matemáticas; formación inicial docente. Publicación reciente: (2017), “Creencias y disposiciones de los formadores de profesores de matemáticas en Chile respecto del enfoque de formación por competencias y los criterios de evaluación asociados”, Foro Educacional, núm. 29, pp. 93-117. CE: [email protected]  ** Académica del Departamento de Didáctica y Organización Escolar de la Universidad de Sevilla (España). Doctora en Educación por la Universidad de Sevilla. Línea de investigación: agentes y procesos de orientación, formación y desarrollo profesional. Publicaciones recientes: (2017, en coautoría con C.A. Espaillat), “Perfil lector de los estudiantes de Secundaria de la República Dominicana”, Ciencia y Educación, vol. 1, núm. 1, 57-67. CE: crismay[email protected] Palabras clave Evaluación de competencias Competencias matemáticas Competencias específicas Formación inicial docente Estrategias de evaluación Keywords Competencies assessment Math skills Specific skills Initial teacher training Assessment strategies Recepción: 21 de junio de 2018 | Aceptación: 16 de noviembre de 2018 Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 22 Introducción Reiteradas evaluaciones coinciden en que un gran porcentaje de la población chilena no internaliza de manera efectiva las competencias que le sirven para resolver los problemas matemáticos cotidianos (Cerda y Pérez Wilson, 2014). Si bien Chile ocupa el primer lugar en América Latina en evaluaciones internacionales como PISA , está lejos del desarrollo alcanzado por países como Japón, Singapur o Malasia, ya que ocupa el lugar 51 dentro de los 65 países que participaron en el estudio ( CIPER , 2013). Por su parte, aun cuando los currículos de formación de profesores están siendo formulados bajo la lógica de competencias, pareciera ser que, en materia de evaluación, se siguen aplicando las mismas formas tradicionales (aquéllas que privilegian lo cognitivo y el uso de pruebas de papel y lápiz, así como las pruebas estandarizadas de selección múltiple), especialmente en las asignaturas que desarrollan contenidos disciplinares, como es el caso de la matemática. El presente artículo da cuenta de los resultados de un estudio de carácter fenomenológico, cuyo propósito fue indagar en las estrategias que, de acuerdo con los formadores de profesores de matemáticas de educación media, sus jefes de carreras y sus estudiantes, permiten evaluar competencias matemáticas en el contexto de la formación inicial docente (en adelante, FID ) en Chile. Los resultados muestran las estrategias detectadas, lo que denotaría que es posible transitar desde formas tradicionales de evaluación hacia metodologías más apropiadas al enfoque de formación por competencias. El interés de abordar el tema desde los formadores de profesores de matemáticas se debe a su rol ejemplificador, toda vez que no sólo contribuyen a transponer contenidos matemáticos, sino que, mediante su ejemplo, introducen la forma en la que éstos deberán ser tratados. En efecto, un estudio realizado por Rojas y Piquet (2013: 475) concluye que “el mayor elemento de impacto en las prácticas instruccionales de los formadores es la coherencia entre éstas y el modelo didáctico que se quiere que los estudiantes construyan y apliquen en el aula”. Problema y objetivos El enfoque de formación por competencias se ha extendido por el mundo y Chile no ha sido la excepción; sin embargo, pareciera haber un retraso en su puesta marcha en el ámbito de la formación de profesores de matemáticas, particularmente en el campo de la evaluación. Un rastreo de los eventos nacionales de educación y de artículos en revistas de alto impacto dedicadas a la FID reveló que en Chile no existen estudios a nivel nacional acerca de la puesta en práctica del enfoque de formación por competencias por parte de los formadores de profesores de matemáticas (Torres-Alonso et al., 2015). De igual forma, la existencia de una diversidad de propuestas formativas sin haber acuerdo en torno a los aspectos básicos de la FID afecta negativamente la calidad de dicha formación (Ávalos, 2004). Por ejemplo, esta discrepancia puede expresarse numéricamente en el hecho de que 87.5 por ciento de los encuestados que participaron en la primera fase cuantitativa de este estudio mostró una valoración positiva hacia la evaluación de competencias, aunque sólo 26.9 por ciento declaró implementar estrategias evaluativas coherentes con el enfoque. Así, desde el ámbito de la evaluación surge la pregunta fundamental del estudio: ¿a qué estrategias recurren quienes más se acercan a este enfoque para evaluar competencias matemáticas en la FID de educación media? El objetivo del presente artículo es presentar las estrategias de evaluación, es decir, los criterios, métodos e instrumentos evaluativos que, a juicio de los formadores, jefes de carreras y sus estudiantes, contribuyen a evaluar competencias matemáticas en asignaturas del plan de estudio de la FID de educación media en Chile. Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 23 Marco teórico El enfoque de formación por competencias Actualmente, la necesidad de que las personas aprendan matemáticas gracias a pedagogías apropiadas es un fin deseable del sistema educativo (Valero, 2017). Un enfoque que contribuye a tal propósito es el denominado “formación por competencias”, el cual se distingue por ofrecer una visión amplia del aprendizaje en donde la síntesis, la articulación, lo dinámico y el protagonismo de los sujetos que aprenden pasa a ser lo relevante. En el caso chileno el enfoque está plasmado en el documento oficial del Ministerio de Educación de Chile ( MINEDUC , 2009), titulado “Objetivos fundamentales y contenidos mínimos obligatorios”. En general, la evolución del concepto de competencia se ha producido conforme a tres orientaciones principales: un primer camino encauzado hacia las empresas, cuyo centro son las tareas por desarrollar; en segundo término, uno orientado a la excelencia profesional, focalizado en el perfil que debe lograrse; y una tercera perspectiva orientada hacia la preparación del ser humano para la vida, con una visión holística y compleja (Chamaco, 2008). Para Perrenoud (1996) lo relevante de la competencia es su capacidad de movilizar recursos cognitivos para hacer frente a situaciones que le son propias a cada individuo y que le permitirán realizar una actividad determinada con un criterio establecido. Formación de profesores El estudio realizado por Alcaraz et al. (2012) reveló tres factores clave para la FID : libertad, conexión con la práctica y trabajo con textos y debates. De estos tres aspectos, la primera es imprescindible para que los estudiantes puedan acceder a información veraz, organicen su trabajo y tomen decisiones que impliquen la modificación de sus prácticas educativas. En tal sentido, resaltan estrategias metodológicas como la síntesis y el análisis crítico de libros, presentaciones, mapas conceptuales, resolución de problemas, estudio de casos, trabajos por proyectos, prácticas externas, debates, simulaciones, proyecciones y visitas, entre otras (Sánchez y Gairín, 2008). Lo anterior implica el diseño de actividades de aprendizaje que consideren los intereses y las necesidades de los estudiantes en su diversidad, en un proceso en ciclos recurrentes no lineales, con tareas que puedan ejecutarse en grados crecientes de dificultad, y de orden cada vez más complejo y profundo. En ellas se incluyen elementos tales como el planteamiento de hipótesis, la resolución de problemas, la búsqueda de nueva información, la estructuración de información y el cambio de registros de representación (Sánchez y Gairín, 2008). A nivel macro, Sevillano (2009) sostiene que la formación por competencias requiere de la implementación de una triple intervención: normativa (reglamentos, directrices y orientaciones de implementación); de soporte financiero (para la difusión y la capacitación de los formadores y del personal administrativo); y de seguimiento (para diagnosticar las condiciones para la implementación y la evaluación permanente del proceso). A nivel micro, los formadores deben estar alertas respecto de las dificultades derivadas de la exigencia de producir cambios automáticos y en el corto plazo, considerando su tendencia hacia el conservadurismo (García y Gairín, 2011). El desafío de la FID será, entonces, moldear profesores competentes, es decir, con una profunda comprensión del saber disciplinar y pedagógico, lo que implica, entre otras cosas, realizar el seguimiento del aprendizaje de sus estudiantes y apoyarlos en la superación de sus dificultades de aprendizaje (Juárez y Arredondo, 2017). El Cuadro 1 presenta la aproximación de Jofré (2009) al tema; en ella se describen las competencias profesionales docentes y la metacompetencia de la profesión. Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 24 Cuadro 1. Síntesis de las competencias profesionales docentes Contexto Metacompetencias de la profesión docente Contexto Competencias técnicas Competencias metodológicas Competencias sociales Competencias personales Saberes relacionados con el quehacer pedagógico  Vinculación del saber con la realidad del alumno  Disposición para comprender y trabajar con otros  Ética de la profesión docente     Funciones de la profesión docente • Didácticas: planificación, desarrollo de lo planificado, evaluación. • Tutoriales: acompañamiento del proceso de aprendizaje de cada alumno. • Vinculación con el medio social: comunicación con las redes de los alumnos. • Formación permanente e innovación: desafío para todo profesional en la actualidad. Fuente: elaboración propia con base en Jofré, 2009. Particularmente en el campo de la formación de profesores de matemáticas, Deborah Ball y colaboradores (Ball et al., 2005; Ball et al., 2008; Hill et al., 2004; Hill et al., 2008) han desarrollado un modelo (Cuadro 2) que persigue formar docentes competentes; para ello proponen la noción de “conocimiento matemático para la enseñanza” ( MKT , por sus siglas en inglés), el cual definen como “el conocimiento matemático que utiliza el profesor en el aula para producir instrucción y crecimiento en el alumno” (Hill et al., 2008: 374). Cuadro 2. Conocimiento matemático para la enseñanza Conocimiento del contenido Conocimiento pedagógico del contenido Conocimiento común del contenido (CCK) Conocimiento especializado del contenido (SCK) Conocimiento del contenido y de los estudiantes (KSC) Conocimiento del currículo Conocimiento en el horizonte matemático Conocimiento del contenido y de la enseñanza (KCT) Fuente: elaboración propia con base en Hill et al., 2008. El conocimiento común del contenido ( CCK , por sus siglas en inglés) se refiere a lo que una persona requiere saber de matemáticas para desenvolverse de manera adecuada en su vida, por ejemplo, para calcular el monto a pagar por un préstamo y su tasa de interés. El conocimiento especializado del contenido ( SCK ), en tanto, se vincula con la matemática que se requiere saber para enseñar: el futuro profesor deberá conocer, por ejemplo, las diferentes demostraciones del teorema de Pitágoras. Luego está el conocimiento en el horizonte matemático, que significa que el docente debe ubicar el contenido a enseñar en el mapa de la matemática (por ejemplo, si va a enseñar fracciones, debe tener claro que antes están los números enteros, que las fracciones están insertas en los números reales, etc.). En relación directa con el conocimiento del contenido está el conocimiento pedagógico del contenido. En él se encuentra el conocimiento del contenido y de los estudiantes, esto es, el conocimiento de cómo éstos aprenden y cuáles son los errores más frecuentes que cometen (por ejemplo, saber que cuando se enseñan las operaciones con números enteros se Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 25 produce una confusión frecuente entre la adición y la multiplicación de números con signo negativo). El conocimiento del contenido y de la enseñanza, en tanto, implica saber motivar un tema, decidir qué ejemplos son los más adecuados, qué tipo de demostración usar (al enseñar potencias, por ejemplo, se puede recurrir a la bipartición celular y al cuento del inventor del ajedrez). Como se aprecia, ser un formador de profesores de matemáticas competente exige un conocimiento no sólo disciplinario, sino que además se debe evidenciar un amplio conocimiento matemático para la enseñanza. Evaluación de competencias Todo el esfuerzo pedagógico por implementar el sistema de competencias no tendría sentido si sólo se utilizara una evaluación centrada en los conocimientos. Sin embargo, esto —que parece tan evidente— es muy difícil de lograr; de hecho, la evaluación ha sido la mayor debilidad en las universidades que han implementado este enfoque (Villa et al., 2013). La dificultad radica en que se requiere determinar estándares de contenido y de desempeño; los primeros son descripciones de conocimientos y habilidades específicas sobre las que se espera que los examinados demuestren su dominio; en tanto que los estándares de desempeño corresponden a descripciones del grado de desempeño de los examinados respecto de categorías preestablecidas (Rodríguez Morales, 2017). Además, es necesario vincular las competencias con indicadores, y éstos, a su vez, con sus respectivas evidencias. Las rúbricas o descriptores de desempeño permiten dejar claro, tanto al docente como al estudiante, los matices del comportamiento esperado (Villa et al., 2013). Así mismo, si una de las capacidades relevantes que se quiere desarrollar en los estudiantes es que autorregulen sus conductas intelectuales, la evaluación de competencias deberá incluir esta perspectiva (Fernández et al., 2013). Por último, como señalan Villa y Poblete (2011), muchos autores consideran que la evaluación debería reflejar la experiencia personal y la reflexión que el estudiante hace respecto de ella. En este sentido, la preocupación por la evaluación formativa tiene relación, sobre todo, con las dificultades que se presentan para su implementación (Martínez, 2013). Popham (2013), por ejemplo, hace un llamado a la evaluación transformativa y deja en evidencia que lo que hoy en día reconoce la práctica educativa como evaluación no es tal, sino que se reduce a la aplicación de una serie de pruebas o test que permiten comprobar resultados de lo aprendido. Por su parte, un estudio realizado por Cuenca et al. (2018), con una población de 112 estudiantes de ciencias, muestra una forma de evaluar competencias mediante un sistema basado en contextos, construido sobre la base de la teoría de respuesta al ítem ( TRI ); esta teoría utiliza un modelo matemático logístico para describir la relación entre el nivel de habilidad de un estudiante y la probabilidad de que éste entregue una respuesta correcta al ítem. Los resultados muestran un aumento del rendimiento de un 12.94 por ciento respecto de una prueba tradicional; sin embargo, el porcentaje de errores en la elaboración de los ítems derivó en la generación de un programa de mejoras para el diseño de los ítems bajo esta modalidad. Cabe recordar que las competencias no son variables de una tarea, sino de un sujeto, por lo cual no se puede plantear a priori a qué proceso le corresponde cuál tarea (debido a que la persona puede realizar la tarea de diferentes maneras). En este sentido, para evaluar competencias el profesor debe proponer tareas de distinto nivel de complejidad: reproducción y procedimientos rutinarios, conexión para resolver problemas estándares y reflexión para resolver problemas originales (Rico, 2007). Otra propuesta metodológica para evaluar competencias en estudiantes universitarios de primer año es la formulada por Cubero-Ibáñez et al. (2018), quienes ponen énfasis en los entornos virtuales de aprendizaje. Los tres componentes de su propuesta son: Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 26 disponer de un entorno virtual de evaluación adecuado, diseño y uso de tareas complejas y elaboración y uso de e-rúbricas analíticas. Lo anterior evidencia la necesidad de cambiar las prácticas de evaluación, asumiendo que esta transformación no estará dada por un simple aumento de los conocimientos de los docentes gracias a talleres de actualización, sino que constituye un proceso mucho más amplio y complejo (Pérez González et al., 2015). La evaluación en matemáticas La dialéctica entre práctica y objeto, entre competencia y conocimiento, se puede mostrar mediante el análisis ontosemiótico de las prácticas matemáticas puestas en juego para la resolución de un problema matemático (Godino et al., 2017). Actualmente, en el desarrollo de competencias la evaluación hace referencia a los contenidos, las habilidades, las actitudes y las estrategias de aprendizaje (Masero et al., 2018). En el caso de las competencias matemáticas específicas, las situaciones o contextos definen los ámbitos en los que se sitúan los problemas, es decir, aquella parte del mundo del estudiante (futuro profesor) que se localiza en las demandas cognitivas hacia él. Se distinguen aquí diversos ámbitos de acuerdo con la cercanía o lejanía del profesor en formación: personal (por ejemplo, resolver un problema de teselación para el embaldosamiento de su casa); educacional/profesional (diseñar escalas de notas usando el modelo lineal); público y científico (calcular el ritmo de crecimiento de una población de bacterias). Luego, y de manera relevante, aparece la competencia didáctica del futuro profesor, que incluye tanto la función de la evaluación del proceso de aprendizaje de los estudiantes, como de los procesos de enseñanza (Ricart y Estrada, 2017). En síntesis, la evaluación de competencias requiere que ésta se encuentre inserta en un sistema de formación por competencias que incluya los aspectos curriculares y metodológicos correspondientes. En el caso de las competencias matemáticas específicas, el conocimiento matemático para la enseñanza es una eficaz herramienta para analizar y focalizar lo que el profesor debe querer y poder hacer en su labor profesional. La mirada fenomenológica ofrece, en este sentido, organizar los contenidos de la matemática escolar en grandes ideas principales, de manera que lo conceptual queda al servicio de lo procedimental; lo anterior se debe a que la evaluación de competencias requiere de una organización y de medios evaluativos diferentes de los que se utilizan tradicionalmente, por ejemplo, uso de plataformas virtuales, trabajos en equipo y aplicación de matrices de valoración del desempeño de los estudiantes, entre muchos otros. Marco metodológico Diseño Este estudio corresponde a la segunda fase de la investigación “Análisis de las concepciones y estrategias para evaluar las competencias matemáticas específicas que ponen en juego los formadores de profesores de educación media en Chile”. En la primera fase, de carácter cuantitativo, se aplicó un cuestionario a una muestra censal de 56 formadores de profesores de matemáticas de educación media a lo largo del país, con el propósito de determinar sus disposiciones respecto del enfoque de formación por competencias y sus criterios de evaluación asociados. A partir de los resultados de esta fase, se logró identificar a aquellos formadores con un mayor conocimiento y valoración del enfoque, mismos que fueron seleccionados para la muestra intencionada de la segunda fase, cuyos resultados son los que se presentan en este artículo. En esta fase se asumió un diseño cualitativo (Fig. 1) con la finalidad de conocer en detalle las concepciones de los participantes respecto del enfoque de formación por competencias. Para ello, se realizaron entrevistas a los formadores de docentes, sus jefes de carreras, grupos de discusión con alumnos y análisis documentales en Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 27 una muestra intencionada en tres instituciones formadoras de profesores de matemáticas de educación media. En este caso, el criterio de selección fue, por una parte, la viabilidad del estudio (debían ser instituciones ubicadas en Santiago de Chile) y que éstas fueran representativas del tipo de universidad existente en el país (universidades estatales, privadas confesionales y privadas laicas). Sujetos De entre los 56 formadores de profesores de matemáticas del país se seleccionó a aquéllos que, de acuerdo con las respuestas de un cuestionario en línea, evidenciaron una mayor disposición hacia el enfoque de formación por competencias. Se decidió seleccionar a tres formadores, atendiendo a criterios de factibilidad (que pertenecieran a instituciones de Santiago de Chile) y diversidad (se privilegió que las personas fueran representativas de los tipos de universidad existentes en el país (universidades estatales, privadas confesionales y privadas laicas). Con el fin de complementar y triangular la información en cada institución a la que pertenecían los formadores seleccionados se consideró también a los jefes de carrera y a los estudiantes de dichos formadores, así como los instrumentos de evaluación utilizados por ellos. Participó en el estudio un total de 24 personas: tres formadores, tres jefes de carrera y 18 estudiantes. Tabla 1. Caracterización de los formadores Cód. Edad Tipo de institución Género Antigüedad en la docencia Formador 1F1 42 Privada confesional Masculino 3 años Formador 2F2 38 Privada laica Masculino 5 años Formador 3F3 61 Estatal Masculino 25 años Fuente: elaboración propia. Tabla 2. Caracterización de los jefes de carrera Cód. Género Tipo de institución Antigüedad en el cargo Años de acreditación Jefe de carrera 1 JC1 Femenino Privada confesional 3 años 5 años Jefe de carrera 2 JC2 Masculino Privada laica 2 años 3 años Jefe de carrera 3JC3 Masculino Estatal 5 años 6 años Fuente: elaboración propia. Fuente: elaboración propia. Figura 1. Diseño de la investigación Objetivo Informantes clave Instrumentos  Levantamiento de categorías  Criterios de evaluación (qué evaluar)  Métodos de evaluación (cómo evaluar)  Instrumentos de evaluación (con qué evaluar)  Tres formadores de profesores  Tres jefes de carreras  Dos grupos de discusión con estudiantes  Entrevistas semiestructuradas a formadores  Entrevista semiestructurada a jefes de carreras  Grupo de discusión con estudiantes  Lista de cotejo para instrumentos de evaluación Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 28 En relación con los grupos de discusión, se solicitó a cada formador que permitiera el acceso del equipo investigador a uno de sus cursos de primer año. Luego se conversó con sus estudiantes, explicándoles la actividad y convocándolos para una fecha y hora determinadas. Tabla 3. Caracterización de los estudiantes Cód. Integrantes Tipo de institución Género Nivel de estudios Grupo de discusión carrera 1GD1 10 Privada laica 8 femenino; 2 masculino Primer año Grupo de discusión carrera 2GD2 8Estatal 3 femenino; 5 masculino Primer año Grupo de discusión carrera 3GD3*—Privada confesional — — Fuente: elaboración propia. * El GD3 no pudo realizarse debido a que los estudiantes estuvieron en un paro que se extendió por todo el periodo que duró el trabajo de campo. Instrumentos Los instrumentos utilizados en esta fase cualitativa fueron: entrevistas que se aplicaron a formadores y a jefes de carreras; grupos de discusión; y una lista de cotejo para verificar la existencia de componentes de evaluación por competencias en instrumentos aplicados por los formadores participantes. Se realizaron dos entrevistas a los formadores, puesto que en Chile los estándares orientadores para la FID de matemáticas implican que éstos deben conducir el aprendizaje (es decir, lo que directamente debe enseñar el profesor, lo cual se abordó en la primera entrevista) y deben demostrar competencia disciplinaria, o sea, lo que deben saber, pero no necesariamente deben enseñar (lo que se indagó en la segunda entrevista). Con esta finalidad se elaboraron dos guiones de entrevistas semiestructuradas, los cuales fueron validados en contenido y constructo mediante pruebas de concordancia de jueces. De este proceso se desprendieron los libretos que se utilizaron tanto con los jefes de carrera, como con los grupos de discusión. Los instrumentos más importantes en la recogida de información fueron las entrevistas a los formadores, las que fueron sometidas a validación de expertos, tanto en su contenido como en su fiabilidad, mediante el criterio de concordancia de jueces pertenecientes a tres de las universidades más prestigiosas del país —Universidad de Chile, Pontificia Universidad Católica de Chile y Universidad de Santiago de Chile—. Los tres jueces son destacados expertos en las áreas temáticas del estudio: dos de ellos en competencias matemáticas y el otro en formación de profesores de matemáticas. Se envió a cada experto una versión preliminar del guion 1 junto con una escala Likert para la valoración de las preguntas, y una columna para que realizaran sus comentarios y aportes. Una vez incorporadas sus sugerencias, se les envió nuevamente el instrumento y se concertó una entrevista con el objetivo de aclarar dudas e interpretaciones de la validación. Este proceso se repitió con el guion 2. La Tabla 4 muestra que, con un nivel de confianza de 95 por ciento, se confirmó la concordancia de los jueces, con una significancia de 0.819. Por su parte, con un porcentaje de 95 por ciento de confianza se confirmó el acuerdo de los tres jueces respecto de la construcción del guion 2, con una significancia de 0.135. Para esta prueba, el valor crítico de significancia fue de 0.95, puesto que se consideró un 95 por ciento de confianza; por tanto, la hipótesis nula sólo se rechaza para valores mayores Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 29 al valor crítico. En este caso, se obtuvieron los valores de significancia 0.819 y 0.135 para los guiones 1 y 2 respectivamente, por lo que se aceptó la hipótesis nula. Esto significa que las distribuciones de las valoraciones que realizó cada uno de los jueces a cada ítem del guion tendieron a converger, lo que prueba la concordancia de las valoraciones de los tres jueces en los tres guiones evaluados. Análisis de datos Para el análisis de los datos se recogió la información, se transcribieron los datos y se redujeron, con la finalidad de que el tratamiento de la información fuera ordenado y riguroso. La primera parte se realizó mediante grabaciones de las entrevistas y de los grupos de discusión; luego, se convirtieron los archivos de audio en archivos de texto y se traspasaron al programa Atlas.Ti, versión 7.5.17. Ahora bien, puesto que el objetivo del estudio era describir las estrategias, criterios, métodos e instrumentos evaluativos que, de acuerdo con los participantes, contribuían a evaluar competencias matemáticas, las categorías a explorar tuvieron en consideración dichos aspectos (Tabla 6); para ello se rescataron afirmaciones o párrafos relevantes, con el fin de clasificarlos de acuerdo con las categorías definidas. Tabla 6. Categorías y códigos para el análisis de los datos cualitativos Categoría Código Mención Frecuencia (%) Criterios de evaluación de competencias. Corresponden al qué evaluar, es decir, a los focos en los que el formador centra su atención al evaluar los aprendizajes de sus estudiantes; a los métodos e instrumentos de evaluación de competencias, y a los estándares. Criterios de evaluación Comunicación de resultados 100 Construcción de modelos 67 Uso de modelos 100 Tabla 4. Salida de SPSS. Resumen prueba de hipótesis para el guion 1 Hipótesis nula Test Significancia Decisión Las distribuciones de guion 11, guion 12 y guion 13 son las mismas Análisis de dos vías de Friedman de varianza por rangos de muestras relacionadas 0.819 Retener la hipótesis nula Nota: guion 11: valoración del guion 1 por el juez 1; guion 12: valoración del guion 1 por el juez 2; guion 13: valoración del guion 1 por el juez 3. Fuente: elaboración propia. Tabla 5. Salida de SPSS. Resumen prueba de hipótesis para el guion 2 Hipótesis nula Test Significancia Decisión Las distribuciones de guion 21, guion 22 y guion 23 son las mismas Análisis de dos vías de Friedman de varianza por rangos de muestras relacionadas 0.135 Retener la hipótesis nula Nota: guion 21: valoración del guion 2 por el juez 1; guion 22: valoración del guion 2 por el juez 2; guion 23: valoración del guion 2 por el juez 3. Fuente: elaboración propia. Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 36 resultados y la metacognición; de esta manera, coinciden con lo manifestado por Villa et al. (2013). En este sentido, los procedimientos para evaluar las competencias matemáticas específicas deberían incluir variadas técnicas como talleres, foros y uso de plataformas virtuales, lo cual fue mencionado por los participantes a lo largo de la investigación. Por otra parte, el estudio permitió reforzar lo señalado por Villa y Poblete (2011) en cuanto a valorar la coevaluación y la autoevaluación como formas eficientes para lograr la autorregulación y la autonomía de aprendizaje por parte de los estudiantes. Sin embargo, hay que señalar también que la autoevaluación requiere de una capacitación, ya que ésta no se logra sólo practicándola (Jackson, 2014). Así mismo, en un estudio realizado por Cortés (2014), los profesores de secundaria españoles opinaron que evaluar competencias era una tarea compleja, por lo que no era posible hacerlo solamente con pruebas de papel y lápiz. En tal sentido los formadores entrevistados, si bien coinciden en que estos instrumentos son efectivamente insuficientes, manifestaron que al menos en este momento no era posible prescindir de ellos; desde su punto de vista, podría arrojar mejores resultados una batería de instrumentos que contemple las clásicas pruebas y controles escritos, pero que además incorpore listas de cotejo, informes de productos, pruebas de ejecución y principalmente rúbricas. Por último, una evaluación de competencias matemáticas específicas que pretenda ser pertinente, válida y confiable, debe contar con instrumentos de medición que posean escalas diferentes para dar cuenta de los distintos atributos por evaluar y, si no es posible hacerlo en el corto plazo, los actuales instrumentos de evaluación bien podrían orientarse hacia ese propósito. Un hallazgo interesante, en este sentido, fue la constatación de la realización de un tipo especial de prueba en donde se comunican los criterios e indicadores a evaluar y que contempla, además, una segunda instancia de aplicación. En este tipo de pruebas se evalúan, por lo general, tres criterios: el manejo conceptual, las aplicaciones y las demostraciones. Una última forma de enriquecer la evaluación que emergió gracias al estudio es ampliar las dimensiones que se evalúan. Por ejemplo, ello puede lograrse al agregar a los parámetros de evaluación de una prueba escrita la exposición de los resultados obtenidos ante los compañeros (donde se evalúa también la comunicación de ideas con contenido matemático), o bien, la defensa de dichos resultados ante su formador (donde se potencia la competencia de argumentación). De este modo es posible contribuir, desde la evaluación, al desarrollo de competencias matemáticas específicas sin alterar radicalmente las prácticas evaluativas tradicionales. Se espera que la experiencia aquí descrita —y lo sintetizado en este artículo como propuestas y sugerencias— contribuya de manera práctica a la elaboración de los planes de evaluación de los formadores, y favorezca el desarrollo de competencias en la FID de matemáticas, a partir del rescate de los aportes de los colegas que más se acercan a este enfoque y que conocen, de primera mano, los éxitos de su aplicación. Referencias Alcaraz, Noelia, Manuel Navas y Miguel Sola (2012), “La voz del alumnado en los procesos de evaluación docente universitaria”, Revista Iberoamericana de Evaluación Educativa, vol. 5, núm. 2, pp. 26-39. Ávalos, Beatrice (2004), “La formación inicial docente en Chile”, en: http://www.ub.edu/obipd /PDF%20docs/Aspectes%20laborals/Documents/La%20Formacion%20Docente%20Inicial%20en%20Chile.%20AVALOS.pdf (consulta: 10 de marzo de 2017). Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 37 Ball, Deborah, Heather Hill y Hyman Bass (2005), “Knowing Mathematics for Teaching: Who knows mathematics well enough to teach third grade, and how can we decide?”, American Educator, vol. 29, núm. 4, pp. 14-46. Ball, Deborah, Mark Thames y Geoffrey Phelps (2008), “Content Knowledge for Teaching: What makes it special?”, Journal of Teacher Education, vol. 59, núm. 5, pp. 389-407. Centro de Investigaciones Periodísticas (CIPER) (2013), “Prueba PISA: dos lecturas para un mismo resultado”, en: http://ciperchile.cl/ radar/prueba-pisa-dos-lecturas-para-unmismo-resultado/ (consulta: 10 de octubre de 2016). Cerda Etchepare, Gamal y Carlos Pérez Wilson (2014), “Competencias matemáticas tempranas y actitud hacia las tareas matemáticas, variables predictoras del rendimiento académico en educación primaria: resultados preliminares”, International Journal of Developmental and Educational Psychology. Revista INFAD de Psicología, vol. 7, núm. 1, pp. 469-475. Chamaco Segura, Ricardo (2008), Mucho que ganar, nada que perder. Competencias: formación integral de individuos, México, Editorial ST. Cortés, Camila (2014), Percepciones y dificultades de los profesores en la enseñanza basada en competencias, Tesis de Magíster, Granada, Universidad de Granada, en: https://fqm193. ugr.es/media/grupos/FQM193/cms/TFMCamilaCortesToro.pdf (consulta: 1 de octubre de 2018). Cubero-Ibáñez, Jaione, María Soledad Ibarra-Sáiz y Gregorio Rodríguez-Gómez (2018), “Propuesta metodológica de evaluación para evaluar competencias a través de tareas complejas en entornos virtuales de aprendizaje”, Revista de Investigación Educativa, vol. 36, núm. 1, pp. 159-184. Cuenca, Luis, Yuliana Jiménez y Darwin Castillo (2018), “Enseñanza superior de las matemáticas y cálculo: diseño y aplicación de un sistema de evaluación de aprendizajes basado en contextos”, Edunovatic 2017. Conference Proceedings, 2nd Virtual International Conference on Education, Innovation and ICT, 12-14 de diciembre de 2017, Eindhoven, Adaya Press, en: http://rd.unir.net/sisi/research/ resultados/1526643015Robotica%20en%20EI. pdf (consulta: 1 de octubre de 2018). Espinoza Salfate, Lorena, Joaquim Barbe, Dinko Mitrovich, Horacio Solar, Daniela Rojas, Claudia Matus y Paula Olguín (2009), “Análisis de las competencias matemáticas en NB1. Caracterización de los niveles de complejidad de las tareas matemáticas”, Gobierno de Chile-Ministerio de Educación, en: https:// centroestudios.mineduc.cl/wp-content/ uploads/sites/100/2017/07/2007-USACH-Espinoza.pdf (consulta: 20 de octubre de 2017). Evans, Carol (2013), “Ma king Sense of Assessment Feedback in Higher Education”, Review of Educational Research, vol. 83, núm. 1, pp. 70-120. Fernández, Estrella, Ana Bernardo, Natalia Suárez, Rebeca Cerezo, José Núñez y Pedro Rosario (2013), “Predicción del uso de estrategias de autorregulación en educación superior”, Anales de Psicología, vol. 29, núm. 3, pp. 865-875. García, María José y Joaquín Gairín (2011), Diseño y validación de un modelo de evaluación por competencias en la universidad, Tesis de Doctorado, Barcelona, Universitat Autónoma de Barcelona. Gobierno de Chile-Ministerio de Educación de Chile (MINEDUC) (2012), Estándares orientadores para carreras de pedagogía en educación media, en: https://www.cpeip.cl/wp-content/ uploads/2018/09/Estándares_Media.pdf (consulta: 10 de octubre de 2016). Gobierno de Chile-Ministerio de Educación de Chile (MINEDUC) (2009), Objetivos fundamentales y contenidos mínimos obligatorios de la educación básica y media. Actualización 2009, Santiago, Ministerio de Educación. Godino, Juan, Belén Giacomone, Carmen Batanero y Vicenç Font (2017), “Enfoque ontosemiótico de los conocimientos y competencias del profesor de matemáticas”, Bolema, vol. 31, núm. 57, pp. 90-113. Hill, Heather, Deborah Ball y Stephen Schilling (2008), “Unpacking Pedagogical Content Knowledge: Conceptualizing and measuring teachers’ topic-specific knowledge of students”, Journal for Research in Mathematics Education, vol. 39, núm. 4, pp. 372-400. Hill, Heather, Stephen Schilling y Deborah Ball (2004), “Developing Measures of Teachers’ Mathematics Knowledge for Teaching”, The Elementary School Journal, vol. 105, núm. 1, pp. 11-30. Jackson, Denise (2014), “Self-assessment of Employability Skill Outcomes among Undergraduates and Alignment with Academic Ratings”, Assessment & Evaluation in Higher Education, vol. 39, núm. 1, pp. 53-72. Jofré, Galvarino (2009), Competencias profesionales de los docentes de enseñanza media de Chile. Un análisis desde las percepciones de los implicados, Tesis de Doctorado, Barcelona, Universitat Autónoma de Barcelona. Juárez Eugenio, María del Rocío y María Adelina Arredondo López (2017), “Las competencias matemáticas de los docentes de Francia y de México”, Voces de la Educación, vol. 2, núm. 3, pp. 70-79. Martínez, Felipe (2013), “Dificultades para implementar la evaluación formativa”, Perfiles Educativos, vol. 35, núm. 139, pp. 128-150. Masero Moreno, Inmaculada Concepción, María Enriqueta Camacho Peñalosa y María José Vázquez Cueto (2018), “Cómo evaluar Perfiles Educativos | vol. XLI, núm. 163, 2019 | IISUE-UNAM A. Quiroz y C. Mayor | Evaluación de competencias en la formación inicial de docentes de matemáticas 38 conocimientos y competencias en la resolución matemática de problemas en el contexto económico a través de rúbricas”, Revista Electrónica Interuniversitaria de Formación del Profesorado, vol. 21, núm. 1, pp. 51-64. Pérez González, Olga, Arturo Martínez Mora, Bartolo Triana Hernández y Eric Garza Leal (2015), “Reflexiones conceptuales sobre la evaluación del aprendizaje”, Revista Didasc@lia: Didáctica y Educación, vol. 6, núm. 4, pp. 171-168. Perrenoud, Philippe (1996), “L’évaluation des enseignants: entre une impossible obligation de résultats et une stérile obligation de procédure”, L’Éducateur, núm. 10, pp. 24-30, en: https://www.unige.ch/fapse/SSE/teachers/ perrenoud/php_main/php_1996/1996_28. html (consulta: 17 de abril de 2017). Popham, William James (2013), Evaluación transformativa. El poder transformador de la evaluación formativa, Madrid, Narcea. Ricart, María y Assumpta Estrada (2017), “El conocimiento didáctico-matemático y la competencia profesional de evaluar”, ponencia presentada en “Actas del Segundo Congreso International Virtual sobre el enfoque ontosemiótico del conocimiento y la instrucción matemáticos”, Andalucía, Universidad de Granada, 23-26 de ma rz o de 2017, en: enfoqueontosemiotico.ugr.es/civeos.html (consulta: 16 de febrero de 2018). Rico, Luis (2007), “La competencia matemática en PISA”, en: http://cimm.ucr.ac.cr/ciaem/articulos/universitario/conocimiento/La%C 2%A0Competencia%C2%A0Matem%C3% A1tica%C2%A0en%C2%A0Pisa*Rico,%20 Luis*competencia%20en%20PISA.pdf (consulta: 16 de febrero de 2018). Rodríguez Morales, Pilar (2017), “Creación, desarrollo y resultados de la aplicación de pruebas de evaluación basadas en estándares para diagnosticar competencias en matemática y lectura al ingreso a la universidad”, Revista Iberoamericana de Evaluación Educativa, vol. 10, núm. 1, pp. 89-107. Rojas, Francisco y Jordi Deulofeu Piquet (2013), “Elementos de impacto de las prácticas instruccionales de los formadores en la formación inicial de profesores de matemáticas”, en Berciano Alcaraz, Guadalupe Gutiérrez, Antonio Estepa y Nuria Climent (eds.), Investigación en Educación Matemática XVII, Bilbao, SEIEM, pp. 476-482. Sánchez, Primitivo y Joaquín Gairín (2008), Planificar la formación en el espacio europeo de educación superior: títulos oficiales y materias, Madrid, Universidad Complutense-ICE. Sevillano García, María Luisa (2009), Competencias para el uso de herramientas virtuales en la vida, trabajo y formación permanentes, Madrid, Pearson Educación. Torres-Alfonso, Aida María, María Josefa PeraltaGonzález y Anamarys Toscano-Menocal (2015), “Impacto y productividad de las publicaciones latinoamericanas sobre matemática educativa”, Biblios: Revista de Bibliotecología y Ciencias de la Información, vol. 1, núm. 55, pp. 13-26. Valero, Paolo (2017), “El deseo de acceso y equidad en la educación matemática”, Revista Colombiana de Educación, núm. 73, pp. 99-128, en: http://ww w.red alyc.org /a rt icu lo.oa?id= 41 3651843006 (consulta: 20 de octubre de 2017). Velasco-Martínez, Leticia y Juan Carlos Tójar Hurtado (2018), “Uso de rúbricas en educación superior y evaluación de competencias”, Profesorado. Revista de Currículum y Formación del Profesorado, vol. 22, núm. 3, pp. 183-208. Villa, Aurelio, Lucía Campo, Sonia Arranz, Olga Villa y Ana García (2013), “Valoración del profesorado de magisterio sobre el aprendizaje basado en competencias implantado”, Profesorado. Revista de Currículum y Formación del Profesorado, vol. 17, núm. 3, pp. 35-55. Villa, Aurelio y Manuel Poblete (2011), “Evaluación de competencias genéricas: principios, oportunidades y limitaciones”, Bordón. Revista de Pedagogía, vol. 63, núm. 1, pp. 147-170.