Escala de estimación socioformativa (EES): validez de contenido y constructo para valorar ensayos académicos en educación normal.

Páginas: 1-11 Recibido: 2022-08-15 Revisado: 2022-09-16 Aceptado: 2022-12-13 Preprint: 2023-01-31 Publicación Final: 2023-01-31 www.revistascientificas.us.es/index.php/fuentes/index DOI: https://doi.org/10.12795/revistafuentes.2023.21776 Escala de Estimación Socioformativa (EES): validez de contenido y constructo para valorar ensayos académicos en Educación Normal Socioformative Estimation Scale (EES): content and construct validity to assess academic essays in Normal Education Juan Pablo Cancino-Santizo Centro Universitario CIFE - Escuela Normal "Fray Matías de Córdova" (México) José Manuel Vázquez Antonio Centro Universitario CIFE - Escuela Normal Rural "Lic. Benito Juárez" (México) David Chávez Herting Escuela de Ciencias Jurídicas y Sociales – Universidad de Viña del Mar (Chile) Resumen El perfil de egreso de la Educación Normal destaca que los futuros docentes desarrollen competencias para la producción de documentos escritos, con la intención de divulgar información generada en sus investigaciones. Desde el enfoque socioformativo se considera prioritario apoyarse en procedimientos evaluativos que fortalezcan los procesos de enseñanza y aprendizaje. Sin embargo, al realizar una búsqueda de diversos documentos en bases de datos de revistas indexadas e indizadas, se localizaron pocos instrumentos que valoraran ensayos académicos de estudiantes normalistas. Ninguno de estos consideró a la evaluación socioformativa y en su mayoría carecían de procesos de validez científica, haciéndolos poco objetivos y confiables. Considerando lo anterior, en el presente estudio se plantearon los siguientes propósitos: 1) diseñar una Escala Estimativa Socioformativa (EES) atendiendo la taxonomía que propone la socioformación; 2) remitir la EES para procesos de revisión y juicio de expertos; 3) realizar un pilotaje del instrumento y 4) analizar las características psicométricas de validez de contenido y constructo. Los resultados exponen que la EES presentó niveles de validez de contenido pertinentes (V de Aiken ≥0.75). La aplicación con el grupo piloto (n = 15) mostró un adecuado grado de comprensión, pertinencia y satisfacción. En lo que se refiere al análisis factorial confirmatorio, mostró dos factores, lo cual está acorde con lo esperado a nivel teórico o en el diseño del instrumento, con confiabilidades superiores a 0.9. Se concluye que la EES es pertinente para valorar ensayos académicos. Se sugieren nuevos estudios de validez y confiabilidad con poblaciones de mayor rango. Abstract The graduate profile of teacher education emphasizes that future teachers develop competencies for the production of written documents, with the intention of disseminating information generated in their research. From the socio-formative approach, it is considered a priority to rely on evaluative procedures that strengthen the teaching and learning processes. However, a search of various documents in databases of indexed and indexed journals revealed few instruments that evaluated academic essays of teacher training students. None of these considered socio-formative assessment and most of them lacked scientific validity processes, making them not very objective and reliable. Considering the above, the present study had the following purposes: 1) to design a Socioformative Estimate Scale (EES) according to the taxonomy proposed by socioformation; 2) to submit the EES for review and expert judgment; 3) to conduct a pilot test of the instrument; and 4) to analyze the psychometric characteristics of content and construct validity. The results show that the EES presented relevant levels of content validity (Aiken's V ≥0.75). The application with the pilot group (n = 15) showed an adequate degree of understanding, relevance and satisfaction. With regard to the confirmatory factor analysis, it showed two factors, which is in accordance with what was expected at the theoretical level or in the design of the instrument, with reliabilities above 0.9. It is concluded that the EES is relevant for assessing academic essays. Further validity and reliability studies with larger populations are suggested. Palabras clave / Keywords Confiabilidad, educación normalista, enfoque socioformativo, evaluación de textos, evaluación socioformativa, producción de textos, validez, valoración. Normal education, reliability, socioformative approach, socioformative evaluation, text evaluation, text production, validity, valuation /assessment. 2 REVISTA FUENTES, 25(1); Páginas 1-11 www.revistascientificas.us.es/index.php/fuentes/index 1. Introducción En la actualidad, la sociedad del conocimiento exige que las personas dispongan de competencias profesionales que permitan enfrentar los retos inherentes a este tipo de sociedad. Ante esto, se requiere que los sistemas educativos reinventen sus procesos formativos, abandonando las formas convencionales de enseñanza (Mussons-Torras y Tarrats-Pons, 2018). La educación debe impulsar desde sus prácticas académicas, el desarrollo de competencias investigativas y comunicativas, recurriendo a la redacción de textos académicos y científicos. Por lo tanto, es necesario que la formación se ajuste a estas necesidades actuales, asumiendo nuevos modos de actuación, con acciones renovadas. En contraste con lo anterior, una situación alarmante en México en materia educativa; es el bajo nivel de desempeño estudiantil en la escala global de lectura. Para PISA, los estudiantes que se desempeñan por debajo del nivel 1b “[…] son incapaces de realizar el tipo de lectura más básico que busca medir […]. Esto no significa que no posean habilidades lectoras. […] la mayoría de estos estudiantes probablemente pueden leer —en el sentido técnico de la palabra—, pero tienen serias dificultades para utilizar la lectura como herramienta para impulsar y ampliar sus conocimientos y habilidades en otras áreas” (p. 75). En consecuencia, derivado de estos bajos niveles de compresión lectora, los estudiantes muestran carencias en la redacción de textos académicos. Ante esto, es urgente que la escuela, en todos sus niveles académicos, brinde a los educandos las herramientas necesarias para afrontar dichos desafíos (Acevedo y Romero, 2019; Ojeda y Agüero, 2018). En relación al tema, en la educación Normal, el Perfil de egreso del Plan de estudios 2018 para la Licenciatura en Educación Primaria (Acuerdo 14/07/18, 2018), plantea competencias genéricas y profesionales que los Normalistas deben alcanzar al concluir su formación y acordes con este planteamiento, destacando las siguientes: a) solucionar problemas y tomar decisiones utilizando su pensamiento crítico y creativo, b) colaborar con diversos actores para generar proyectos innovadores de impacto social y educativo, c) utilizar las tecnologías de la información y la comunicación de manera crítica, d) integrar recursos de la investigación educativa para enriquecer su práctica profesional, expresando su interés por el conocimiento, la ciencia y la mejora de la educación, y e) aplicar sus habilidades lingüísticas y comunicativas en diversos contextos. Por otra parte, un producto de evidencia que demuestra los resultados de aprendizaje y adquisición de competencias al concluir cualquier trayecto formativo es el ensayo académico. Para la Secretaría de Educación Pública [SEP], (2019) este es “[…] un escrito en prosa en el que el aspirante plantea y desarrolla sus ideas exponiendo sus puntos de vista acerca de un tema con carácter y estilo personal, para lo cual presenta argumentos, datos o evidencias a fin de sustentar su opinión” (p. 2). Mientras que para Pérez y Montoya, (2020) “[…] es un texto o composición original por parte del alumno, en el cual se desarrolla un tema a partir del conocimiento que tiene sobre este y su reflexión crítica, sustentando sus ideas y opiniones en evidencias teóricas y empíricas” (p. 197). Pero ¿cómo evaluar estos textos académicos? Un instrumento propuesto por la evaluación socioformativa es la escala de estimación, la cual valora las evidencias establecidas en el proceso de enseñanza, comprobando el nivel de calidad o predominio de cada indicador de desempeño. Sin duda alguna, evaluar en la socioformación es progresar permanentemente hasta garantizar niveles de desempeños significativos, considerando las sugerencias de mejora y los logros alcanzados. Este enfoque busca que todos los agentes involucrados en el proceso de enseñanza y aprendizaje prosperen integralmente, afianzando su proyecto ético de vida (Flores-Becerra, 2021) a través de la valoración de sus capacidades y aceptando los comentarios de los agentes que intervienen en el proceso pedagógico (Hernández et al., 2018). En esta perspectiva, una problemática detectada fue la escasez en la producción de textos académicos a nivel Normalista. Como parte de esta investigación, se solicitó a diversos docentes de las Normales del Estado de Chiapas, compartir sus ensayos académicos como evidencias de productos (SEP, 2021), con la intención de ser evaluados mediante una EES. La respuesta fue nula, se argumentaba contar con otros productos (mapas mentales, carteles, organizadores gráficos, resúmenes, exámenes, entre otros.), pero no con ensayos. Además, dentro de la revisión documental, se notó una insuficiencia en las investigaciones empíricas que mostraran y describieran los componentes a considerar en el diseño de las escalas de estimación de productos de desempeño (Antoniou y Lu, 2017). Algunos precedentes aludieron sobre la importancia de validar el contenido y constructo de los instrumentos de valoración. Al respecto, López et al., (2020a) manifestaron que, en el contexto actual de cualquier ámbito, se requiere que se proyecte, diseñe, aplique y verifique la eficacia del constructo de los instrumentos de valoración de los procesos y productos, acorde con la sociedad del conocimiento. A pesar de contar con un progreso en esta línea de investigación, aún existen informes que argumentan que los instrumentos utilizados para evaluar por competencias en la práctica en diversas áreas del conocimiento han sido subjetivos, poco 3 REVISTA FUENTES, 25(1); Páginas 1-11 DOI: 10.12795/revistafuentes.2023.21776 confiables o inválidos. En consecuencia, se han tenido que adaptar algunas pruebas para medir con validez y confiabilidad los procesos formativos (Laibhen-Parkes et al., 2018). No cabe duda, que existe la necesidad de formar a los docentes en Educación Superior para que elaboren instrumentos de valoración validados en su diseño y contenido. Al respecto, la Escuela Normal Fray Matías de Córdova [FRAYMACO] carece de instrumentos idóneos que permitan valorar las competencias de los estudiantes; remitiéndose únicamente a simples cuestionarios, exámenes conceptuales, rúbricas y listas de verificación, diseñados sin procesos de validación, causando en los docentes una falta de claridad para identificar el desempeño y progreso de los alumnos. En consecuencia, es de suma importancia diseñar y aplicar instrumentos de evaluación pertinentes y confiables; que hayan sido sometidos a pruebas estadísticas y con un alto rigor científico (Istiyono et al., 2019; Karamitri et al., 2020; Kholis et al., 2020). Estos instrumentos; serían de gran utilidad para todos los protagonistas del proceso formativo: estudiantes, profesores, directivos, gobiernos, emprendedores sociales y otras partes interesadas (Satar y Natasha, 2019). Desde luego, sistematizar el proceso evaluativo en la Normal podría permitir la disminución de la improvisación y el margen de error por parte de los docentes en las valoraciones de las evidencias de desempeño de los estudiantes, ofreciendo así, juicios más justos. Por otro lado, es necesario que al interior de la comunidad Normalista se promuevan experiencias de aprendizaje que consoliden la redacción de textos académicos, contando con instrumentos de evaluación válidos y confiables para asegurar su calidad y pertinencia. De tal manera, que se cumpla con la misión de formar profesionales que enfrenten los retos de la sociedad del conocimiento con un desempeño óptimo. Por lo anterior, los propósitos de este trabajo son: 1) diseñar una Escala Estimativa Socioformativa (EES) considerando la taxonomía que propone la socioformación; 2) remitir la EES para procesos de revisión y juicio de expertos; 3) realizar un pilotaje del instrumento y 4) analizar las características psicométricas de validez de contenido y constructo. 2. Metodología 2.1 Tipo de Estudio El tipo de estudio para esta investigación fue instrumental, teniendo como propósito analizar las cualidades psicométricas de la validez de contenido y constructo de una Escala de Estimación Socioformativa (EES) para evaluar ensayos académicos en la educación Normal. Tomando en cuenta la idea de los autores Montero y León, (2002, 2005) de reconocer a estos estudios como una clasificación autónoma en los diseños de investigación, motivando “[…] al desarrollo de pruebas y aparatos, incluyendo tanto el diseño (o adaptación) como el estudio de las propiedades psicométricas de los mismos” (p. 124). 2.2 Procedimiento El procedimiento se estableció en seis fases: 1) diseño del instrumento desde el enfoque y taxonomía socioformativa a partir de la revisión documental; 2) revisión preliminar y mejora de la EES por expertos en evaluación desde la socioformación; 3) búsqueda y selección de jueces expertos; 4) valoración del instrumento mediante juicio de expertos; 5) pilotaje del instrumento y 6) análisis de sus propiedades psicométricas. A continuación, se describen brevemente. 2.2.1. Diseño del instrumento desde el enfoque y taxonomía socioformativa Para el diseño del instrumento se realizó una búsqueda avanzada de artículos científicos, libros y capítulos de libros en bases indexadas e indizadas como SCOPUS, WoS y Google Académico sobre dos tópicos clave: a) teoría y metodología de la evaluación socioformativa y; b) elaboración de ensayos académicos. Referente a la teoría y metodología de la evaluación desde el enfoque socioformativo se identificaron principalmente libros, dentro de los que destacan las obras de Juárez-Hernández et al., (2019); Tobón, (2013, 2017a, 2017b). De forma paralela, en las bases de datos de revistas indexadas se encontraron diversos estudios de diseño y validez de instrumentos de evaluación desde el mismo enfoque, como: Carrillo y Luna, (2021); Dino-Morales y Tobón, (2017); Mounkoro y Veytia, (2019); Pacheco et al., (2019); Tobón et al., (2021); Vázquez-Antonio, Tobón, Vázquez-Antonio, Guzmán, et al., (2018); Vázquez-Antonio, Tobón, Vázquez-Antonio, Herrera-Meza, et al., (2018). 4 REVISTA FUENTES, 25(1); Páginas 1-11 www.revistascientificas.us.es/index.php/fuentes/index Por otro lado, en la búsqueda de orientaciones o guías que ofrecieran las pautas para la creación de ensayos académicos se encontraron libros, manuales y páginas web. Los más representativos fueron Casasola, (2014); del Castillo-Rengifo, (2020); Hernández y Rodríguez, (2009); Pairumani, 2020; Pérez y Montoya, (2020); Sánchez, (2016); Sánchez, (2019); SEP, (2019); Uscanga y Garza, (2011). En suma, cabe mencionar que en esta búsqueda también se encontraron diversos estudios de validación de instrumentos de evaluación desde la socioformación (véase Aguilar-Esteva et al., 2021; Guevara et al., 2020; López et al., 2020); sin embargo, no se encontró algún artículo científico que documentara el proceso de validación de una Escala de Estimación Socioformativa (EES) para valorar ensayos académicos en Educación Normal. Considerando las diversas aportaciones teóricas y metodológicas de las referencias mencionadas en los párrafos anteriores, la EES se estructuró con las siguientes seis dimensiones: Portada, Introducción, Desarrollo, Conclusiones, Referencias y finalmente; Formato, Ortografía y Redacción. Cada una contó con un indicador (un total de trece para todo el instrumento): 1) Título del ensayo, 2) Datos personales e institucionales del autor, 3) Citación del ensayo, 4) Resumen, 5) Palabras clave, 6) Abstract, 7) Keywords, 8) Problema a investigar, 9) Análisis del problema, 10) Propuesta de solución, 11) Presentación de las conclusiones, 12) Citas y referencias; finalmente 13) Formato, ortografía y redacción. Se establecieron 51 ítems valorados mediante cinco niveles de desempeño: Muy bajo, Bajo, Medio, Medio alto, Muy alto (Cancino et al., 2022). 2.2.2. Revisión preliminar y mejora de la EES por expertos en evaluación desde la socioformación Para esta fase, se contó con el apoyo de cinco expertos en evaluación socioformativa. Los aspectos analizados por los expertos fueron: comprensión, pertinencia y relevancia de cada indicador. A partir de sus análisis, se recibieron sugerencias de mejora de las diferentes dimensiones e indicadores para que, finalmente se hicieran las adecuaciones necesarias al instrumento. Todo este proceso se realizó con apoyo de un formulario digital diseñado por el Centro Universitario CIFE (2021). 2.2.3. Búsqueda y selección de jueces expertos En cuanto a la búsqueda y selección de jueces expertos, los posibles candidatos para realizar este ejercicio valorativo fueron obtenidos de la plantilla docente de la Escuela Normal y la base de datos proporcionada por la mesa de ayuda de CIFE (2021), atendiendo los siguientes criterios: 1) laborar en alguna Institución de Educación Superior (IES), 2) contar con experiencia en la elaboración y/o revisión de ensayos académicos, y 3) tener un grado mínimo de maestría. Inicialmente, 30 docentes fueron invitados mediante correo electrónico a valorar la EES, obteniendo una muestra final de 17 jueces. Se recolectaron sus datos personales y laborales mediante la técnica del Biograma (Suárez-Ortega, 2013), usando el formulario de Google brindado por CIFE (2021). Algunos de estos datos fueron: nombre completo, correo electrónico, institución laboral, grado de estudio, sexo, edad, participación en redacción de artículos, trayectoria formativa, país de afiliación institucional, entre otros (Tabla 1). Tabla 1 Datos Sociodemográficos de los Expertos Frecuencia Porcentaje Sexo Hombres 6 35.3% Mujeres 11 64.7% Educación Doctorado completo 6 35.3% Doctorado incompleto 2 11.8% Maestría 7 41.2% Especialización 2 11.8% Media D.E. Edad 51.06 10.41 Conferencias por invitación 14.18 39.19 Grado de experiencia como revisor (1-4) 3.06 1.30 Años de experiencia Docencia 15.35 9.53 Investigación 6.59 8.06 Publicaciones Artículos 4.53 7.62 Libros 0.82 1.98 Capítulos 0.82 1.72 Ponencias 17.00 46.50 Educación continuada Cursos 20.82 23.88 Fuente: CIFE 2021 5 REVISTA FUENTES, 25(1); Páginas 1-11 DOI: 10.12795/revistafuentes.2023.21776 En lo referente a las consideraciones éticas de la presente investigación, tanto los jueces expertos, como los participantes de la muestra final, fueron contactados por correo electrónico y se les hizo llegar una carta de Consentimiento Informado donde se les notificó las condiciones para la participación en el estudio, poniendo énfasis en la confidencialidad de sus datos personales. 2.2.4. Valoración del instrumento mediante juicio de expertos La evaluación de la comprensión y pertinencia de los ítems fue a través de un enfoque cuali-cuantitativo. Para la estimación cuantitativa, se utilizó el coeficiente de validez de contenido V de Aiken (Gignac, Gresle, Santoro, et al., 2021; Penfield y Giacobbi, 2004) a través de una plantilla proporcionada por CIFE (2021). Esta técnica es considerada la más pertinente para comprobar la validez de contenido (Escurra, 1988). Penfield y Giacobbi, (2004), proponen el uso de intervalos de confianza, para establecer si el valor de V está sobre valores predeterminados. Usualmente, se considera que 0.5 es un mínimo liberal, mientras que 0.7 es un mínimo conservador (Merino y Livia, 2009). Para que un ítem sea estimado aceptable, el valor mínimo debe ser superior al límite inferior del intervalo de confianza. En esta investigación, se ha optado por usar el mínimo conservador de 0.7 para que el ítem sea válido, tal como se ha usado en otros estudios similares (Boluarte y Tamari, 2017). 2.2.5. Pilotaje del instrumento Concluida la fase de validez de contenido, se aplicó el instrumento a un grupo piloto, que no pertenecía al grupo de expertos, con la finalidad de establecer la validez, adecuar los errores producidos y dar paso a la versión final de la Escala (Arias, 2016). Este grupo estuvo conformado por 15 docentes de la FRAYMACO, con el propósito de valorar tanto la comprensión de las indicaciones, la pertinencia y satisfacción de la escala. Su selección fue bajo dos criterios: 1) laborar en nivel superior y 2) contar con grado mínimo de maestría. 2.2.6. Análisis de las propiedades psicométricas Este análisis se hizo mediante la aplicación del instrumento para la evaluación de una muestra de 165 ensayos de la Normal, con la que se realizó un análisis factorial confirmatorio de la escala, usando el software estadístico JASP. Para muestras con datos categóricos ordinales, se suele recomendar el uso de los métodos de mínimos cuadrados no-ponderados (ULS, por sus siglas en inglés), o de mínimos cuadrados ponderados diagonalmente (DWLS, por sus siglas en inglés), mientras que el método de máxima verosimilitud (ML, por sus siglas en inglés) debiera restringirse a análisis de variables continuas (Shi y Maydeu-Olivares, 2020). En el presente estudio, se usó el método ULS, que ha mostrado mejor desempeño que DWLS en distintas simulaciones (Savalei y Rhemtulla, 2013). No obstante, es importante señalar que tanto ULS como DWLS presentan algunas desventajas frente a ML, especialmente, que suelen producir desviaciones en los índices de bondad de ajuste más usados, en particular, el índice de Tucker-Lewis (TLI) y el índice de ajuste comparativo (CFI) suelen incrementarse, mientras que el error cuadrático medio de aproximación (RMSEA) se reduce, lo que lleva a una tendencia a aceptar modelos mal especificados (Shi y Maydeu-Olivares, 2020; Xia y Yang, 2019). A la fecha, no existen alternativas confiables a estos índices de bondad de ajuste que sean específicos a los modelos que usan datos categóricos ordinales (como es el caso de esta investigación), pero estudios recientes sugieren que la raíz cuadrada media residual estandarizada (SRMR) es un índice relativamente robusto, que no presenta variaciones importantes en análisis factoriales que usan ULS (Shi et al., 2020). Para evitar estos problemas, en el presente estudio evaluamos dos posibles modelos (Lai, 2021): un modelo unifactorial y un modelo bifactorial. Para efectos de comparar ambos modelos, reportaremos los valores del TLI, CFI, RMSEA, y SRMR, dado que ambos modelos están afectos a la distorsión mencionada. El modelo con mejores valores de bondad de ajuste será considerado para su posterior análisis. En cuanto al análisis final del modelo elegido, se hará fundamentalmente en función del SRMR, considerando la recomendación de Hu y Bentler, (1999), con valores inferiores a .06. Posteriormente, se evaluó la validez convergente del modelo seleccionado, usando los criterios establecidos por Hair et al., (2014): peso factorial de los ítems mayores a .50, la fiabilidad compuesta mayor a .70 y la varianza media extraída (MVE), calculada mediante la fórmula de Fornell y Larcker, (1981), mayor a .50. 6 REVISTA FUENTES, 25(1); Páginas 1-11 www.revistascientificas.us.es/index.php/fuentes/index 3. Resultados Dentro de la evaluación del juicio de expertos, los docentes contaron con una escala de cuatro opciones para valorar el grado de comprensión y pertinencia de los ítems: 1) No cumple con el criterio, 2) Bajo grado, 3) Aceptable grado y 4) Alto grado. Partiendo del análisis cuantitativo de los datos se obtuvieron los porcentajes de cada ítem tanto de la comprensión como de la pertinencia. Se observó que los porcentajes más altos del grado de la comprensión se obtuvieron en los ítems Resumen, Abstract y Keywords (88.2%). Mientras que, en la pertinencia, el grado más alto se presentó en los indicadores Abstract y Cita y Referencias (94.1%) (Tabla 2). Tabla 2 Frecuencias porcentuales de la comprensión y pertinencia del instrumento por los jueces expertos (n = 17) Indicador Comprensión Pertinencia Alta Aceptable Baja No es comprensible Alta Aceptable Baja No es pertinente 1. Título 52.9% 41.1% 5.8% - 70.5% 29.4% - - 2. Datos personales 70.5% 29.4% - - 76.4% 17.6% 5.8% - 3. Citación 70.5% 23.5% 5.8% - 76.4% 17.6% 5.8% - 4. Resumen 88.2% 11.7% - - 76.4% 23.5% - - 5. Palabras clave 70.5% 23.5% 5.8% - 76.4% 23.5% - - 6. Abstract 88.2% 11.7% - - 94.1% 5.8% - - 7. Keywords 88.2% 11.7% - - 88.2% 5.8% 5.8% - 8. Problema 64.7% 35.2% - - 76.4% 23.5% - - 9. Análisis 64.7% 35.2% - - 82.3% 17.6% - - 10. Propuesta 82.3% 17.6% - - 88.2% 11.7% - - 11. Conclusiones 82.3% 17.6% - - 82.3% 17.6% - - 12. Citas 82.3% 17.6% - - 94.1% 5.8% - - 13. Formato 76.4% 23.5% - - 88.2% 5.8% 5.8% - Escala general 52.9% 47.0% - - 70.5% 29.4% - - Fuente: elaboración propia Asimismo, en la evaluación general de la pertinencia, comprensión y satisfacción por parte de los jueces expertos se pudo observar que el instrumento obtuvo un alto grado de pertinencia (70.5%), un aceptable (47%) y alto grado (52.9%) de comprensión general. Finalmente, el 52.9% de los expertos dijo tener una excelente satisfacción al aplicar la EES en la evaluación de los ensayos académicos. En lo que respecta a la validez de contenido, el coeficiente de V de Aiken demostró que la mayoría de los ítems superaron el límite inferior de 0.7; por lo que, de acuerdo con diversos estudios, se demostró la confiabilidad de esta prueba estadística, al sintetizar la evaluación de la relevancia del contenido de los ítems obtenidos de un panel de jueces expertos (Carrillo-Ruíz y Luna-Cornejo, 2021; Penfield y Giacobbi, Jr., 2004; Tobón et al., 2021; Torres-Hernández, 2022). A excepción del ítem 1, concretamente en la dimensión de comprensión no se cumplió con esta condición. No obstante, como se observa en la Tabla 3, en la práctica, el valor sólo se aleja marginalmente del umbral especificado. Adicionalmente, se debe considerar que el umbral impuesto es uno conservador, por lo que una desviación tan pequeña (de apenas 0.003) no parece representar un problema. 7 REVISTA FUENTES, 25(1); Páginas 1-11 DOI: 10.12795/revistafuentes.2023.21776 Tabla 3 Resultados del análisis de validez de contenido mediante la V de Aiken Ítems Media D.E. V de Aiken Límite Inferior Límite Superior 1. Título Pertinencia 3.71 0.46 0.902 0.790 0.957 Comprensión 3.47 0.61 0.824 0.697 0.904 2. Datos personales Pertinencia 3.65 0.76 0.882 0.766 0.945 Comprensión 3.71 0.46 0.902 0.790 0.957 3. Citación Pertinencia 3.71 0.57 0.902 0.790 0.957 Comprensión 3.65 0.59 0.882 0.766 0.945 4. Resumen Pertinencia 3.76 0.42 0.922 0.815 0.969 Comprensión 3.88 0.32 0.961 0.868 0.989 5. Palabras clave Pertinencia 3.76 0.42 0.922 0.815 0.969 Comprensión 3.65 0.59 0.882 0.766 0.945 6. Abstract Pertinencia 3.94 0.24 0.980 0.897 0.997 Comprensión 3.88 0.32 0.961 0.868 0.989 7. Keywords Pertinencia 3.82 0.51 0.941 0.841 0.980 Comprensión 3.88 0.32 0.961 0.868 0.989 8. Problema Pertinencia 3.76 0.42 0.922 0.815 0.969 Comprensión 3.65 0.48 0.882 0.766 0.945 9. Análisis Pertinencia 3.82 0.38 0.941 0.841 0.980 Comprensión 3.65 0.48 0.882 0.766 0.945 10. Propuesta Pertinencia 3.88 0.32 0.961 0.868 0.989 Comprensión 3.82 0.38 0.941 0.841 0.980 11. Conclusiones Pertinencia 3.82 0.38 0.941 0.841 0.980 Comprensión 3.82 0.38 0.941 0.841 0.980 12. Citas Pertinencia 3.94 0.24 0.980 0.897 0.997 Comprensión 3.82 0.38 0.941 0.841 0.980 13. Formato Pertinencia 3.82 0.51 0.941 0.841 0.980 Comprensión 3.76 0.42 0.922 0.815 0.969 Fuente: CIFE (2021) Posteriormente, se procedió a realizar un análisis factorial confirmatorio con los datos obtenidos. Dos modelos teóricos fueron puestos a prueba: un primer modelo unifactorial (Modelo 1), y un modelo bifactorial (Modelo 2), que consideraba un factor de elementos periféricos (ítems 1-7), que incluyó componentes como el título y el resumen, y un factor de elementos centrales (ítems 8-13), que admitió elementos como la problematización y el formato en la redacción de ensayos académicos. En general, el Modelo 2 mostró un mejor ajuste a los datos (χ2[64] = 61.038; TLI = 1.000; CFI = 1.000; RMSEA = .000; SRMR = .052) que el Modelo 1 (χ2[65] = 112.396; TLI = .991; CFI = .992; RMSEA = .067; SRMR = .083), por lo que los análisis posteriores se refieren exclusivamente al modelo bifactorial, siendo el único que cumple con SRMR < .06, infiriéndose a un buen ajuste a los datos. Se evaluó entonces la validez convergente del modelo (Tabla 4), observándose que todas las cargas factoriales superan el umbral de 0.5, pese a que el ítem 3 mostró un valor relativamente bajo (λ = .569) al compararlo con los demás ítems, pero que aun así se consideró aceptable. Las VME de ambos factores es de 0.6, lo que implica que los datos explican algo más del 60% de los factores considerados, con niveles de confiabilidad de .931 y .909, respectivamente. La Tabla 4 incluye, además, el valor del Alfa de Cronbach de cada factor, dado que se trata de un estadístico ampliamente usado, con el fin de facilitar el proceso de comparación de resultados en posibles estudios posteriores. Estos resultados sugieren que el modelo elegido posee validez convergente. 8 REVISTA FUENTES, 25(1); Páginas 1-11 www.revistascientificas.us.es/index.php/fuentes/index Tabla 4 Validez convergente del modelo bifactorial Escala # de ítems Confiabilidad compuesta Alfa de Cronbach VME Cargas factoriales Factor 1 7 0.931 0.919 0.663 Item 01 (.714); Item 02 (.794); Item 03 (.569); Item 04 (.828); Item 05 (.939); Item 06 (.869); Item 07 (.925) Factor 2 6 0.909 0.907 0.627 Item 08 (.854); Item 09 (.697); Item 10 (.801); Item 11 (.838); Item 12 (.753); Item 13 (.797) Fuente: elaboración propia El modelo final quedó conformado por los dos factores detectados teóricamente, con cargas que oscilan entre .569 y .939, mostrando una covarianza de .80. Esto se explica fácilmente por la fuerte relación entre ellos. Es importante destacar que la varianza residual estandarizada es generalmente baja (con excepción de los ítems 3 y 9), lo que implica que los factores explican una proporción importante de la varianza de los ítems. Esto permitió deducir que los ítems efectivamente están representando de manera adecuada los factores del modelo (Figura 1). Figura 1. Modelo final (todos los valores estandarizados) Fuente: elaboración propia 4. Discusión El instrumento diseñado consideró los ejes esenciales de la socioformación y puede ser relevante para posteriores investigaciones. Vale la pena reiterar que, dentro de la revisión documental realizada en revistas indexadas, no se encontró ningún artículo con estas características, por lo que se puede considerar que el presente estudio es original y relevante por la finalidad y características del instrumento. En su gran mayoría se identificaron cuestionarios de preguntas cerradas, carentes de la óptica de la socioformación (García et al., 2022; Gómez-del-Pulgar et al., 2022; Llovera-López et al., 2022). Un aspecto notable de este instrumento es su empleo como guía para la elaboración de ensayos académicos, pues brinda una estructura elemental a considerar. La construcción de esta escala se basó en el juicio de expertos, pasando primeramente por una validación de expertos en materia de evaluación de ensayos académicos desde el enfoque socioformativo. Los aspectos 9 REVISTA FUENTES, 25(1); Páginas 1-11 DOI: 10.12795/revistafuentes.2023.21776 evaluados por los jueces fueron: comprensión y pertinencia de los indicadores, utilizando un rango de valor cuantitativo (escala del 1 al 4, donde 1 fue el nivel más bajo y 4 el más alto). En general, los resultados muestran evidencia inicial de que la escala puede ser usada para evaluar ensayos académicos en la Educación Normal. El análisis factorial confirmatorio mostró una estructura bifactorial: elementos periféricos y elementos centrales de los ensayos académicos. Aunque también se testeó una solución unifactorial, los resultados revelaron que el modelo bifactorial se ajusta mejor a los datos, opción que se analizó en este estudio. Adicionalmente, la estructura bifactorial mostró buena validez convergente, con valores de varianza media extraída sobre el umbral establecido por Fornell y Larcker (1981), y cargas factoriales por sobre 0.7 en todos los ítems, con excepción de un ítem. No obstante, dada su relevancia teórica, y el hecho de que la escala no experimentaba mejoras sustanciales en sus propiedades al eliminarlo, se optó por mantenerlo en el análisis. En ambos factores, la confiabilidad medida tanto en el índice de confiabilidad compuesta como por el Alfa de Cronbach, obtuvieron valores superiores a 0.9, lo que indica una muy buena confiabilidad de la escala. Si se considera que cada ítem mide un elemento distinto del ensayo académico, no es factible asumir que este valor se deba a la redacción de los ítems. Cabe señalar que la alta correlación entre estos factores (r = 0.8) sugiere baja validez discriminante. No obstante, dada la cercanía teórica de los conceptos, no resulta sorprendente. Globalmente, los resultados permiten inferir que la escala propuesta posee buenas características psicométricas, tanto a nivel de confiabilidad como de validez, lo cual la hacen adecuada para su uso en la población objetivo. 5. Conclusiones A partir del estudio llevado a cabo, puede concluirse que la EES es pertinente y relevante para evaluar ensayos académicos en la educación Normal. Las investigaciones recientes y similares en cuanto al tipo, objeto de estudio y propiedades psicométricas a esta investigación, ayudaron a reconocer las fortalezas y debilidades del problema de investigación expuesto. También se concluye que los resultados obtenidos fueron consistentes sobre los ítems a valorar y, por lo tanto, el instrumento consigue tener una propiedad psicométrica de validez de constructo pertinente y es confiable puesto que posee claridad para su empleo ante los posibles usuarios. Otra conclusión importante es asegurar que la investigación cumple con uno de sus principales propósitos que es contribuir con el desarrollo y fortalecimiento de la competencia comunicativa en la redacción de textos académicos. Si bien es cierto, esta competencia no es exclusiva de los contextos educativos, trasciende hasta otros escenarios como los empresariales y públicos. Finalmente, se reconoce que, si bien la EES representa una contribución relevante para la formación y valoración de competencias profesionales comunicativas en Educación Normal, es fundamental que, para futuras investigaciones relacionadas con este estudio, se recurra a muestras poblacionales a escalas mayores, con la finalidad de continuar descubriendo y fortaleciendo sus características psicométricas y contribuir con nuevos conocimientos relación al tema. Referencias Acevedo, K. M., y Romero, S. (2019). La educación en la sociedad del conocimiento. Revista Torreón Universitario, 8(22), 79–83. https://doi.org/10.5377/torreon.v8i22.9032 Aguilar-Esteva, V. A., Juárez-Hernández, L. G., y Acosta-Banda, A. (2021). Validez de constructo y confiabilidad de un instrumento para evaluar la integración del enfoque socioformativo en las prácticas docentes en instituciones de educación superior en México. Revista Fuentes, 2(23), 178–189. https://doi.org/10.12795/revistafuentes.2021.12905 Antoniou, P., y Lu, M. (2017). Evaluating the measuring properties of the principal instructional management rating scale in the Chinese educational system: Implications for measuring school leadership. Educational Management Administration and Leadership, 46(4), 1–18. https://doi.org/10.1177/1741143217700282 Arias, F. G. (2016). El Proyecto de investigación. Introducción a la metodología científica (Séptima edición). Editorial Episteme. Boluarte, A., y Tamari, K. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicología, 35(2), 641–666. https://doi.org/10.18800/psico.201702.009 Cancino, JJ.P., Vázquez Antonio, J.M., & Chávez Herting, D. (2022). Socioformación, Mendeley Data, V1, https://doi.org/10.17632/rw4ds98h7b.1