Aplicación del método Delphi para la validación de los instrumentos de evaluación del libro electrónico multimedia “Andrés quiere una mascota”

37 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Aplicación del método Delphi para la validación de los instrumentos de evaluación del libro electrónico multimedia “Andrés quiere una mascota” Using Delphi Method to validate the evaluation instruments for the multimedia electronic book “Andrés quiere una mascota” M ILAGROS B RICEÑO M ARCANO 1 [email protected] Universidad Metropolitana, Universidad de Sevilla ROSALÍA ROMERO TENA 2 [email protected] Universidad Metropolitana, Universidad de Sevilla Recibido: 29/03/2011 Aceptado: 18/05/2011 1Profesora Asociada a tiempo completo del Departamento de Programación y Tecnología de la Universidad Metropolitana, ha dictado las asignaturas Tecnologías para el Aprendizaje, Informática Educativa e Informática para la Gerencia Educativa. Profesora en Educación Preescolar graduada en el año 2001 en el Instituto Pedagógico de Caracas. Especialista en Tecnología, Aprendizaje y Conocimiento graduada el año 2007 en la Universidad Metropolitana. En el año 2010 obtiene el diploma de Estudios Avanzados en Didáctica y Organización de Instituciones Educativas en la Universidad de Sevilla. Docente de aula de 1˚ grado desde 1999 hasta el año 2005. Actualmente cursando estudios de Doctorado en Didáctica de las Organizaciones Educativas de la Universidad de Sevilla, España. 2Profesora Titular de la Universidad de Sevilla. Doctora en Pedagogía por dicha universidad desde 1999. Comienza a impartir su docencia universitaria en la Facultad de Educación de la Universidad de Huelva en 1995 y en 1998 se incorpora a la de Sevilla. Especialista en Formación del profesorado en TIC. Imparte Master/Doctorado interuniversitario en Tecnología Vol. 12, Nº 1, 2012: 37-67 38 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Resumen El objetivo de la investigación fue aplicar el Método Delphi como técnica de validación de los instrumentos utilizados para evaluar el libro electrónico multimedia Andrés quiere una mascota. Éste es un recurso educativo basado en estrategias de aprendizaje que faciliten el proceso de lectura y escritura en niños de seis y siete años cursantes del primer grado de educación básica. Partiendo del libro electrónico multimedia diseñado y desarrollado, se construyeron los instrumentos de evaluación del objeto de aprendizaje. Para la validación de los mismos se utilizó el Método Delphi como técnica de recolección de datos. Con la versión final de los instrumentos se realizó la evaluación por parte de expertos en contenido, tecnología y docentes usuarios. Las dimensiones evaluadas fueron aspectos funcionales y de utilidad, contenidos y aspectos pedagógicos, diseño y aspectos técnicos. Con esta investigación se logró validar los instrumentos para evaluar un libro electrónico concebido para estimular la lectura y escritura en niños que requieren de motivadores externos que los impulsen a acercarse a estos procesos fundamentales para el desarrollo humano. Palabras clave: Método Delphi, validación de instrumentos, libros electrónicos multimedia. Summary The objective of this research work was to validate, using the Delphi Method, the instruments used to evaluate the multimedia electronic books Andrés quiere una mascota. The electronic book is an educational resource based on reading / writing learning strategies to help children six and seven years old. The evaluating instruments were developed based on the electronic book. The Delphi Method was used to collect the validation data. Content experts, technology experts and teachers evaluated the electronic book using these Educativa desde 2001 (mención de Calidad). Profesora de las asignaturas presenciales de Didáctica General, Tecnologías de la Información y de la Comunicación y Diseño de medios y materiales para la educación. Profesora de asignaturas de Campus Virtual de Nuevas Tecnologías Aplicadas a la Educación y Diseño de Medios. Miembro de la asociación de EDUTEC y de la comisión evaluadora de revistas como PixelBit y Edutec. Concedido un sexenio de investigación. Ha publicado siete libros y participado en más de una veintena y tiene más de treinta artículos publicados en diversas revistas nacionales e internacionales. 39 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena instruments. The evaluated dimensions were functionality and usefulness, content and pedagogical aspects and, design and technical issues. Through this research we validated the instruments for the evaluation of the electronic book, created to stimulate the reading / writing experience on children that need external motivation to develop interest on these human develop processes. Key words: Delphi Method, instruments validation, multimedia electronic books. Introducción La presente investigación consiste en la aplicación del Método Delphi para validar los instrumentos que permitirán la evaluación de un libro electrónico multimedia diseñado para facilitar el proceso de lectura y escritura en niños de seis y siete años. La aplicación de esta metodología se realiza con la finalidad de valorar la confiabilidad de los instrumentos en cuanto al grado de homogeneidad de los ítems y la pertinencia de los mismos de acuerdo con los objetivos propuestos en la investigación. El material a evaluar es un libro electrónico multimedia titulado Andrés quiere una mascota (Briceño, 2010). Consiste en un recurso creado con el programa Lektor, en el cual el niño puede leer y escuchar un cuento, además de realizar una serie de actividades para el refuerzo de contenidos conceptuales, procedimentales y actitudinales vinculados con el primer grado de Educación Básica. Es un recurso que involucra el uso de las tecnologías de la información y comunicación (TIC) para promover aprendizajes significativos y duraderos (Briceño y Fonseca, 2008). La dirección web donde está alojado el recurso es la siguiente: http:// ares.unimet.edu.ve/programacion/siteProg/Milagros/lem/_index.htm La propuesta pedagógica de este recurso tiene como objetivo general lo siguiente: Facilitar en el niño de primer grado la consolidación del proceso de la lectura y escritura a través de la revisión de un cuento donde se Vol. 12, Nº 1, 2012: 37-67 40 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena integren estrategias pedagógicas sustentadas en el enfoque sociocultural de Vygotsky (1896-1934) y la teoría de aprendizaje significativo de Ausubel (1918- ). Estas estrategias permitirán al niño la práctica de las habilidades de leer y escribir (Briceño, 2009: 36). A través de este recurso se busca que el niño emplee de manera adecuada la lengua oral y escrita, basándose la enseñanza en los intereses y necesidades del niño al momento de realizar diversas actividades que promueven la reflexión y concientización de la importancia de la lectura y la escritura para la vida cotidiana. Estas actividades se apoyan en un recurso tecnológico, como los libros electrónicos. Desde hace tiempo se están desarrollando medios basados en las TIC para reforzar estas habilidades y ampliar o reforzar lo que se realiza en el aula, pero no siempre estos reúnen las características necesarias para convertirse en recursos de calidad que favorezcan un aprendizaje significativo en el niño. Por ello, con los instrumentos que se validarán en esta investigación, se pretende evaluar un libro electrónico realizando una valoración de expertos de diversas dimensiones, lo cual permite realizar una evaluación integral del producto. Como lo indican Romero y Cabero (2007), la evaluación de un recurso informático puede utilizarse para alcanzar diferentes funciones: “analizarlos para su adquisición, ver sus efectos, adecuar el material a las características de los receptores potenciales, mejorar sus aspectos técnicos y estéticos, modificar su producción y postproducción, o estudiar su rentabilidad y viabilidad económica” (p. 41). Con los instrumentos de esta investigación se realizará un proceso de valoración que permitirá comprobar el funcionamiento del recurso, la adecuación a la audiencia, la calidad del contenido pedagógico y las características del diseño del mismo; todo esto en función de las mejoras del libro electrónico antes de su utilización con los usuarios finales (niños de seis y siete años). Con la evaluación del libro electrónico multimedia Andrés quiere una mascota se pretende constituir “un entorno original, bien diferenciado de otros materiales didácticos, que aprovechen las potencialidades de las 41 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena tecnologías multimedia e hipertexto” (Romero, en Aguaded y Cabero, 2002: 135), y que pueda servir de recurso para propiciar aprendizajes significativos que consoliden el proceso de lectura y escritura en un clima de intercambio y cooperación con otros niños, padres y maestros. A continuación se describen las técnicas e instrumentos utilizados para la recolección de los datos y se explica el proceso de validación de los cuestionarios a través del Método Delphi. Los cuestionarios son tres instrumentos dirigidos a expertos en contenido, tecnología y docentes usuarios que serán los responsables de evaluar el libro electrónico multimedia. Método Delphi Para la validación de los instrumentos utilizados para evaluar el entorno web y el libro electrónico multimedia Andrés quiere una mascota se puso en práctica el Método Delphi como técnica para lograr el consenso de un panel de expertos3 en torno a la valoración de tres instrumentos dirigidos a especialistas en tecnología, en contenido y docentes usuarios. Método Delphi: conceptualización, características y fases El Delphi es considerado “un método de estructuración de un proceso de comunicación grupal que es efectivo a la hora de permitir a un grupo de individuos, como un todo, tratar un problema complejo” (Linstone y Turoff, 1975, citados por Kasuo y Securato, 1997: s.p.). Es un “programa cuidadosamente elaborado, que sigue una secuencia de interrogaciones individuales a través de cuestionarios, de los cuales se obtiene la información que constituirá la retroalimentación para los cuestionarios siguientes” (Martínez, 2005: s.p.). Este método se organiza por medio de la 3Panel de expertos: es el conjunto de expertos que forma parte del Delphi (Martínez, 2005). Son personas elegidas para que formulen su opinión (Luna y otros, 2005). Vol. 12, Nº 1, 2012: 37-67 42 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena interrogación a expertos con la ayuda de cuestionarios4 sucesivos (circulaciones)5, con la finalidad de dar a conocer las opiniones en torno a un tema en particular. A través del debate en grupo, de forma anónima, se intenta obtener un consenso lo más objetivo posible dentro del conjunto de expertos. Para el análisis de los resultados se utilizan técnicas cuantitativas en cada una de las circulaciones. A través de estos cuestionarios iterativos se pretende “disminuir el espacio intercuartil precisando la mediana” (Martínez, 2005: s.p.). Tomando en consideración los planteamientos de Bravo y Arrieta (2005), el Delphi es una técnica grupal de análisis de opinión que parte del supuesto de que el criterio de un solo individuo es menos fiable que el de un grupo de personas conocedoras del tema, por lo cual se utiliza e investiga la opinión de varios expertos. Pretende lograr el consenso de opiniones individuales por medio de la iteración sucesiva de un cuestionario realimentado por los resultados de la ronda anterior. Las circulaciones se realizan hasta alcanzar el consenso de los expertos. Sahal y Yee (1975), citados por Luna y otros (2005), sostienen que la base de la metodología Delphi surge del reconocimiento de la superioridad del juicio de grupo sobre el juicio individual. De acuerdo con diversos autores (Martínez, 2005; Bravo y Arrieta, 2005; Luna y otros, 2005; Kasuo y Securato, 1997), las principales características de este método son las siguientes: •Anonimato: Los especialistas escogidos no saben quién está participando del proyecto de discusión. Ningún experto conoce la identidad de los otros que componen el grupo de debate, esto se realiza con la finalidad de evitar el efecto del líder y para favorecer 4El cuestionario es el documento que se envía a los expertos. No es sólo una lista de preguntas, sino que es el documento con el que se consigue que los expertos interactúen, ya que en él se presentarán los resultados de anteriores circulaciones (Martínez, 2005). 5Circulaciones: cada uno de los sucesivos cuestionarios que se presentan al grupo de expertos (Martínez, 2005). 43 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena la expresión libre de las opiniones. Sólo se conoce la identidad del moderador6. •Iteración y realimentación controlada: La iteración se consigue al presentar varias veces el mismo cuestionario acompañado de los resultados obtenidos en los anteriores. Esto se realiza con la finalidad de que los expertos vayan conociendo los distintos puntos de vista y puedan ir modificando su opinión si los argumentos presentados les parecen más apropiados que los suyos. Es necesario manejar tantas rondas como sean necesarias para alcanzar el consenso. •Respuesta del grupo en forma estadística: La información que se presenta a los expertos no es sólo el punto de vista de la mayoría, sino que se presentan todas las opiniones, indicando el grado de acuerdo que se ha obtenido. El grado de consenso se presenta por medio de técnicas estadísticas y justificando las respuestas. Según Astigarraga (s.a.), los principales resultados estadísticos que se pueden emplear en un estudio son medidas de tendencia central y dispersión: media, mediana, moda, máximo, mínimo y desviación típica7. Kasuo y Securato (1997) señalan que el Método Delphi puede tener innumerables variaciones, pero de modo general existen dos tipos. El primero, llamado el método convencional, que se caracteriza por ser un cuestionario enviado a los especialistas en espera de su retorno; en este caso, el principal inconveniente es la demora de las respuestas. El segundo tipo es el llamado Delphi en tiempo real, el cual consiste en el uso de computadoras interconectadas en red de modo que los especialistas, de forma anónima, respondan al mismo tiempo el cuestionario para que el procesamiento de la información sea casi instantáneo. La 6Moderador: Es la persona responsable de recoger las respuestas del panel y preparar los cuestionarios (Martínez, 2005). 7La media y la mediana nos indican la tendencia central de la distribución o conjunto de respuesta de expertos, al igual que la moda. El máximo y el mínimo nos indican las respuestas extremas. La desviación nos señala el grado de dispersión en las respuestas (si más o menos los expertos se hallan en torno a las cifras de la media o no). Los cuartiles, vendrían a ayudar también en la visión del grado de dispersión de las respuestas (Astigarraga, s.a.). Vol. 12, Nº 1, 2012: 37-67 44 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena desventaja de esta variación es la difícil tarea de reunir a los panelistas de forma síncrona. Para efectos de esta investigación, se eligió la primera variación del Método Delphi. Cabero y otros (2005) señalan que una de las ventajas de esta técnica es la posibilidad de poder contar con diversidad de expertos ubicados en lugares distintos, permitiendo el ahorro de tiempo y dinero. Por otra parte, favorece la negociación de un equipo interdisciplinario en torno a una problemática en particular. Según Bravo y Arrieta (2005), se establecen tres fases para el desarrollo del Método Delphi. Éstas se comparan con las cuatro fases expresadas por Martínez (2005) y Astigarraga (s.a.): TABLA 1 FASES PARA EL DESARROLLO DEL MÉTODO DELPHI Bravo y Arrieta (2005) Fase preliminar: Se delimita el contexto, los objetivos, el diseño, los elementos básicos de trabajo y la selección de los expertos. En cuanto a la selección de los panelistas es importante tomar en cuenta lo siguiente: 1. Dominio del tema a discutir. 2. Compromiso de colaboración con la investigación. 3. Previo a la primera circulación, deben conocer en qué consiste el método. Martínez (2005) y Astigarraga (s.a.) Fase 1. Formulación del problema: Consiste en definir con precisión el campo de investigación para asegurar que los expertos consultados poseen el conocimiento de este campo. Por otra parte, la elaboración del cuestionario debe seguir algunas recomendaciones: las preguntas deben ser precisas, cuantificables e independientes. Fase 2. Elección de expertos: El experto será elegido por los conocimientos que posea sobre el tema consultado. Para eliminar el efecto de los líderes, la identidad de los panelistas es anónima y sus opiniones son recogidas por vía postal o electrónica. Con esto se pretende obtener una opinión más confiable de cada experto sin que haya influencia por el proceso del grupo. Fase 3. Elaboración y lanzamiento de los cuestionarios: Los cuestionarios se elaborarán de manera que faciliten la respuesta por parte de los 45 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Fuente: Elaboración propia tomando en consideración los planteamientos de Bravo y Arrieta (2005), Martínez (2005) y Astigarraga (s.a.). Se eligió esta técnica de recolección de información para la validación de los instrumentos por la ventaja de contar con un grupo interdisciplinario de expertos que interactúan, de forma no presencial, con un cuestionario que permite recabar, de forma objetiva y cuantitativa, la opinión de los panelistas. Además que la estructura del Método Delphi favorece una revisión constante del objeto de estudio, de modo que éste pueda reunir las condiciones adecuadas para alcanzar el objetivo de esta etapa de la investigación. Bravo y Arrieta (2005) Fase exploratoria: Consiste en la elaboración y aplicación de los cuestionarios según sucesivas circulaciones. Se propone que con las respuestas más comunes de la primera circulación se confeccione la siguiente. Fase final: Análisis estadísticos y presentación de la información. Continuación tabla 1. Fases para el desarrollo del Método Delphi consultados y las cuales puedan ser cuantificadas y ponderadas. “En ocasiones, se recurre a respuestas categorizadas (Si/No; Mucho/Medio/Poco; Muy de acuerdo/ De acuerdo/ Indiferente/ En desacuerdo/Muy en desacuerdo), y después se tratan las respuestas en términos porcentuales tratando de ubicar a la mayoría de los consultados en una categoría” (s.p.). Fase 4. Desarrollo práctico y explotación de resultados: El cuestionario es enviado a cierto número de expertos, acompañado por una carta de presentación que indica: el objetivo de la investigación, explica la metodología del Delphi, el plazo de las respuestas y la garantía del anonimato. Durante la segunda circulación, los expertos son informados de los resultados de la primera consulta, deben dar nuevas respuestas y, si hay diferencias con respecto a la opinión de otro panelista, deben justificar sus planteamientos. En caso de ser necesario, durante la tercera circulación se le solicita a cada experto que comente los argumentos de los que disienten de la mayoría. La cuarta ronda permite la respuesta definitiva: “opinión consensuada, media y dispersión de opiniones (intervalos intercuartiles)” (s.a). Martínez (2005) y Astigarraga (s.a.) Vol. 12, Nº 1, 2012: 37-67 52 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Nº 7 8 Continuación tabla 3. Resultados de la primera circulación de la guía de validación PREGUNTAS ¿La forma en que se presentan los indicadores es la adecuada? ¿Por qué? ¿Cuál opinión le merecen los instrumentos en general? COMENTARIOS EXPERTOS Permitirá que la evaluación sea centrada y sin sesgos (E2). La escala está en sintonía con la información que se pretende obtener (E3). La escala utilizada permite medir de forma adecuada si los objetivos que se fijaron cuando se hizo el diseño del recurso electrónico se lograron (E4). La escala permite ubicar al encuestado en el nivel de satisfacción con la respuesta de la pregunta, en forma congruente y clara (E5). Me parece que sí. Se va cubriendo cada dimensión a evaluar de manera ordenada, permitiendo dar una visión global tanto del entorno como del libro electrónico. Además, son suficientes las preguntas. Más lo haría un trabajo muy tedioso, y menos quizá precarias, por no ser suficiente (E1). Sí, se evalúa cada uno de los aspectos requeridos (E2). ¿La “forma” se refiere al orden o al número de preguntas derivadas de ellos? (E3). Los indicadores están presentados de manera tal que guían al evaluador en el análisis del recurso electrónico (E4). Considero que sí, se observa precisión en los indicadores, están definidos sin dar lugar a ambigüedad, guardan una relación directa con el tema o temas abordados por el proyecto o estudio para el cual se está recolectando información (E5). Creo que están bien. Ordenados y organizados de manera clara. Creo que puedes lograr lo que buscas (E1). Son fáciles de manejar y permiten contrastar la opinión entre expertos en contenido, en tecnología y docentes (E2). Guardan relación entre ellos y la suma de respuestas pudiera aproximarse a la validación deseada. Recomiendo reducir el número de preguntas en cada indicador (E3). Los instrumentos permiten la evaluación integral del libro electrónico, al considerar los distintos elementos que deben estar presentes en un recurso didáctico (E4). Considero que la encuesta está bien estructurada según el tipo de investigación, con la utilización de este instrumento digital, proporciona un costo relativamente bajo. Permitiendo llegar a un gran numero de encuestados (E5). Fuente: Elaboración propia. Leyenda: E1: Experto 1 E2: Experto 2 E3: Experto 3 E4: Experto 4 E5: Experto 5 53 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena 5. Elaboración del segundo cuestionario de validación Luna y otros (2005) señalan que el contenido y el diseño del segundo cuestionario están determinados por las respuestas a la circulación anterior. Pueden agregarse preguntas nuevas de acuerdo con lo expresado por los expertos. Además, es elaborado sobre la base de preguntas cerradas que permitan una nueva valoración cuantitativa del objeto de investigación. La realización de una segunda vuelta propone un doble objetivo: participar a los expertos la información obtenida en la primera circulación; consolidar y revalidar los resultados obtenidos en la encuesta inicial (Astigarraga, s.a.). Tomando en consideración los aportes de diversos autores, las características de la segunda circulación son las siguientes: 1. Se formularon 18 preguntas de tipo cerrado y 2 preguntas de tipo abierto. 2. La escala de valoración fue SÍ/NO 3. El nuevo cuestionario también fue elaborado en la herramienta en línea Encuesta Fácil (www.encuestafacil). 4. Las preguntas son sólo una guía para la validación de los instrumentos. Al final hay una pregunta abierta para que cada experto agregue los aspectos que considere relevantes. La segunda guía de validación estuvo conformada por las siguientes dimensiones e indicadores: Vol. 12, Nº 1, 2012: 37-67 54 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena TABLA 4 GUÍA DE VALIDACIÓN – SEGUNDA CIRCULACIÓN PROPÓSITO DEL INSTRUMENTO Consolidar y revalidar los resultados obtenidos en la primera circulación, relacionada con la validación de los expertos de los instrumentos que servirán para evaluar el entorno web y el libro electrónico multimedia Andrés quiere una mascota. DIMENSIONES Datos generales Carta de presentación e instrucciones de los instrumentos Preguntas de los instrumentos Escala e indicadores Evaluación general SIGNIFICADO Permite conocer la identificación del experto y el tiempo de realización de la validación. Conocer si la carta de presentación y las instrucciones son adecuadas de acuerdo con la población de la investigación. Permite conocer si las preguntas formuladas están en sintonía con el objetivo de la investigación y si éstas permitirán recopilar la información necesaria para ajustar el libro electrónico multimedia. Conocer la opinión en torno a la escala utilizada y a la forma en que son presentados los indicadores. Permite conocer la opinión general en torno a los instrumentos. INDICADORES Nombre Fecha Redacción de la carta Adecuación de la carta Comprensión de las instrucciones Instrucciones suficientes Orden de las preguntas Redacción Preguntas repetitivas Lenguaje utilizado Modificación de alguna pregunta Añadir o quitar preguntas Diseño de las preguntas Escala de acuerdo a la información a obtener N˚ de preguntas por indicador Orden de los indicadores. Apreciación de los instrumentos. TIPO DE ÍTEMS Respuesta abierta Selección simple Selección simple Selección simple Respuesta abierta Fuente: Elaboración propia. 55 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena A la segunda guía de validación se le asignó el código LEM005 y se encuentra disponible en la siguiente dirección web: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=618131 6. Envío de la segunda circulación Con respecto a las nuevas circulaciones, Luna y otros (2005) señalan que los resultados grupales resultantes de la primera ronda deben ser entregados a los panelistas junto con el segundo cuestionario. Esto con la finalidad de que los expertos puedan reformular o mantener algunas de sus opiniones, después de conocer el criterio que destaca en el grupo. Por esta razón se les hizo llegar a los expertos, vía correo electrónico, un informe conformado por dos partes: I Parte – Presentación de los resultados de la circulación 1 II Parte – Circulación N˚ 2 de la guía de validación El informe se encuentra en la dirección: http://www.box.net/shared/ t9n523qz12 En la primera parte se le agregó la tabla con los resultados de la circulación N˚ 1 de la guía de validación (Ver Tabla 3). La segunda parte presenta la explicación de la nueva fase del Método Delphi: a) Con los resultados de la primera circulación se hicieron los ajustes a los instrumentos de evaluación. Estas modificaciones puede ser vistas en las siguientes direcciones: Expertos en contenido: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=622772 Expertos en tecnología: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=622777 Vol. 12, Nº 1, 2012: 37-67 56 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Experto docente usuario: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=622779 b) También se modificó la carta que será enviada a los expertos que evaluarán el libro electrónico multimedia. Las modificaciones están relacionadas con la incorporación de otras instrucciones para hacer más precisa la participación de los expertos en el proceso de valoración. Los cambios pueden ser vistos en el siguiente archivo en línea: http://www.box.net/shared/q4f85p04pu c) Una vez revisados estos cambios, se completó la nueva guía de validación de tipo cuantitativo. En esta etapa sólo debe ser completado un cuestionario, el cual fue construido de acuerdo con las dimensiones e indicadores reflejados en la Tabla 4. La siguiente dirección web fue la que utilizaron los panelistas: http:// www.encuestafacil.com/RespWeb/Qn.aspx?EID=618131 El tiempo que duraron los panelistas en enviar los resultados fue de cinco días. 7. Recolección de resultados de la segunda circulación Diversos autores, como Kasuo y Securato (1997), plantean que las medidas estadísticas más utilizadas para el análisis cuantitativo son la media y la desviación típica. A continuación se presenta un resumen estadístico de los resultados obtenidos en la consulta a los cinco expertos que participaron en la validación: 57 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena TABLA 5 DIMENSIÓN: CARTA DE PRESENTACIÓN E INSTRUCCIONES DE LOS INSTRUMENTOS INDICADORES SÍ NO MEDIA DESVIACIÓN La carta de presentación está bien redactada 4 1 1,20 0,44 La carta de presentación está completa 5 0 1,00 0,00 La extensión de la carta de presentación es adecuada 5 0 1,00 0,00 Las instrucciones se comprenden con facilidad 5 0 1,00 0,00 Las instrucciones son suficientes 5 0 1,00 0,00 Fuente: Elaboración propia. GRÁFICO 1 CARTA DE PRESENTACIÓN E INSTRUCCIONES DE LOS INSTRUMENTOS Vol. 12, Nº 1, 2012: 37-67 58 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena TABLA 6 DIMENSIÓN: PREGUNTAS DE LOS INSTRUMENTOS INDICADORES SÍ NO MEDIA DESVIACIÓN Las preguntas están dispuestas en orden lógico 5 0 1,00 0,00 La redacción de las preguntas permite que se entiendan con facilidad 5 0 1,00 0,00 De acuerdo con la redacción de las preguntas, éstas son repetitivas 2 3 1,60 0,54 Las preguntas poseen un lenguaje muy técnico 1 4 1,80 0,44 ¿Modificaría alguna de las preguntas? 1 4 1,80 0,44 ¿Añadiría alguna pregunta? 0 5 2,00 0,00 ¿Quitaría alguna pregunta? 0 5 2,00 0,00 El diseño de las preguntas ayudará a obtener la información buscada 5 0 1,00 0,00 Fuente: Elaboración propia. GRÁFICO 2 PREGUNTAS DE LOS INSTRUMENTOS 59 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena TABLA 7 DIMENSIÓN: ESCALA E INDICADORES INDICADORES SÍ NO MEDIA DESVIACIÓN Con relación a la escala utilizada, ¿cree usted que es la adecuada para la información que se pretende obtener? 5 0 1,00 0,00 En cada uno de los indicadores, las preguntas son suficientes 5 0 1,00 0,00 Los indicadores están dispuestos en orden lógico 5 0 1,00 0,00 Fuente: Elaboración propia GRÁFICO 3 ESCALA DE VALORACIÓN E INDICADORES DE LOS INSTRUMENTOS Dimensión: Evaluación general Experto 1: Pienso que los instrumentos están listos para ser entregados a los expertos y proceder a la evaluación del material con ellos. Vol. 12, Nº 1, 2012: 37-67 60 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Experto 2: Considero que los instrumentos son sencillos, adecuados y permitirán medir lo que se desea. Anexo unas sugerencias para la carta a expertos (concordancia de número). Experto 3: Me parece que el cuestionario está bien estructurado sobre la base de los atributos valorados a lo largo de este instrumento. Los aportes de los encuestados le darán la validez y la confiabilidad que demanda tu investigación. Experto 4: Los instrumentos para evaluar el entorno y el libro me parecen adecuados, pues las preguntas están bien redactadas y hacen referencia a todos los aspectos, tanto los pedagógicos como los de forma. Experto 5: En mi opinión, los instrumentos responden a todos los parámetros necesarios en el diseño de una encuesta. La cual permitirá la recolección de datos para evaluar el entorno y el libro electrónico multimedia Andrés quiere una mascota. 8. Envío de resultados de la segunda circulación Astigarraga (s.a.) y Kasuo y Securato (1997) señalan que los resultados más destacados de la circulación deben ser recogidos en un informe que contenga tablas estadísticas y los comentarios aportados por los panelistas. Partiendo de esta premisa, se le hizo llegar a los expertos un informe conformado por las siguientes partes: I Parte – Presentación de los resultados de la circulación 2. II Parte – Cierre de la guía de validación. Este documento se encuentra disponible en http://www.box.net/shared/5nqfmj2rj4 En la primera parte se agregaron los resultados de la circulación Nº 2 de la guía de validación (Ver Tablas 5, 6 y 7). 61 Vol. 12, Nº 1, 2012: 37-67 ANALES de la Universidad Metropolitana Aplicación del método Delphi... Milagros Briceño Marcano y Rosalía Romero Tena Con los resultados de esta segunda fase se hicieron los ajustes a los instrumentos de evaluación. También se modificó la carta que será enviada a los expertos que evaluarán el libro electrónico multimedia. Fueron pocos los cambios realizados y la versión definitiva de los tres instrumentos, así como de la carta de presentación, se encuentran en las siguientes direcciones: Expertos en contenido: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=628987 Expertos en tecnología: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=628992 Expertos docentes usuarios: http://www.encuestafacil.com/RespWeb/Qn.aspx?EID=628993 Carta de presentación: http://www.box.net/shared/xk5nz5hrg8 Aunque el Método Delphi comprende varias etapas sucesivas de envío de cuestionarios, de vaciado y de análisis, algunos casos pueden limitarse a dos etapas, sobre todo en aquellos donde se ha utilizado un primer cuestionario con preguntas abiertas (Astigarraga, s.a.; Luna, 2005). En la presente investigación sólo fue necesario aplicar dos circulaciones para la validación de los instrumentos debido a que se logró el consenso de los panelistas. Sobre la base de estos insumos de procedió a realizar la evaluación del entorno web y del libro electrónico multimedia Andrés quiere una mascota. Conclusiones de la investigación Con los instrumentos de esta investigación se pretende realizar el proceso de valoración del libro electrónico. Por esta razón, previamente se validaron estos instrumentos para que un grupo de expertos valorara la pertinencia de los mismos de acuerdo con los objetivos para los cuales fueron diseñados.