La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta

Volumen 65 Número 2 2013 SOCIEDAD ESPAÑOLA DE PEDAGOGÍA BORDON 65 2.indd 1BORDON 65 2.indd 1 13/06/13 15:2613/06/13 15:26 BORDON 65 2.indd 8BORDON 65 2.indd 8 13/06/13 15:2613/06/13 15:26 Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 • 25Fecha de recepción: 31-07-12 • Fecha de aceptación: 19-02-13 LA UTILIZACIÓN DEL JUICIO DE EXPERTO PARA LA EVALUACIÓN DE TIC: EL COEFICIENTE DE COMPETENCIA EXPERTA The Use of Expert Judgment for Assessing ICT: the Coefficient of Expert Competence JULIO CABERO ALMENARA JULIO BARROSO OSUNA Universidad de Sevilla INTRODUCCIÓN. El presente artículo trata sobre el uso de una de las técnicas o estrategias más utilizadas en las diferentes investigaciones en el terreno educativo: el juicio de expertos. Se analizan diferentes aspectos relacionados con el mismo, como la problemática de la conceptualización de los expertos, las ventajas y limitaciones que nos aporta su utilización en la investigación educativa, la diversidad de criterios que podemos movilizar para la selección de los expertos y el número adecuado de utilización de los mismos en una investigación. MÉTODO. Se presenta un proceso de selección de los expertos no muy usual en nuestra investigación educativa, el denominado «Coeficiente de competencia experta» o «Coeficiente K», que se obtiene a partir de la autovaloración realizada por la persona para determinar su competencia experta en la materia objeto de la investigación; más concretamente podemos decir que se obtiene mediante la aplicación de la siguiente fórmula: K = 1⁄2 (Kc + Ka), donde Kc es el «Coeficiente de conocimiento» o información que tiene el experto acerca del tema o problema planteado; y Ka es el denominado «Coeficiente de argumentación» o fundamentación de los criterios de los expertos. RESULTADOS. Se ofrece un ejemplo de aplicación y obtención del mismo en una investigación financiada por el MEC, donde hemos diseñado un «Entorno personal de aprendizaje» (PLE) («Diseño, producción y evaluación de un entorno de aprendizaje 2.0 para la capacitación del profesorado universitario en la utilización educativa de las Tecnologías de la Información y Comunicación») (Dipro 2.0- EDU2009-08893). DISCUSIÓN. El trabajo presentado nos permite llegar a la conclusión de que el la «Técnica de Competencia Experta» nos permite discriminar de forma más adecuada la selección de los expertos. Palabras clave: Evaluación, Tecnologías de la Información y la Comunicación, Juicio de expertos, Coeficiente de competencia experta. Algunas referencias iniciales La utilización de expertos como estrategia para la evaluación de materiales de enseñanza, de instrumentos de recogida y análisis de información, o de las metodologías empleadas es bastante usual en el terreno de la investigación educativa, y constituye, además, la base del método Delphi (Cañibano y Alberto, 2008; Barroso y Cabero, 2010; Romero et al., 2012). Presenta las siguientes ventajas: la teórica calidad de las respuestas alcanzadas, el nivel de profundización de las BORDON 65 2.indd 25BORDON 65 2.indd 25 13/06/13 15:2613/06/13 15:26 Julio Cabero Almenara y Julio Barroso Osuna 26 • Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 del experto con el problema, su experiencia profesional, sus cualidades personales para participar en las investigaciones o su pericia profesional. Y al respecto, posiblemente uno de los trabajos que más se ha extendido en aportar las diferentes características que deben poseer los expertos sea el realizado por Abdolhammadi y Shanteau (1992, 162), que nos ofrece las siguientes: • Adaptabilidad: toman las decisiones adecuadas a la situación. • Asunción de disponibilidad: aceptan los resultados que se alcancen. • Creatividad: pueden encontrar una solución nueva o única a los problemas difíciles. • Experiencia comunicativa: pueden convencer a otros de que poseen un mayor conocimiento del tema. • Conocimiento actual: tienen una amplia base de conocimiento. • Decisiones: toman decisiones de forma rápida, clara y enfáticamente. (*) • Enérgico: son capaces de invertir mucha energía. • Experiencia: tienen en cuenta su experiencia pasada. • Inquisitivo: exhiben una amplia curiosidad para la resolución de las situaciones problemáticas. (*) • Saber qué es relevante: discriminan la información relevante de la irrelevante. • Hacer excepciones: saben cuándo el seguimiento estabiliza las estrategias y cuándo no. • Metódico: se aproximan a las nuevas situaciones problemáticas de forma muy sistemática. • Perceptivo: extraen información de los problemas que otros no saben. • Perfeccionista: intentan logar niveles altos de toma de decisiones para adoptar la mejor de las posibles estrategias. (*) • Apariencia física: presentan una imagen al exterior de ser los mejores para resolver los problemas. (*) • Selectivo en los problemas: utilizan la prospectiva y prevén la planificación en la selección de los problemas. respuestas obtenidas, y el poder recoger una información pormenorizada (Cabero, 2001); al mismo tiempo se la considera como una técnica de gran utilidad para establecer el conocimien- to del arte en contenidos y temáticas difíciles, complejas, novedosas o poco estudiadas (Shanteau, 1992; Lannoy y Procaccia, 2001). En su aplicación uno de los problemas con que nos encontramos es el de la precisión de lo que entendemos por experto, pues el término en sí es bastante polisémico y, muchas veces, poco clarificador. También nos encontramos con el problema de su selección, respecto al que en los últimos tiempos están apareciendo nuevos procedimientos, como el denominado «Coeficiente de competencia experta», sobre el que nosotros nos centraremos en el presente trabajo, y presentaremos la forma en la que lo hemos aplicado en una investigación. Concepto de experto y procedimientos para su selección Como ya hemos señalado, uno de los problemas con que nos enfrentamos a la hora de la selección y concreción de los expertos es que su término es bastante polisémico y, como nos señala el Diccionario de la RAE, suele ir asociado a lo práctico, hábil o experimentado que podemos considerar a una persona. Como indica Mengual (2011, 158), podemos llegar a entender por experto: «tanto al individuo como al grupo de personas que son capaces de proporcionar valoraciones fiables sobre un problema en cuestión, y al mismo tiempo, hacen recomendaciones en función de un máximo de competencia». Por su parte Landeta (2002, 57) los define como «…aquel individuo cuya situación y recursos personales le posibiliten contribuir positivamente a la concesión del fin que ha motivado del trabajo Delphi». Los criterios que se pueden utilizar para su selección son diversos (Brill et al., 2006; García y Fernández, 2008), y van desde la vinculación BORDON 65 2.indd 26BORDON 65 2.indd 26 13/06/13 15:2613/06/13 15:26 La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 • 27 Los entornos producidos, y que fueron objeto de la evaluación, pueden observarse en las siguientes direcciones web: http://tecnologiaedu.us.es/ portal/ y http://tecnologiaedu.us.es/dipro2/ Y para evaluarlo tomamos la decisión de que uno de los procedimientos que íbamos a utilizar para ello era el «juicio de experto» y establecimos los siguientes criterios iniciales para comenzar su selección, es decir, para comenzar la selección de los expertos que conformarían nuestra muestra: • Tener experiencia laboral en el ámbi- to de la Tecnología Educativa, Nuevas Tecnologías aplicadas a la Educación, o Tecnologías de la Información y Comunicación Aplicadas a la Educación. • Tener experiencia laboral en el ámbito de la formación virtual, e-learning, Tecnología Educativa, Nuevas Tecnologías aplicadas a la Educación, o Tecnologías de la Información y Comunicación Aplicadas a la Educación. • Tener experiencia en formación virtual, e-learning y Entornos Personales de Aprendizaje. • Tener una experiencia formativa superior a cinco años. • Ser de diferentes Universidades Españolas. • Ser de diferentes Universidades Latinoamericanas. • El haber colaborado anteriormente en otros trabajos de investigación o de publicación, que nos permitiera realizar una evaluación previa de su seriedad y profesionalidad. Número de expertos a utilizar en una investigación Además de los criterios a utilizar para su selección, otro de los problemas con que nos encontramos en su aplicación es el del número de expertos necesarios para llevar a cabo un estudio (Williams y Webb, 1994; Powell, 2003). Y aquí • Simplificación: saben cómo usar en investigación el «divide y vencerás» con problemas complejos. • Confianza en uno mismo: tienen una fuerte creencia sobre su habilidad para tomar una buena decisión. • Tolerante al estrés: toman decisiones en situaciones de alto estrés. • Cálido y amigable: se llevan bien con las personas, incluso tomando decisiones difíciles. (*) (Nota: * = no son las relevantes). Aplicación de la estrategia del juicio de experto a la evaluación de TIC: Proyecto Dipro 2.0 Criterios iniciales utilizados para la selección de los expertos Nosotros en una investigación centrada en la creación de un «Entorno personal de aprendizaje» (PLE) («Diseño, producción y evaluación de un entorno de aprendizaje 2.0 para la capacitación del profesorado universitario en la utilización educativa de las Tecnologías de la Información y Comunicación» Dipro 2.0- EDU2009-08893) (Cabero, Barroso y Llorente, 2010; Barroso, Cabero y Vázquez, 2012), perseguíamos una serie de objetivos entre los que se encuentran: • Crear un entorno formativo telemático bajo la arquitectura web 2.0, destinado a la formación del profesorado universitario en la adquisición de diferentes capacidades y competencias para la utilización e inserción de las TIC en su actividad profesional. • Validar el entorno formativo telemático, tanto en lo que se refiere a la propuesta de estructurar los contenidos, como a las diversas herramientas de comunicación (blog, wikis…) creadas. BORDON 65 2.indd 27BORDON 65 2.indd 27 13/06/13 15:2613/06/13 15:26 Julio Cabero Almenara y Julio Barroso Osuna 28 • Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 La puesta en acción del «Juicio de experto» en nuestra investigación: la obtención del «Coeficiente de competencia experta» Como es obvio, la calidad de los resultados que se consigan en un estudio donde apliquemos el «juicio de experto» va a estar completamente relacionada con los expertos seleccionados, de ahí que la utilización de un buen procedimiento de selección sea uno de los aspectos al que debamos prestar más atención en nuestro trabajo. Y como podemos imaginarnos, no existe una única forma de poner en acción un «juicio de expertos», y al respecto nos encontramos con diferentes posibilidades, siendo las más usuales las siguientes: a) Agregación individual de los expertos, que consiste en obtener la información de manera individual de los diferentes expertos sin que ellos se encuentren en contacto. b) Método Delphi, en el cual recogemos la opinión de los expertos de forma individual y anónima, devolviéndoles la propuesta de conjunto para su revisión y acuerdo; una débil dispersión nos llevará a señalar que se ha llegado a un acuerdo. c) Técnica grupal nominal, en la que los expertos aportan su información de manera individual, y después de forma grupal y presencial se llega a un acuerdo. d) Método de consenso, donde de forma grupal y de conjunto los expertos seleccionados llegan a establecer un acuerdo. Lógicamente, la selección de uno de estos procedimientos dependerá de diferentes aspectos, como la rapidez con que el investigador deba llevar a cabo el estudio, la profundización de los resultados que desee conseguir y su homogeneidad. Para su selección los investigadores suelen limitarse a la construcción de un biograma del experto, a partir de la formulación de una serie de preguntas respecto a sus años de trabajo, volumen de producción científica, cargos que nos hallamos con diferentes propuestas, como la de Malla y Zabala (1978) que nos sugiere que su número debe oscilar entre 15 y 20; la de Gordon (1994) que los sitúa entre 15-35; la de Landeta (2002) que indica que deben estar comprendido entre 7 y 30; García y Fernández (2008) para quienes el intervalo debe situarse entre 15 y 25; o la propuesta realizada por Witkin y Altschuld (1995) quienes no señalan un número concreto, pero sí nos llaman la atención de que debe ser menor que 50, reconociendo que en algunos casos pueden ser mayores. Desde nuestro punto de vista, la selección del número de expertos depende muchas veces de diferentes aspectos, como son: a) La posibilidad de poseer expertos suficientes con claras referencias hacia la temática analizada. b) El evitar el menor número de pérdida de sujetos entre las dobles y triples vueltas que se hace necesario realizar en algunos estudios. c) El volumen de trabajo que seamos capaces de mover. d) La facilidad con que podamos acceder a los expertos. e) La rapidez con que debamos ofrecer los resultados preliminares, sobre todo en estudios de varias vueltas, para evitar la desmotivación en la participación en el estudio de los «expertos», es decir, evitar la mortandad experimental. En nuestro trabajo, una vez identificados los criterios de selección que hemos señalado anteriormente, nos pusimos en contacto con diferentes personas que creíamos que cumplían los criterios anteriores y que conocíamos por participación en eventos, colaboración en proyectos anteriores de investigación, o que teníamos alguna vinculación histórica con ellos. Comentar que, a la carta de invitación a participar en la investigación, nos contestaron 70, con los cuales inicialmente comenzamos nuestro trabajo. BORDON 65 2.indd 28BORDON 65 2.indd 28 13/06/13 15:2613/06/13 15:26 La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 • 29 El «Coeficiente K» está siendo utilizado en los últimos tiempos en diferentes estudios referidos a distintas problemáticas, y así nos encontramos con los trabajos de: Cuesta y Godinez, (2008); López et al. (2011 y 2012); Góngora et al. (2009); González et al. (2010); González et al. (2009); Herrera et al. (2010); Mengual (2011) y Zayas (2011). Nosotros también lo hemos aplicado en un reciente trabajo con resultados significativos, y por ello vamos a explicar a continuación cómo lo obtuvimos. El cálculo del «Coeficiente de competencia experta» se efectúa a partir de la opinión mostrada por el experto sobre su nivel de conocimiento acerca del problema de investigación, así como de las fuentes que le permiten argumentar el criterio establecido, realizándose a través de las preguntas que presentamos en el Anexo. El coeficiente se obtiene mediante la aplicación de la siguiente fórmula: K = ½ (Kc + Ka) donde: Kc= Es el «Coeficiente de conocimiento» o información que tiene el experto acerca del tema o problema planteado. Es calculado a partir de la valoración que realiza el propio experto en la escala del 0 al 10, multiplicado por 0,1. Ka= Es el denominado «Coeficiente de argumentación» o fundamentación de los criterios de los expertos. Este coeficiente se obtiene a partir de la asignación de una serie de puntuaciones a las distintas fuentes de argumentación que ha podido esgrimir el experto. En la tabla 1, se ofrecen las puntuaciones usualmente utilizadas para la valoración de las fuentes de argumentación, de acuerdo con los diferentes autores (Oñate, 2001; García y Fernández, 2008; López, 2008; García y Fernández, 2008; Blasco et al., 2010) que han desarrollado el procedimiento, lógicamente, en función de la contestación del experto. ha ocupado, titulación…; y desde sus contestaciones en las mismas, se ha inferido la «calidad» y «validez» del experto seleccionado, y su incorporación a la investigación. Sin dejar de señalar que el procedimiento mencionado anteriormente no debe ser radicalmente eliminado, y puede perfectamente combinarse con el que nosotros después vamos a presentar. Tenemos que remarcar que en los últimos tiempos están apareciendo diferentes tipos de técnicas centradas en la autovaloración de la persona para determinar su competencia experta, que pueden permitirnos obtener expertos más significativos para nuestros trabajos. Uno de estos procedimientos es el denominado «Coeficiente de competencia experta» o «Coeficiente K» (Oñate, 2001, García y Fernández, 2008; López, 2008; García y Fernández, 2008; Blasco et al., 2010). TABLA 1. Valoración de las fuentes de argumentación para la obtención de «Coeficiente de Argumentación» (Ka) Fuente de argumentación Grado de influencia de cada una de las fuentes en sus criterios A (alto) M (Medio) B (bajo) Análisis teóricos realizados por el experto 0,3 0,2 0,1 Experiencia obtenida 0,5 0,4 0,2 Estudio de trabajos sobre el tema, de autores españoles 0,05 0,05 0,05 Estudio de trabajos sobre el tema, de autores extranjeros 0,05 0,05 0,05 Conocimiento propio acerca del estado del problema en el extranjero 0,05 0,05 0,05 Intuición del experto 0,05 0,05 0,05 BORDON 65 2.indd 29BORDON 65 2.indd 29 13/06/13 15:2613/06/13 15:26 Julio Cabero Almenara y Julio Barroso Osuna 30 • Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 grado de conocimiento que creían tener acerca de temáticas como las siguientes: formación virtual, formación a distancia, e-learning o entornos de aprendizaje; es decir, sobre aspectos relacionados con nuestra temática de estudio. Lógicamente el valor «0» indicaba absoluto desconocimiento de la problemática que se evalúa, mientras que su opuesto, el valor «10», hacía referencia al pleno conocimiento de la referida problemática. La puntuación media que se obtuvo con los 70 expertos que inicialmente participaron en la investigación fue de 7,91, con una desviación típica del 1,64. Puntuaciones que nos permitían señalar que nuestros expertos consideraban que tenían una aceptable información respecto a la temática sobre la que giraba nuestra investigación. La otra pregunta perseguía la obtención del «Coeficiente de argumentación» y proponía que el experto valorara el grado de influencia que una serie de fuentes habían tenido en el conocimiento que poseía respecto a la formación virtual, formación a distancia, e-learning, entornos personales de aprendizaje... En la tabla 2, presentamos los valores medios y las desviaciones típicas alcanzadas; para su correcta interpretación téngase en cuenta las tres opciones que se le ofrecían al suje- to: baja (1), media (2) y alta (3). Con los valores finales obtenidos se clasifican los expertos en tres grandes grupos: • Si K es mayor a 0,8, mayor o menor o igual a 1: entonces hay influencia alta de todas las fuentes. • Si K es mayor o igual que 0,7, mayor o menor o igual a 0,8: entonces hay influencia media de todas las fuentes Si K es mayor o igual a 0,5, mayor o menor o igual a 0,7 entonces hay influencia baja de todas las fuentes. Tenemos que señalar que, de acuerdo con la filosofía de la propuesta de obtención del «Coeficiente de competencia experta» (Oñate, 2001; García y Fernández, 2008; López, 2008; García y Fernández, 2008; Blasco et al., 2010; Mengual, 2011), aquellos expertos analizados que hubieran obtenido valores inferiores a 0,8 no son contemplados y, por lo tanto, rechazados en el estudio. Como ya hemos señalado anteriormente, en nuestra investigación incorporamos dos preguntas con las que obtener el «Coeficiente experto» (Anexo). La primera de ellas perseguía recoger información respecto a la autovaloración que los expertos se hacían, en una escala de 0 a 10, del TABLA 2. Valoración de diferentes fuentes por el experto para la construcción del conocimiento respecto a la formación virtual, formación a distancia, e-learning , entornos personales de aprendizaje... Medias y desviaciones típicas Fuente Media D.T. Análisis teóricos realizados por usted 2,44 0,694 Su experiencia obtenida de su actividad práctica 2,81 0,392 Estudio de trabajos sobre el tema, de autores españoles 2,57 0,650 Estudio de trabajos sobre el tema, de autores extranjeros 2,34 0,611 Su propio conocimiento acerca del estado del problema en el extranjero 1,94 0,679 Su intuición sobre el tema abordado 2,29 0,684 BORDON 65 2.indd 30BORDON 65 2.indd 30 13/06/13 15:2613/06/13 15:26 La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 • 31 TABLA 3. Valoración de diferentes fuentes por el experto para la construcción del conocimiento respecto a la formación virtual, formación a distancia, e-learning , entornos personales de aprendizaje... Frecuencias y porcentajes Bajo Medio Alto f%f%f% Análisis teóricos realizados por usted 8 11,4 23 32,9 39 55,7 Su experiencia obtenida de su actividad práctica 0 0 13 18,6 5 81,4 Estudio de trabajos sobre el tema, de autores españoles 6 8,6 18 25,7 46 65,7 Estudio de trabajos sobre el tema, de autores extranjeros 5 7,1 36 51,4 29 41,4 Su propio conocimiento acerca del estado del problema en el extranjero 18 25,7 38 54,3 14 20,0 Su intuición sobre el tema abordado 9 12,9 32 45,7 29 41,4 En la tabla 3 presentamos las frecuencias y porcentajes alcanzados para cada una de las fuentes ofrecidas anteriormente. Como ya hemos señalado estas dos preguntas son las tradicionalmente utilizadas para obtener el «Coeficiente de competencia experta» (Oñate et al., 1988; Oñate, 2001; López, 2008; García y Fernández, 2008; Blasco et al., 2010); aunque por supuesto deben adaptarse a la problemática del trabajo que estemos realizando. El análisis de las dos tablas citadas anteriormente nos permite señalar que los 70 expertos, de acuerdo a los criterios expuestos al inicio de nuestro trabajo, mostraban unos altos niveles de argumentación respecto al conocimiento que tienen sobre las temáticas que en nuestro caso se relacionaban con la formación a distancia, virtual, el e-learning y los entornos personales de aprendizaje. Una vez obtenidos el «Coeficiente de conocimiento» (Kc) y el «Coeficiente de argumentación» (Ka), mediante el procedimiento descrito anteriormente, pasamos a concretar el «Coeficiente de competencia experta», obtenido mediante la formulada expuesta en su momen- to. En la tabla 4, ofrecemos los valores alcanzados en los diferentes coeficientes mencionados de 70 expertos a los que inicialmente les enviamos el cuestionario de valoración del entorno. Como podemos observar por los valores señalados en la tabla 4, y de acuerdo con el criterio de no contemplar a aquellos cuyo valor alcanzado en el «Coeficiente de competencia experta» fuese inferior a 0,8, nos llevó a eliminar a 17 de ellos, y por tanto a quedarnos con 53 expertos para la evaluación de nuestros entornos tecnológicos. Con objeto de indagar si las respuestas ofrecidas por los expertos con «Coeficiente de consistencia» superior e inferior al 0,8 discriminaban las evaluaciones que realizaban los expertos respecto a los entornos tecnológicos producidos, aplicamos la prueba U de Mann-Whitney (Siegel, 1976; Pardo y Ruiz, 2005), para contrastar las siguientes hipótesis: • H0 (Hipótesis Nula): No hay diferencias significativas, con un riesgo alfa de equivocarnos, entre las opiniones que ofrecieron los expertos que mostraban un BORDON 65 2.indd 31BORDON 65 2.indd 31 13/06/13 15:2613/06/13 15:26 Julio Cabero Almenara y Julio Barroso Osuna 38 • Bordón 65 (2), 2013, 25-38, ISSN: 0210-5934 de la conceptualisation de problème de les experts, les avantages et les limites quirendent son utilisationdans la recherche en éducation, la diversité des approches que nouspouvonsmobiliserpour la sélection des experts, et le nombre approprié de celui-ci l’utilisationdans une enquête. Plus précisément, nousprésentons un processus de sélection des expertsn’estpastrèshabituelsdansnotrerecherche en éducation, le coefficient de soi-disantexpert de compétenceou le coefficient «K», quiestobtenu à partir de l’auto-évaluationpar la personneafin de déterminerleurcompétenced’expertdans le objet de l’enquête, plus précisément, nouspouvonsdire que l’onobtient en appliquant la formule suivante: K = ½ (Kc + Ka), où Kc = le «coefficient de la connaissance» ou de l’information que l’expert sur le sujetouproblème, et Ka = est le «coefficient de l’argument» ou de la fondation des critèrespour les experts. Un exempled’application et de l’obtenirdans une recherchefinancée par le MEC, oùnousavonsconçu un «environnementd’apprentissagepersonnel» (PLE) («Conception, réalisation et évaluationd’unenvironnementd’apprentissage 2.0 pour la formation des professeursd’université sur l’utilisationpédagogique des technologies de l’information et de la Communication «(2,0-EDU2009 Dipro-08893). Mots clés: Évaluation, technologies de l’information et de communication, un jugementd’expert, le facteur de la compétenced’experts. Perfil profesional de los autores Julio Cabero Almenara Catedrático de Tecnología Educativa de la Universidad de Sevilla, Director de Secretariado de Recursos Audiovisuales y Nuevas Tecnologías de la Universidad de Sevilla, Director del Grupo de Investigación Didáctica. Ha publicado diferentes trabajos en revistas especializadas sobre Tecnología Educativa. Ha impartido conferencias en diferentes Universidades españolas y latinoamericanas. Pueden encontrarse más referencias del autor en http://tecnologiaedu.us.es Correo electrónico de contacto: caber[email protected] Julio Barroso Osuna Profesor Titular de Tecnología Educativa de la Universidad de Sevilla, Director del Departamento de Didáctica y Organización educativa de la Universidad de Sevilla, Director del Grupo de Investigación Didáctica. Ha publicado diferentes trabajos en revistas especializadas sobre Tecnología Educativa. Ha impartido conferencias en diferentes Universidades españolas y latinoamericanas. Pueden encontrarse más referencias del autor en http://tecnologiaedu.us.es Correo electrónico de contacto: jbarr[email protected] BORDON 65 2.indd 38BORDON 65 2.indd 38 13/06/13 15:2613/06/13 15:26