Aportaciones desde la investigación para la utilización educativa de los MOOC

7 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Resumen: La formación online a través de los MOOC ha cobrado una gran relevancia en los últimos años, como demuestran las publicaciones que se han realizado en torno a ellos. En las líneas siguientes presentamos un meta-análisis de las investigaciones realizadas respecto a las posibilidades educativas de los mismos. Este se ha realizado en torno a las revistas publicadas en el área de Ciencias Sociales vinculadas al área de tecnología educativa y que, además, se publican de manera abierta y se encuentran indezadas en JCR, Scimago Journal-SCOPUS y Sello Fecyt en los últimos cinco años (2011- 2016). El principal resultado alcanzado es el que se refiere al diseño de materiales y contenidos, siendo el método más empleado de investigación el de corte cuantitativo, empleando mayoritariamente el cuestionario para la recogida de los datos. Como conclusión inicial se puede indicar la necesidad de ampliar el horizonte de estudio a revistas educativas de corte generalista. Descriptores: Enseñanza y formación online, MOOC, meta-análisis, revistas en abierto. Abstract: In recent years, online teaching and training with MOOCs has become increasingly important. This is demonstrated by the number of publications about them. Here we present a meta-analysis of the research that has been performed, focusing on the educational opportunities provided by MOOCs. This study was conducted using Social Sciences peer review open journal publications from the last five years (2011-2016). These indexed publications can be found in the following databases: JCR, Scimago Journal-SCOPUS, and Sello Fecyt. The main result obtained was quantitative data gathered from questionnaires referring to the most worked area of materials and content design. As an initial conclusion, it identifies a need to broaden the scope of study to include more general educational journals. Keywords: Online teaching and training, MOOC, meta-analysis, open journal publication. Aportaciones desde la investigación para la utilización educativa de los MOOC Research contributions on the educational use of MOOCs Dr. Julio CABERO-ALMENARA. Catedrático. Universidad de Sevilla ([email protected]) Dra. Verónica MARÍN-DÍAZ. Profesora Titular. Universidad de Córdoba ([email protected]) Dra. Begoña E. SAMPEDRO-REQUENA. Profesora Contratada Doctora. Universidad de Córdoba ([email protected]) Fecha de recepción de la versión definitiva de este artículo: 18-04-2016. Cómo citar este artículo: Cabero-Almenara, J., Marín-Díaz, V. y Sampedro-Requena, B. E. (2017). Aportaciones desde la investigación para la utilización educativa de los MOOC | Research contributions on the educational use of MOOCs. Revista Española de Pedagogía, 75 (266), 7-27. doi: https://doi.org/10.22550/REP75-1-2017-01 Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 8 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 1. Introducción Hablar de MOOC (Massive Open Online Course) o cursos masivos en abierto es hacerlo de una tecnología o una estrategia educativa considerada emergente, de gran interés y que ha despertado al mismo tiempo fuertes expectativas y fuertes críticas. Con respecto a sus expectativas encontramos que varias ediciones del Informe Horizon los han puesto como una tecnología que se incorporaría de manera masiva y rápida al sistema educativo (Durall, Gros, Maina, Johnson y Adams, 2012; Johnson, Adams, Cummins, Freeman, Ifenthaler y Vardaxis, 2013; Johnson, Adams Becker, Cummins, Estrada, Freeman y Ludgate, 2013). En esta línea también encontramos a aquellos que han hablado de los mismos como de una tecnología disruptiva que transformaría las relaciones profesor-alumno que tradicionalmente se dan en la enseñanza y llevarían la educación a todos los rincones del mundo (Conole, 2013; Marauri, 2014; Bonk, Lee, Reeves y Reynolds, 2015). Al mismo tiempo nos encontramos con autores (Popenici, 2014; Cabero, 2015; Valverde, 2015) que han mostrado críticas hacia las posiciones más románticas y maximalistas que han generado. Podemos observar también su importancia por el esfuerzo realizado por diferentes revistas en la organización de números monográficos sobre su temática, como por ejemplo: Apertura. Revista de Innovación Educativa (2014, 6, 1, «Aprovechamiento y efectividad del uso de las TIC y los MOOC»); Comunicar (2015, 22, 44, «MOOC en la educación»); RIED. Revista Iberoamericana de Educación a Distancia (2015, 18, 2, «La filosofía educativa de los MOOC y la educación universitaria»); Profesorado. Revista de Currículum y Formación del Profesorado (2014, 18, 1, «Los MOOC y la Educación Superior: La expansión del conocimiento»); o Educación XX1 (2015, 18, 2, «MOOC. De la teoría a la evidencia»). Un aspecto que consideramos significativo es determinar si los MOOC son o no una tecnología. Desde nuestro punto de vista no son en sí mismos una tecnología, sino que debemos percibirlos como un medio y recurso que es soportado por diferentes tecnologías, como son sitios web, clips de vídeo, plataformas de teleformación o podcast de audio. En lo que se refiere a sus características significativas y de acuerdo con las propuestas realizadas por diferentes autores (Castaño y Cabero, 2013; Vázquez, López y Barroso, 2015), las podemos encuadrar en las siguientes: es un recurso educativo que tiene cierta semejanza con una clase; tienen fechas de comienzo y finalización; cuentan con mecanismos de evaluación; se desarrollan en línea; su acceso es gratuito; son abiertos a través de la web y no tienen criterios de admisión, y, por último, permiten la participación interactiva a un grupo masivo de estudiantes. Tampoco podemos perder de vista que, al hablar de los MOOC, podemos encontrar diferentes concepciones, o, mejor dicho, aplicaciones o tipologías de los mismos (Cabero, Llorente y Vázquez, 2014; Vázquez, López y Barroso, 2015), que básicamente se aglutinan en tres categorías: xMOOC, cMOOC y un modelo híbrido que ha sido denominado como tMOOC. Aunque algunos autores como Clark (2013) amplían sus tipos a siete: trans- Aportaciones desde la investigación para la utilización educativa de los MOOC 9 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 ferMOOCs, madeMOOCs, synchMOOCs, asynchMOOCs, adaptiveMOOCs, groupMOOCs, connectivistMOOCS y mini- MOOCSs. Además actualmente se empieza a hablar de los POOC (Personalized Open Online Course). Centrando la atención en las tres categorías inicialmente citadas, encontramos que los xMOOC son modelos de diseño de MOOC claramente apoyados en que los estudiantes adquieran una serie de contenidos; en cierta medida, podríamos decir que son las mismas versiones en línea de los formatos tradicionales de aprendizaje (lectura, instrucción, discusión, etc.) que las universidades desarrollan en sus acciones de e-learning... En contrapartida, los cMOOC no se centran tanto en la presentación de los contenidos de manera formalizada, sino más bien en comunidades discursivas que crean el conocimiento de forma conjunta (Cabero y otros, 2014, pp. 17-18). El último tipo, el tMOOC, se centra en la realización de tareas y actividades por parte del estudiante. Moya (2013, p. 167) ha relacionado los tipos básicos de MOOC, con los pilares básicos del Informe Delors (Tabla 1), ofreciendo con ello una visión de sus posibilidades educativas. Tabla 1. Pilares de la Educación del Informe Delors y xMooc y cMOOC. Pilares de la Educación xMOOC cMOOC Aprender a conocer. — El aprendizaje centrado en la información que transmite el docente. — Aprendizaje lineal y guiado. — Aprendizaje a partir de compartir el conocimiento con los demás. — Aprendizaje activo y participativo. Aprender a hacer. — Las tareas que proponen son más de valorar si se han asumido los contenidos a partir de una autoevaluación. — El aprendizaje es pasivo. — Las tareas dependen de la implicación de los participantes y de su relación con el resto. — Es un aprendizaje más activo, resaltando el aprender haciendo: «learningbydoing». Aprender a vivir juntos. — Desde el planteamiento del modelo juntos xMOOC no se contempla esta perspectiva de aprender a convivir, ya que el proceso de aprendizaje es totalmente individual. — La conexión que se establece en esta modalidad de cursos es un buen ejemplo del aprendizaje compartido, colaborativo, cooperativo y por tanto implica relación con el resto de la comunidad del curso. Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 10 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Pilares de la Educación xMOOC cMOOC Aprender a ser. — Los xMOOC proponen un aprendizaje totalmente individualizado, por lo que dependerá del propio participante que se desarrolle o no. — Carácter de formación y aprendizaje para toda la vida: «longlifelearning». — La propuesta refleja claramente este aprendizaje, ya que implica en todo momento que la conexión con el resto de los participantes y las interacciones nos hacen crecer y desarrollarnos como personas. — Mantiene la esencia del aprendizaje para toda la vida: «long life learning». Fuente: Moya, 2013, p. 67. Las críticas apuntadas por diferentes autores (Zapata, 2013; Popenici, 2014; Cabero, 2015; Valverde, 2015) van en diferentes direcciones, siendo las más significativas las siguientes: en algunos modelos de MOOC el eje fundamental sobre el que pivota todo el diseño y desarrollo curricular es el conocimiento como producto; la unidireccionalidad en la transmisión de los contenidos que otorga el papel de «experto» del docente a un papel «bancario» del estudiante; el futuro de la educación no puede cambiarse simplemente por la incorporación de tecnología; la existencia de una fuerte distancia cognitiva entre docente y discente; y por último, que su carácter masivo hace imposible establecer interacciones significativas entre los estudiantes. Para finalizar estas referencias iniciales citaremos el trabajo de Hollands y Tirthali (2014), los cuales realizaron 62 entrevistas a diferentes actores de 29 instituciones que incorporaban los MOOC en sus prácticas educativas, identificando al final seis objetivos principales por los cuales los cursaban: — Extender el alcance de la institución y el acceso a la educación. — Construcción y mantenimiento de la marca. — La mejora de la economía mediante la reducción de costos o el aumento de los ingresos. — La mejora de los resultados educativos, para los participantes MOOC y estudiantes en el campus. — La innovación en la enseñanza y el aprendizaje. — Llevar a cabo investigaciones sobre la enseñanza y el aprendizaje. Y es precisamente en el último de ellos en el cual se centra nuestro trabajo, en analizar qué tipos de acciones se han realizado desde las mismas. 2. Método Este estudio tiene como objetivo principal el análisis de las diversas contribuciones que se han realizado a revistas científicas de corte educativo y de ámbito internacional sobre los MOOCs entre el período de 2011-2016. Aportaciones desde la investigación para la utilización educativa de los MOOC 11 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Por consiguiente, el trabajo que se presenta se basa en una revisión sistemática de diversos artículos, en los que se abordaba la temática de los MOOCs pretendiendo obtener un índice cuantitativo común (Sánchez-Meca, 2010), es decir el denominado meta-análisis, mediante el cual hemos efectuado una búsqueda metódica en diversas bases de datos del área de Ciencias Sociales pero atendiendo a revistas que fueran de carácter tecnológico educativo de acceso abierto; y cualitativo, identificando las diversas áreas que se afrontan en estos cursos abiertos masivos en línea desde el ámbito más científico. Para efectuar la revisión sistemática se ha partido del análisis realizado por Liyanagunawardena, Adams y Williams (2013), los cuales analizaron las publicaciones efectuadas entre 2008 y 2012 sobre MOOC; en concreto, abordaron desde una perspectiva cuantitativa y cualitativa diversas aportaciones científicas clasificándolas según la tipología de la publicación, el año de la misma y los autores, y categorizaron finalmente ocho temáticas o áreas de interés. Asimismo, se ha considerado el meta-análisis realizado por Sangrà, González-Sanmamed y Anderson (2015), el cual catalogó 228 trabajos de investigación, desde una naturaleza de identificación de componentes, obteniendo once categorías temáticas, y volumen en función del año y el tipo de publicación de MOOC en el período de 2013-2014. La metodología planteada en este estudio se basa, inicialmente, en los anteriores análisis, seleccionando como palabra clave «MOOC» en diversas bases de datos donde se encuentran alojadas las revistas y las aportaciones más relevantes sobre la temática de esta observación sistemática. En concreto, se buscó en ISI Web of Knowledge para las contribuciones con factor de impacto JCR, Scimago Journal & Country Rank, SCOPUS y Sello Fecyt, aunque en todas se partió de la premisa de que tuvieran acceso libre y que fueran revistas del campo de la Tecnología Educativa. Al igual que ocurrió en los estudios de Liyanagunawardena y otros (2013) y Sangrà y otros (2015), se rechazaron los artículos que no correspondían íntegramente al campo de nuestro análisis; de esta forma establecimos como criterio de relevancia todos aquellos artículos que tuvieran ingresados en revistas con factor JCR y SCOPUS, ambas y JCR-SCOPUS-Sello Fecyt; y, además, que fueran artículos tanto de investigación como teóricos. Finalmente, se recopilaron un total de 89 artículos de las diferentes revistas consultadas, concernientes al período comprendido entre 2011 y los dos primeros meses de 2016. Para efectuar el análisis cuantitativo se contemplaron algunas de las categorías expresadas en el estudio de Cabero y otros (2008), referido a un meta-análisis de e-learning, y las propuestas por los análisis precedentes; finalmente se consideraron: tipo de documento (investigación o teórico); índice de impacto de la revista; tipo de sección dentro de la revista; institución a la que se dirigen; metodología y diseño de investigación planteado; tipo de instrumento; etc.; con las mismas categorías se clasificaron y categorizaron los artículos abordados. Para identificar las diversas temáticas o áreas que se desarrollan sobre Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 12 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 los MOOC, en análisis cualitativo, consideramos los estudios previos ya señalados de Liyanagunawardena y otros (2013), y Sangrà y otros (2015), y la investigación de Hollands y Tirthali (2014), la cual se dirigía a la exploración de la relación coste-eficacia que posee la creación de estos cursos para las instituciones. En total se plantearon 21 áreas sobre los MOOC: 1. Diseño de contenidos y materiales. 2. Análisis y/o presentación plataformas MOOC. 3. Beneficio institucionales. 4. Problemática de la evaluación en los cursos MOOC. 5. Economía en los MOOC: modelo de negocio. 6. Uso de las herramientas de comunicación en los MOOC. 7. Motivación e implicación de los alumnos. 8. Comparativa con otras estrategias virtuales de formación. 9. Cuestiones culturales y de accesibilidad. 10. Gestión y administración de los MOOC. 11. Minería de datos educativos: analíticas de aprendizaje. 12. Diseño de actividades. 13. Diferentes tipos de MOOC. 14. Técnicas y estrategias de evaluación. 15. Problemática de aplicación de los MOOC. 16. Recursos audiovisuales en los MOOC. 17. Tasa de abandono-Tasa de fracaso. 18. Metodología y estrategias pedagógicas. 19. Teorías de aprendizaje y MOOC. 20. Problemática en las tutorías. 21. Certificación y acreditación con los MOOC. Después del análisis previo, las mismas quedaron reestructuradas en las siguientes áreas temáticas sobre MOOC: — Diseño de contenidos y materiales. — Análisis y/o presentación de plataformas MOOC. — Beneficios institucionales. — Problemática de la evaluación en los cursos MOOC: técnicas y estrategias de evaluación. — Economía en los MOOC: modelo de negocio. — Herramientas de comunicación en los MOOC. — Motivación e implicación de los alumnos. — Comparativa con otras estrategias virtuales de formación. — Problemática de aplicación de los MOOC. — Metodología y estrategias pedagógicas. — Teorías de aprendizaje y MOOC. — Otras (en las que se recogen diversas temáticas por cada aportación que no se expresan en las áreas propuestas). 3. Resultados Atendiendo a los resultados obtenidos respecto al año de publicación, en el periodo de 2011 a 2016 (este último en los dos primeros meses), los artículos analizados en revistas de tecnología educativa reflejan que existe un aumento en las aportaciones, dado que donde concurren Aportaciones desde la investigación para la utilización educativa de los MOOC 13 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 un mayor número de artículos científicos sobre el tópico MOOC es en 2015 (50,6%) y una menor cantidad en 2012 (3,4%); asimismo, se observa como en sólo dos meses estudiados del 2016 existen el doble que en 2013 (7,9%), mientras que en 2011 hay un 0%, hecho que induce a pensar que en 2016 se superaran las contribuciones científicas del 2015. En referencia al índice de impacto de los que gozan las revistas donde se encuentran los artículos seleccionados, encontramos que solo de uno de los artículos se encuentra en revistas indexadas en JCR (1,1%), mientras que la mayoría se engloban en revistas que disfrutan de factor de impacto JCR y SCOPUS (57,3%). Por otro lado, el 32,6% de las aportaciones científicas están en revistas de SCOPUS y el 9% en la categoría de todos los índices. A la hora de clasificar los artículos seleccionados por el número de autores que firman el mismo, observamos que predomina la opción de tres autores (43,8%); en cambio, los artículos de más de tres autores son menores (13,5%). Por otro lado, existe igual frecuencia y porcentaje en las publicaciones firmadas por uno o dos autores (21,3% ambos). Resultado que difiere del estudio de Liyanagunawardena y otros (2013), en el que predominaban los artículos de un solo autor. Los resultados que se arrojan del análisis de género son lógicos, dado que la mayoría de los artículos estudiados son mixtos (47,2%), seguidos de los escritos por hombres (33,7%); en cambio, existe menor cuantía en la autoría de solo mujeres (19,1%). Este hecho se observa más claramente al consultar los artículos por número de autoría y género (Tabla 2), donde se pone de manifiesto que existen más artículos de un solo autor firmado por un hombre (53,3%), mientras que en las mujeres son superiores las autorías de dos (52,9%). Sin embargo, los artículos de género mixto firmados por tres autores son mayoritarios (64,3%). Tabla 2. Distribución de los artículos por número de autores y género. Hombre Mujer Mixto F (%) F (%) F (%) Uno 16 53,3 3 17,6 0 0 Dos 4 13,3 9 52,9 6 14,3 Tres 826,7 4 23,5 27 64,3 Más de 3 2 6,7 1 5,9 9 21,4 Total 30 100 17 100 42 100 Fuente: Elaboración propia. Al analizar los artículos en su tipo, según sean teóricos o de investigación, encontramos que la mayoría de ellos en revistas del ámbito tecnológico son de Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 14 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 investigación (68,5%) y solo el 31,5% son teóricos. Con respecto al espacio donde aparecen los documentos, podemos advertir que la gran mayoría están ingresados en monográficos (57,3%), seguidos de los publicados en acciones libres (40,4%), mientras que solo un 2,2% están publicados como editorial. Al distribuir el carácter del número de revista (sección) por la tipología del artículo, se refleja que mayoritariamente los artículos teóricos se encuentran dentro de los números especiales o monográficos de las revistas (60,7%); sin embargo, los de investigación se presentan divididos entre los artículos libres (44,3%) y los monográficos (55,7%). Atendiendo a la institución a la que se dirigen los artículos analizados de revistas tecnológicas (Tabla 3), encontramos que en la mayoría es difícil la identificación de los mismos (66,3%); el 31,5% a la universidad; y, tanto los dirigidos a instituciones no universitarias como los escritos para varias instituciones, expresan el mismo porcentaje (1,1%, ambos). Tabla 3. Artículos por institución a la que se dirigen. Frecuencia Porcentaje % Universitaria 28 31,5 No Universitaria 1 1,1 Empresarial 0 0 Institucional 0 0 Varias 1 1,1 Sin identificación 59 66,3 Total 89 100 Fuente: Elaboración propia. El tipo de metodología abordada en el artículo es otra de las variables que se ha tenido en cuenta en este análisis; para la misma se ha considerado que los artículos teóricos pueden clasificarse en cualitativos al entender que abordan el estado de la cuestión de forma reflexiva y argumentativa (Álvarez y San Fabián, 2012; Dorio, Sabariego y Massot, 2012). Los artículos de metodología cuantitativa son los más numerosos (48,3%), seguidos de los instrumentales (28,1%); los de carácter cualitativo son un 19,1% y mixtos el 4,5%. Atendiendo al diseño utilizado en las investigaciones que dieron lugar a la publicación, los datos reflejan que existen más etnográficos (37,1%) y experimentales (33,7%), mientras que los de evaluación son los que menos se abordan (3,4%) (Gráfico 1). Aportaciones desde la investigación para la utilización educativa de los MOOC 15 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Gráfico 1. Artículos por diseño de investigación seguido. Si tenemos en cuenta el instrumento utilizado para la recogida de la información en los artículos analizados (Tabla 4), encontramos que los cuestionarios son los instrumentos más utilizados (50,6%), seguidos del análisis de documentos (38,2%), y siendo la Técnica Delphi la menos empleada (1,1%). Asimismo, debemos destacar que más de la mitad de los instrumentos planteados no son empleados en los artículos analizados sobre MOOC en revistas de tecnología. Tabla 4. Artículos por instrumento empleado. Frecuencia Porcentaje % Cuestionarios 45 50,6 Entrevistas 4 4,5 Registros narrativos 3 3,4 Escalas de estimación 2 2,2 Técnica Delphi 1 1,1 Análisis de documentos 34 38,2 Sociogramas 0 0 Escala de actitudes 0 0 Observación de participación 0 0 Anecdotarios o diarios 0 0 Grupos de investigación 0 0 Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 22 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 1 2 3 4 5 6 f % f % f % f % f % f % Motivación e implicación de los alumnos 5 11,1 0 0 0 0 0 0 0 0 0 0 Comparativa con otras estrategias virtuales de formación 0 0 1 25,0 0 0 0 0 0 0 0 0 Problemática de aplicación de los MOOC 1 2,2 0 0 0 0 0 0 1 100 14 41,2 Metodologías y estrategias pedagógicas 0 0 1 25 0 0 0 0 0 0 1 2,9 Teorías de aprendizaje y MOOC 1 2,2 0 0 0 0 0 0 0 0 6 17,6 Otras (en las que se recogen diversas temáticas por cada aportación que no se expresan en las áreas propuestas). 11 24,4 125000000 8 23,5 Total 45 100 4 100 3 100 2 100 1 100 34 100 Fuente: Elaboración propia. Nota: Las categorías establecidas corresponden a 1: Cuestionarios; 2: Entrevistas; 3: Registros narrativos; 4: Escalas de estimación; 5: Técnica Delphi; y, 6: Análisis de documentos. Por último, si abordamos la distribución de temáticas por etapas a las que se dirigen los artículos analizados (Gráfico 4), podemos observar que dentro de la etapa universitaria el área más recurrente es «Diseños de contenidos y materiales» (41,4%), seguida de «Otras, entendida como la categoría que recogen diversas temáticas por cada aportación que no se expresan en las áreas propuestas» (17,2%), mientras que de los artículos que se orientan a la etapa universitaria las áreas menos repetidas son «Análisis y/o presentación de plataformas MOOC», «Economía en los MOOC: modelo de negocio» y «Herramientas de comunicación en los MOOC» (todas 3,4%). La etapa preuniversitaria solo es abordada en el «Diseño de contenidos y materiales», concretamente en el artículo «Blending for student engagement: Lessons learned for MOOCs and beyond» de la revista Australasian Journal of Educational Technology. Del mismo modo que la temática «Comparativa con otras estrategias virtuales de formación» solo se dirige a la etapa de adultos. La etapa postuniversitaria es ubicada mayormente en la categoría de «Otras» (50%), mientras que se orienta menos en las temáticas de «Diseño de contenidos y materiales» y «Teorías de aprendizaje y MOOC» (ambas 25%). Finalmente, los artículos que se dirigen a «Otros», como etapa educativa, son más recurrentes en las temáticas de «Di- Aportaciones desde la investigación para la utilización educativa de los MOOC 23 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 seño de contenidos y materiales» y «Problemática de aplicación de los MOOC» (ambos 29,6%), mientras que las áreas «Problemática de la evaluación en los cursos de MOOC: técnicas y estrategias de evaluación» y «Economía en los MOOC: modelo de negocio» (ambas 1,9%) son menos repetidas para esta etapa. Gráfico 4. Distribución de temáticas por etapa a la que se dirige. 4. Conclusiones y discusión de los resultados Lo primero que nos gustaría señalar es que en los últimos cinco años las publicaciones relacionadas con el tópico de los MOOC se han ido ampliando, lo que denota que es una temática que está teniendo un alto impacto en el terreno educativo, como pone de manifiesto el Observatorio de Innovación Educativa del Instituto Tecnológico de Monterrey (Tecnológico de Monterrey, 2014). En este aspecto del trabajo coincidimos con las conclusiones obtenidas por Zancarano y Souza (2017), que lo exponen con claridad en su estudio bibliométrico, donde además señalan la fuerte presencia de los autores anglosajones preocupados por el análisis de los MOOC. Debemos reconocer también que ese fuerte impulso inicial como tecnología disruptiva lo ha ido perdiendo y ya no suele aparecer en los últimos informes Horizon como una tecnología de impacto con horizonte cercano en el terreno educativo (Johnson, Adams, Cummins, Estrada, Freeman y Hall, 2016) y además ya comienzan a aparecer artículos sobre la desilusión que han creado, por las altas y grandes expectativas despertadas (Rohs y Ganz, 2015) y respecto a la necesidad de reflexionar sobre la calidad en estas acciones formativas (Aguaded y Medina, 2015; Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 24 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Mengual y Roig, 2015; Ramírez-Fernán- dez, 2015). Este interés educativo podemos también observarlo en las grandes líneas de problemáticas de investigación que sobresalen de nuestro trabajo, como son: «Diseño de materiales y contenidos» y «Problemática de aplicación de los MOOC», temáticas que están siendo reclamadas por diferentes trabajos últimamente publicados sobre los MOOC (Vázquez y otros, 2015; Zancarano y Souza, 2017), aunque también empiezan a aparecer las voces que reclaman un análisis sobre las posibilidades que los mismos tienen sobre el rendimiento académico de los alumnos (Castaño, Maíz y Garay, 2015). Nos gustaría destacar que no solo ha aumentado el volumen de trabajo sino que también, lo que es más significativo desde nuestro punto de vista, han aumentado las investigaciones sobre su aplicación al terreno educativo. Esto nos lleva a señalar que ya ha pasado la fase tecnológica instrumentalista y literaria sobre los MOOC y empieza una fase de replanteamiento sobre cómo incorporarlos a la práctica educativa, cómo diseñarlos y qué tipo de estrategias metodológicas podemos aplicar con ellos; es decir, lo que Vázquez y otros (2015) referían como retos pedagógicos y de calidad a los que se deberían enfrentar los MOOC. En este aumento de publicaciones coincidimos con el trabajo de Zancarano y Souza (2017), que lo exponen con claridad en su estudio bibliométrico, donde además señalan la fuerte presencia de autores anglosajones preocupados por el análisis de los MOOC. Nuestro estudio pone de manifiesto que los ámbitos en los cuales se está fundamentando la aplicación de los MOOC son por una parte el universitario y por otro las acciones formativas destinadas a la capacitación de las personas ya formadas, es decir a su perfeccionamiento. Hay aspectos de aplicación educativa señalados por la gran mayoría de los autores que desde un punto de vista teórico están analizando en los últimos tiempos las posibilidades educativas de los MOOC (Bonk y otros, 20015; Vázquez y otros, 2015). En estas conclusiones nos gustaría señalar que el tipo de investigación que destaca es la cuantitativa, y ello entraría en consonancia con los meta-análisis que se han realizado sobre otras tecnologías como es el e-learning (Cabero y otros, 2008), que ponen de manifiesto que este tipo de paradigma gana progresivamente significación en el terreno de la investigación educativa tecnológica. En lo que se refiere a los instrumentos de recogida de información, el más empleado es el cuestionario en la temática referida a «Diseño de materiales y contenidos». Y los menos trabajados o empleados son los registros narrativos y las escalas de estimación, las cuales solo se utilizan en la temática concerniente al «Diseño de contenidos y materiales» (en ambos casos 100%). En cambio, la técnica Delphi es empleada en «Problemática de aplicación de los MOOC». Aunque empiezan a aparecer otras problemáticas como la referida a buscar enclaves teóricos con teorías educativas y psicológicas, aspecto que empieza a ser reclamando por diferentes autores en los últimos tiempos (Terras y Ramsay, 2015). Aportaciones desde la investigación para la utilización educativa de los MOOC 25 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Tenemos que señalar que en un volumen significativo de trabajos encuadrados dentro de la metodología cualitativa se utilizan las entrevistas a informantes claves para la recogida de información sobre las percepciones que diferentes colectivos (docentes, discentes y administradores) tienen respecto a sus posibilidades educativas y las limitaciones que presentan (Hollands y Tirthali, 2014; Cano, Fernández y Crescenzi, 2015). Para finalizar, nos gustaría señalar que nuestro trabajo presenta la limitación de centrarse en revistas que podrían encuadrarse dentro de la temática «tecnología educativa» y que son de acceso libre, y ello nos lleva a señalar la posibilidad de replicarlo en revistas de educación de corte generalista y de acceso no libre. Esto abre al mismo tiempo nuevas perspectivas en la continuación futura de la investigación, como pueden ser: ampliar la lista de revistas, tener en cuenta el lugar de procedencia de los autores, discriminar entre revistas gratuitas y de pago, o contrastar los resultados con los obtenidos en otros meta-análisis efectuados (Liyanagunawardena y otros, 2013; Sangrà, González-Sanmamed y Anderson, 2015; Aguaded, Vázquez-Cano y López-Mene- ses, 2016; Zancarano y Souza, 2017). Referencias bibliográficas Aguaded, I. y Medina, R. (2015). Criterios de calidad para la valoración y gestión de MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 119-143. Aguaded, I., Vázquez-Cano, E. y López-Meneses, E. (2016). El impacto bibliométrico del movimiento MOOC en la Comunidad Científica Española. Educación XX1, 19 (2), 77-104. doi: 10.5944/educXX1.13217 Álvarez, C. y San Fabián, J. L. (2012). La elección del estudio de caso en investigación educativa. Gazeta de Antropología, 28 (1), 14. Recuperado de http://www.gazeta-antropologia.es/?cat=7 Bonk, C., Lee, M., Reeves, Th. y Reynolds, Th. (2015). MOOCs and Open Education. Aroud the world. New York: Routledge. Cabero, J., Ballesteros, C., Barroso, J, Llorente, M. C., Morales, J. A., Romero, R. y Román, P. (2008). Aportaciones al e-learning: desde la investigación educativa. Sevilla: Grupo de Investigación Didáctica. Cabero, J., Llorente, M. C., y Vázquez, A. (2014). Las tipologías de MOOC: su diseño e implicaciones educativas. Profesorado. Revista de Curriculum y formación del profesorado, 18(1), 13-26. Cabero, J. (2015). Visiones educativas sobre los MOOC. RIED, Revista Iberoamericana de Educación a Distancia, 18 (2), 39-60. Cano, M., Fernández, M. y Crescenzi, L. (2015). Cursos en Línea Masivos y Abiertos: 20 expertos delinean el estado de la cuestión. Relatec, 14 (2), 25-37. Castaño, C., Maiz, I. y Urtza, G. (2015). Diseño, motivación y rendimiento en un curso MOOC cooperativo. Comunicar, 44, 19-26. doi: 10.3916/C44-2015-02 Castaño, C. y Cabero, J. (2013). Enseñar y aprender en entornos m-learning. Madrid: Síntesis. Clark, D. (2013). MOOCs: taxonomy of 8 types of MOOC. Recuperado de http://donaldclarkplanb.blogspot.com.es/2013/04/moocs-taxo- nomy-of-8-types-of-mooc.html Conole, G. (2013). MOOCs as disruptive technologies: strategies for enhancing the learner experience and quality of MOOCs. Recuperado de https://docs.google.com/a/csev.org/ document/d/1B6QAx6OiwK3VW16idU7mn- HDuZljyy6r7gLXhzUa5co/edit?pli=1 Julio CABERO-ALMENARA, Verónica MARÍN-DÍAZ y Begoña E. SAMPEDRO-REQUENA 26 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Dorio, I., Sabariego, M. y Massot, I. (2012). Características generales de la metodología cualitativa. En R. Bisquerra (Coord.), Metodología de la investigación educativa (pp. 275-292). Madrid: La Muralla. Durall, E., Gros, B., Maina, M., Johnson, L. y Adams, S. (2012). Perspectivas tecnológicas: educación superior en Iberoamérica 2012- 2017. Austin, Texas: The New Media Consortium. Hollands, F. M. y Tirthali, D. (2014). MOOCs: Expectativas y realidad. Informe completo. New York: Centro de Estudios del Colegio de Profesores. Hollands, F. y Tirthali, D. (2014). MOOCs: Expectations and Reality Full Report. Columbia: Center for Benefit-Cost Studies of Education. Johnson, L., Adams Becker, S., Cummins, M., Estrada, V., Freeman, A. y Ludgate, H. (2013). NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium. Johnson, L., Adams Becker, S., Cummins, M., Freeman, A., Ifenthaler, D. y Vardaxis, N. (2013). Technology Outlook for Australian Tertiary Education 2013-2018: An NMC Horizon Project Regional Analysis. Austin, Texas: The New Media Consortium. Johnson, L., Adams, S., Cummins, M., Estrada, V., Freeman, A. y Hall, C. (2016). NMC Horizon Report: 2016 Higher Education Edition. Austin, Texas: The New Media Consortium. Liyanagunawardena, T. R., Adams, A. A. y Williams, S. A. (2013). MOOCs: A systematic study of the published literature 2008-2012. IRRODL, The International Review of Research in open and distributed Learning, 14 (3), 202-227. Marauri, P. M. (2014). La figura de los facilitadores en los Cursos Online Masivos y Abiertos (COMA/MOOC): nuevo rol profesional para los entornos educativos en abierto. RIED. Revista Iberoamericana de Educación a Distancia, 17 (1), 35-67. Recuperado de http:// www.irrodl.org/index.php/irrodl/article/ view/1455/2602 Mengual, A. y Roig, R. (2015). Validación del Cuestionario de evaluación de la calidad de cursos virtuales adaptado a MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 145-169. Moya, M. (2013). La Educación encierra un tesoro: ¿los MOOCs/COMA integran los Pilares de la Educación en su modelo de aprendizaje on-li- ne? SCOPEO INFORME, 2, 157-172. Popenici, S. (2014). MOOCs-A Tsunami of Promises, Popenici. A space for critical analysis in higher education. Recuperado de http://popenici.com/2014/04/22/moocs2014/ Ramírez-Fernández, M. (2015). La valoración de MOOC: una perspectiva de Calidad. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 171-195. Rohs, M. y Ganz, M. (2015). MOOCs and the claim of education for all: a disillusion by empirical data. International Review of Research in Open and Distributed Learning, 16 (6), 1-18. Sánchez-Meca, J. (2010). Cómo realizar una revisión sistemática y un meta-análisis. Aula Abierta, 38(2), 53-64. Recuperado de https:// dialnet.unirioja.es/servlet/articulo?codigo=3316651 Sangrà, A., González-Sanmamed, M. y Anderson, T. (2015). Meta-análisis de la investigación sobre MOOC en el período 2013-2014. Educación XXI, 18 (2), 21-49. doi: 10.5944/educXX1.13463 Tecnológico de Monterrey (2014). MOOC. Monterrey: Tecnológico de Monterrey. Terras, M. y Ramsay, J. (2015). Massive open online courses (MOOCs): Insights and challenges from a psychological perspective. British Journal of Educational Technology, 46 (3), 472-487. Aportaciones desde la investigación para la utilización educativa de los MOOC 27 revista española de pedagogía año LXXV, nº 266, enero-abril 2017, 7-27 Valverde, J. (2014). MOOCs: una visión crítica desde las Ciencias de la Educación. Profesorado. Revista de Currículum y formación del profesorado, 18 (1), 93-111. Vázquez, E., López, E. y Barroso, J. (2015). El futuro de los MOOC. Retos de la formación on line, masiva y abierta. Madrid: Síntesis. Zancarano, A. y Souza, M. J. (2017). Analysis of the scientific literature on Massive Open Online Courses (MOOCs). RIED. Revista Iberoamericana de Educación a Distancia, 20 (1), (Preprinter). doi: 10.5944/ ried.20.1.15910 Zapata, M. (2013). MOOCs, una visión crítica y una alternativa complementaria: la individualización del aprendizaje y de la ayuda pedagógica. Campus Virtuales, 2 (1), 20-38.